Massive Text Embedding Benchmark (MTEB)
Definition
MTEB vergleicht Text-Embeddings über unterschiedliche Aufgaben.
Die Benchmark-Sammlung umfasst etwa Retrieval, Ähnlichkeit und Klassifikation. Sie zeigt, dass ein Embedding-Modell nicht für jede Aufgabenart gleich gut geeignet ist.
Einfach erklärt
Eine Suchmaschine und eine Sortierhilfe brauchen unterschiedliche Stärken im Zahlenvektor.
Warum das im Alltag wichtig ist
Mehrere Teilaufgaben erlauben eine passendere Modellauswahl als ein einzelner Gesamtwert.
Beispiel aus dem Mittelstand
Fiktiv: Ein Team betrachtet für deutsche Dokumentensuche die passenden Retrieval-Ergebnisse.
Grenzen und Fallstricke
- Sprachen, Datensätze und Benchmarkversionen unterscheiden sich. Ranglistenwerte ersetzen keinen eigenen Suchtest.
Entstehung & Geschichte
MTEB wurde 2022 von Muennighoff und Mitautoren vorgestellt.
Anwendung im Mittelstand
- KMU können passende Kandidaten für semantische Suche vorsortieren.
Häufige Fragen
Gewinnt das bestplatzierte Modell immer?
Nein, der eigene Datenbestand kann andere Anforderungen haben.
Quellen
- MTEB — · Muennighoff et al.: MTEB —
Redaktionell geprüft am: