HNSW-Index
Definition
Ein HNSW-Index organisiert Daten in mehreren Graphschichten für die näherungsweise Suche nach nächsten Nachbarn.
HNSW nutzt eine Hierarchie von Nachbarschaftsgraphen über Teilmengen der gespeicherten Elemente. Die Suche beginnt in einer oberen Schicht. Der Ansatz dient der approximativen Nachbarsuche und ist daher nicht mit einer garantierten exakten Suche gleichzusetzen.
Einfach erklärt
Stell dir eine Karte mit groben Fernverbindungen und feineren Ortswegen vor. Du näherst dich erst grob einem Gebiet. Der Vergleich erklärt die Schichten, nicht eine garantierte optimale Route.
Warum das im Alltag wichtig ist
Bei der Auswahl eines Suchindex sind Ergebnisqualität und technische Anforderungen gemeinsam zu bewerten. Eine nähere Untersuchung der tatsächlich gefundenen Nachbarn bleibt nötig.
Beispiel aus dem Mittelstand
Mögliches Beispiel: Eine interne Dokumentensuche erprobt einen HNSW-Index auf Vektordarstellungen ihrer freigegebenen Texte.
Grenzen und Fallstricke
- Approximation darf nicht mit garantierter Vollständigkeit verwechselt werden. Gute Nachbarn nach einer Distanzfunktion sind außerdem nicht automatisch fachlich relevante Dokumente.
Entstehung & Geschichte
Malkov und Yashunin stellten die hier zitierte erste arXiv-Fassung ihres hierarchischen Graphansatzes 2016 bereit. Der Abstract beschreibt den schichtweisen Aufbau und den Suchbeginn in der oberen Ebene.
Anwendung im Mittelstand
- Denkbar ist ein Vergleich des Index mit einer exakten Nachbarsuche auf einem kleinen betrieblichen Testbestand. Abweichungen sollten anhand der Suchaufgabe bewertet werden.
Häufige Fragen
Ist HNSW eine exakte Suchgarantie?
Nein. Die zitierte Arbeit beschreibt approximative Nachbarsuche.
Sind alle Schichten gleich aufgebaut?
Sie enthalten Nachbarschaftsgraphen für ineinander enthaltene Teilmengen der Elemente.
Quellen
- Efficient and robust approximate nearest neighbor search using Hierarchical Navigable Small World graphs · Malkov und Yashunin (2016): Efficient and robust approximate nearest neighbor search using Hierarchical Navigable Small World graphs
Redaktionell geprüft am: