Hyena
Definition
Hyena ist eine 2023 vorgestellte Sequenzarchitektur mit implizit parametrisierten langen Faltungen und datenabhängiger Gating-Struktur.
Die Architektur wurde als subquadratische Alternative zum klassischen Attention-Operator für lange Sequenzen untersucht. Sie ist ein Forschungsansatz, kein allgemeiner Industriestandard.
Einfach erklärt
Wie lange Textfolgen mit spezialisierten Filtern und Gates zu verarbeiten, statt jedes Element mit jedem anderen direkt zu vergleichen.
Warum das im Alltag wichtig ist
Relevant für Forschung zu effizienteren langen Sequenzen und Alternativen zu Attention.
Beispiel aus dem Mittelstand
Ein Forschungsteam benchmarkt Hyena gegen Transformer- und State-Space-Modelle auf langen technischen Sequenzen.
Grenzen und Fallstricke
- Paper-Ergebnisse als pauschale Produktionsüberlegenheit darstellen; Architektur mit einem fertigen Unternehmensprodukt verwechseln; Hardwareeffekte ignorieren.
Entstehung & Geschichte
Poli et al. veröffentlichten 2023 „Hyena Hierarchy: Towards Larger Convolutional Language Models“.
Anwendung im Mittelstand
- Mögliche Anwendung im Mittelstand primär indirekt: technische Bewertung spezialisierter Open-Weight-Modelle oder Forschungsprototypen.
Häufige Fragen
Ist Hyena ein Transformer?
Nein. Ist es eine allgemeine Empfehlung für LLM-Projekte? Nein, Auswahl muss anhand verfügbarer Modelle und Workloads erfolgen.
Quellen
- Hyena Hierarchy · Poli et al. (2023), Hyena Hierarchy
Quellen geprüft am 10.10.2026.
Redaktionell geprüft am: