Neues Genmodul erweitert den Engram Ansatz von DeepSeek
DeepSeek hat mit Engram einen Architekturansatz vorgestellt, bei dem ein KI-Modell einen Teil seines Wissens nicht in den Modellparametern speichert, sondern in ein externes, gezielt abfragbares Nachschlagewerk auslagert.
Vom Sprachmodell zur Genom KI
Nur wenige Wochen nach der Engram Veröffentlichung setzen Forschende in China diese Idee im Bereich der Genomik um. Ihr Modul Gengram bringt ein ähnliches externes Gedächtnis in Modelle für DNA Sequenzen.
Der Kern bleibt ein großes Genommodell. Gengram ergänzt es um eine dünne Schicht spezialisierter Kenntnisse sodass sich das Hauptmodell stärker auf Kontext und Interpretation konzentrieren kann.
Warum klassische Genommodelle an Grenzen stoßen
Viele heutige Genommodelle arbeiten auf Ebene einzelner Basen. Sie sehen endlose Folgen von A T C und G und müssen typische Muster wie Startsignale für Gene oder Spleißstellen aus diesen Rohzeichen selbst rekonstruieren.
Das ist präzise aber teuer. In sehr langen Sequenzen verlieren die Modelle leicht den Überblick und investieren viel Rechenleistung nur dafür bekannte Motive immer wieder neu zusammenzusetzen.
Für Menschen wirkt das unnatürlich. Beim Lesen eines schwierigen Wortes hilft die Erinnerung an bekannte Bausteine. Ohne dieses Vorwissen müsste jedes Wort ständig neu analysiert werden.
Gengram als biologisches Wörterbuch
Gengram setzt genau hier an. Das Modul legt eine Tabelle mit kurzen DNA Fragmenten an den sogenannten k mers. Sie umfassen Kombinationen von ein bis sechs Basen wie ATG oder CGTA.
Viele dieser Fragmente sind bereits als funktionelle Motive bekannt etwa Bindestellen für Transkriptionsfaktoren. Jedes Fragment erhält einen eigenen Vektor im Speicher der wie ein Eintrag in einem biologischen Wörterbuch wirkt.
Taucht ein solches Muster in der Sequenz auf kann das Modell direkt den passenden Eintrag nachschlagen. Es muss die Struktur nicht mehr vollständig aus den Einzelbasen rekonstruieren.
Weil DNA nur aus wenigen Symbolen besteht bleibt dieses Wörterbuch kompakt. Gengram fügt einem Modell mit Milliarden Parametern nur etwa zwanzig Millionen zusätzliche Parameter hinzu.
Dynamische Schaltung statt Dauerbetrieb
Entscheidend ist dass Gengram nicht permanent aktiv ist. Ein Gate Mechanismus entscheidet abhängig vom Kontext wann sich ein Blick ins Wörterbuch lohnt.
In Regionen mit hoher funktionaler Dichte wie Exons Promotoren oder bekannten Motivclustern wird das Nachschlagen häufiger aktiviert. In langen wenig informativen Abschnitten verlässt sich das System eher auf seine allgemeine Repräsentation.
So entsteht eine Arbeitsteilung. Statisches Wissen über typische Motive liegt im Wörterbuch während das Hauptmodell für die flexible Deutung und das Zusammenspiel dieser Bausteine zuständig ist.
Messbare Sprünge bei biologischen Aufgaben
Trotz seiner geringen Größe liefert Gengram deutliche Zugewinne bei zentralen Genomaufgaben. In den Veröffentlichungen steigen die Gütewerte etwa bei der Vorhersage von Spleißstellen und epigenetischen Markern spürbar an.
Noch wichtiger ist der Blick auf Aufwand und Nutzen. In Vergleichen mit anderen Genommodellen erreicht ein System mit Gengram ähnliche oder bessere Qualität obwohl es mit deutlich weniger Trainingsdaten und aktivierten Parametern auskommt.
Das erhöht die Daten und Recheneffizienz. Für viele Labore ist genau das entscheidend da große Genommodelle sonst schnell an praktische Grenzen stoßen.
Breite Einsetzbarkeit in verschiedenen Architekturen
Gengram funktioniert nicht nur mit klassischen dichten Netzen. Das Modul lässt sich auch in Mixture of Experts Architekturen einbauen und wirkt dort zusätzlich als Stabilisator.
Indem das Wörterbuch einen Teil der lokalen Mustererkennung übernimmt werden die Experten weniger mit hochfrequentem Rauschen belastet. Die Last verteilt sich gleichmäßiger und das Training konvergiert schneller.
Damit wird das Modul zu einem generellen Baustein der sich an unterschiedliche Modelltypen andocken lässt ohne die Grundarchitektur neu zu entwerfen.
Wenn das Modell DNA Struktur implizit wiederentdeckt
Eine Beobachtung aus den Experimenten sticht hervor. Beim Test verschiedener Fensterbreiten für eine lokale Aggregationsstufe erzielt eine Länge von einundzwanzig Basen die besten Ergebnisse.
Diese Zahl ist kein Zufall. Die B DNA Doppelhelix vollzieht etwa alle 10,5 Basen eine Umdrehung. Zwei volle Windungen entsprechen damit rund einundzwanzig Basen. Positionen die 21 Basen auseinanderliegen liegen räumlich wieder an ähnlichen Stellen der Helix.
Das Modell wählt also eine Fenstergröße die zur physikalischen Geometrie des Moleküls passt obwohl keine expliziten Strukturinformationen vorgegeben werden. Es scheint einen Teil der räumlichen Logik der DNA selbst zu erschließen.
Ein möglicher Bauplan für wissenschaftliche KI
Über den konkreten Fall hinaus deutet Gengram auf eine künftige Architektur wissenschaftlicher KI Modelle hin. Statt immer größere Netze mit immer mehr Daten zu füttern könnte ein Kernmodell durch mehrere kleine Fachmodule ergänzt werden.
In der Genomik übernimmt Gengram diese Rolle. In anderen Disziplinen könnten vergleichbare Wörterbücher für Materialien Chemie oder Physik entstehen die strukturiertes Expertenwissen als externe Ressource bereitstellen.
Die Grundidee bleibt gleich. Das universelle Modell fokussiert sich auf komplexe Muster und Schlussfolgerungen während kompaktes Domänenwissen in klar definierten Zusatzmodulen organisiert wird. Gengram zeigt dass dieser Ansatz in der Praxis funktionieren kann und nicht nur ein theoretisches Architekturkonzept ist.