Das Gedächtnis, das deine KI nicht mitbringt
Warum Embeddings der unscheinbarste und zugleich entscheidende Baustein sind, wenn aus einer KI von der Stange eine werden soll, die dein Geschäft kennt.
Eine moderne Sprach-KI kann fast alles. Sie formuliert ein Anschreiben, erklärt ein Steuerthema, schreibt Programmcode. Sie hat die halbe Bibliothek der Menschheit gelesen. Nur eines weiß sie nicht: das Wichtigste über dein Unternehmen. Sie kennt deine Angebote nicht, nicht deine Preislisten, nicht den Fall, den ihr letztes Jahr für einen Kunden gelöst habt, nicht die Eigenheit an eurem Produkt, die jeder im Team kennt und die in keinem Handbuch steht.
Genau an dieser Stelle entscheidet sich, ob eine KI im Unternehmen beeindruckend bleibt oder brauchbar wird. Eine KI, die schön formuliert, aber am eigentlichen Wissen vorbeiredet, ist ein teures Spielzeug. Eine KI, die auf die Frage eines Kunden mit dem tatsächlichen Inhalt eurer Angebote antwortet, ist ein Werkzeug.
Weltwissen hat inzwischen jeder. Der Unterschied liegt in dem Wissen, das nur in deinem Unternehmen existiert.
Der Baustein, der diese beiden Welten verbindet, trägt einen sperrigen Namen: Embeddings. Er ist das Gedächtnis, das eine KI nicht mitbringt und das man ihr geben muss.
Wie Bedeutung zu einem Ort wird
Um zu verstehen, was ein Embedding tut, hilft ein einfacher Gedanke. Stell dir vor, jeder Satz, jeder Absatz, jedes Dokument bekäme eine Adresse — nicht nach Alphabet oder Datum sortiert, sondern nach Bedeutung. Zwei Texte, die inhaltlich dasselbe meinen, liegen dann dicht beieinander, auch wenn sie kein einziges Wort teilen. "Baumfällung am Hang mit Seilklettertechnik" und "Sturmschadenbeseitigung im Steilgelände" landen als Nachbarn, weil sie vom Selben handeln — nicht, weil sie gleich klingen.
Genau das ist die Aufgabe eines Embedding-Modells: Es liest einen Text und übersetzt seine Bedeutung in eine Position — eine lange Zahlenkette, die man sich als Koordinate in einem riesigen Raum vorstellen kann. Aus Sprache wird Geometrie. Und in Geometrie kann eine Maschine rechnen: Sie kann messen, was nah beieinander liegt und was weit auseinander.
Damit ist die eigentliche Idee schon erklärt. Wenn ein Mitarbeiter oder ein Kunde eine Frage stellt, wird auch diese Frage in eine Position übersetzt. Das System sucht dann nicht nach passenden Stichworten, sondern nach inhaltlicher Nähe — nach den Stellen im eigenen Wissen, die der Frage am nächsten liegen. Diese Fundstellen legt es dem antwortenden Modell vor, bevor es formuliert. Die KI erfindet die Antwort nicht mehr aus ihrem allgemeinen Gedächtnis, sondern liest sie aus deinen Unterlagen ab und formuliert sie aus.
Dieses Prinzip trägt das Kürzel RAG — retrieval-augmented generation, sinngemäß: erst nachschlagen, dann antworten. Der Fachbegriff ist unwichtig. Wichtig ist, was er bewirkt: Die Antwort steht auf dem Boden des tatsächlichen Unternehmenswissens statt auf dem, was das Modell irgendwo im Internet gelesen hat.
Zwei Hälften, die zusammengehören
Ein Embedding-Modell allein reicht nicht. Es liefert nur die Positionen — die Zahlenketten. Aufbewahrt und durchsucht werden sie an anderer Stelle, in einem sogenannten Vektor-Speicher wie Qdrant oder pgvector. Das Modell ist die eine Hälfte, der Speicher die andere. Das eine übersetzt Bedeutung in Koordinaten, das andere hält sie vor und findet in Sekundenbruchteilen die nächstgelegenen wieder.
Diese Arbeitsteilung ist der Grund, warum das Ganze überhaupt im eigenen Haus laufen kann. Denn das Gedächtnis einer KI zu befüllen heißt, ihr die sensibelsten Texte des Unternehmens zu zeigen — Angebote, Verträge, Kundenhistorie. Wer diesen Schritt an einen Cloud-Dienst abgibt, hat seine Substanz aus der Hand gegeben, bevor die erste Antwort steht.
Das Gedächtnis einer KI zu befüllen heißt, ihr die vertraulichsten Texte des Unternehmens anzuvertrauen. Diese Entscheidung trifft man nicht nebenbei.
Die Wahl des Modells — und warum Herkunft mitspielt
Das meistgenutzte Embedding-Modell im quelloffenen Umfeld heißt nomic-embed-text, es stammt von Nomic AI aus den USA. Seine Stärke ist Genügsamkeit: Es ist winzig, belegt rund ein Viertel Gigabyte und läuft flüssig auf einem normalen Server ohne teure Grafikkarte. Für den Einstieg und für die meisten Mittelstandsanwendungen ist es der pragmatische Standard.
Es ist aber nicht die einzige Wahl — und hier wird es für alle interessant, die Datenhoheit ernst nehmen. Die derzeit stärkste europäische Option kommt von Mixedbread AI aus Berlin und heißt mxbai-embed-large. Ein größeres, gründlicheres Modell, das in unabhängigen Tests kommerzielle Angebote wie das große Embedding-Modell von OpenAI übertrifft. Der Preis dafür ist ein etwas höherer Ressourcenbedarf. Wer mehrere Sprachen bedient oder besonders anspruchsvoll suchen will, findet mit bge-m3 ein quelloffenes Arbeitspferd aus China, das über hundert Sprachen abdeckt und semantische wie schlagwortbasierte Suche in einem Zug erledigt. Noch flexibler, aber auch hungriger, ist qwen3-embedding, ebenfalls aus China, das inzwischen mit kommerziellen Diensten mithält.
Bei Embeddings ist die Herkunftsfrage weniger heikel als bei den großen, antwortenden Modellen — das Embedding-Modell verlässt die eigene Maschine ohnehin nicht, es sieht nur die eigenen Texte und schweigt nach außen. Aber die Wahl bleibt eine Aussage. Ein Stack, dessen ganzes Argument auf Datenhoheit ruht, hat mit einem Modell aus Berlin eine Option, die diese Haltung nicht nur im Betrieb einlöst, sondern schon in ihrer Herkunft.
Warum das strategisch ist, nicht technisch
Es wäre leicht, Embeddings als Detail für die IT abzutun — ein Zahnrad unter vielen. Das wäre ein teurer Irrtum. Denn dieser eine Baustein entscheidet über die Frage, die am Ende zählt: Arbeitet die KI mit dem Wissen, das jeder Wettbewerber auch hat, oder mit dem, das nur euch gehört?
Eine generische KI hebt alle auf dasselbe Niveau. Erst das Gedächtnis — die Verbindung aus eurem Wissen und einem Modell, das es durchsuchbar macht — hebt euch darüber hinaus. Es ist der Unterschied zwischen einer KI, die klingt wie überall, und einer, die klingt wie ihr. Dieser Unterschied lässt sich nicht kaufen und nicht erzwingen. Er wächst aus dem, was ihr über Jahre angehäuft habt — man muss es der Maschine nur zugänglich machen, in der richtigen Reihenfolge und ohne es aus der Hand zu geben.
Das Gedächtnis bringt die KI nicht mit. Aber es ist das, was aus einem beeindruckenden Werkzeug euer Werkzeug macht.
Über den Autor
Gerd Kopp ist Wirtschaftsinformatiker und war über 14 Jahre CIO, zuletzt als Head of Corporate Operations. Seit 2020 ist er selbstständig als Interim Manager und IT-Berater. Er arbeitet mit Unternehmen von klein bis Mittelstand, die Wachstum, Effizienz, Wettbewerbsfähigkeit und Innovation nicht dem Zufall überlassen wollen — und die verstanden haben, dass die richtigen Prozesse, Strukturen, Technologien und der gezielte Einsatz von KI dabei keine Nebensache sind, sondern der Unterschied.
Mehr unter gerds-it.de und im Innovation Lab.
Dieser Beitrag entstand mit KI-Unterstützung. Konzept, Architektur und die zugrunde liegende Praxis stammen aus meinem eigenen Stack — die KI war Werkzeug, nicht Autor.
