KI im Innovation Lab – Wer bleibt, wer fliegt: Sprachmodelle im laufenden Test

Neun Modelle aus drei Kontinenten, ein Server – und warum die Herkunft nicht über die Datenhoheit entscheidet.

Im Innovation Lab validieren wir lokale Sprachmodelle nach Einsatzzweck: Welches Modell löst welche Aufgabe mit der besten Balance aus Qualität, Geschwindigkeit und Ressourcenbedarf? Nicht jedes Modell taugt für jede Aufgabe – und ein 14B-Reasoner auf eine Klassifikationsfrage anzusetzen ist so sinnvoll wie ein LKW für den Brötchenkauf. Aus dieser Bewertung entsteht eine nach Rollen sortierte Modellauswahl.

Ein zentraler Einsatz dieser Auswahl ist ein modulares Multi-Modell-Setup in n8n: Statt Anfragen durch ein einziges monolithisches Modell zu schleusen, wird der Workflow gezielt aufgeteilt – Freitext-Mails werden in Millisekunden klassifiziert, Anhänge an Vision-Modelle geleitet, sensible Daten von europäischen Sprachmodellen beantwortet und knifflige Logik an dedizierte Reasoner übergeben. Die Rollen unten sind das Ergebnis dieser Validierung, nicht ein beliebiger Modell-Zoo.

Der entscheidende Punkt vorweg – weil er oft verwechselt wird: Die Souveränität dieses Setups kommt aus dem Self-Hosting, nicht aus der Herkunft der Modelle. Die Gewichte liegen auf eigener Hardware in Europa, keine Kundendaten verlassen den Server, keine Cloud-API sieht eine einzige Zeile. Und ein ehrlicher Blick auf die Herstellerliste zeigt, warum diese Unterscheidung zählt: Die Modelle stammen aus den USA, China und Frankreich – souverän wird der Betrieb erst dadurch, dass sie alle lokal rechnen. Wer „europäisches Modell" mit „souveräner Betrieb" gleichsetzt, verwechselt Herkunft mit Kontrolle.

Herkunft der eingesetzten Modelle

Die Herkunft ist bunt gemischt. Aus den USA kommt der größte Block: Metas Llama-Familie (3.2, 3.1 und Vision), OpenAIs gpt-oss und das Embedding-Modell von Nomic AI. Aus China stammen Alibabas Qwen-Reihe (Qwen 2.5 und das neue Qwen3-VL) sowie die DeepSeek-R1-Reasoner. Und aus Frankreich – als einzige echte Europäer im Stack – kommen Mistral 7B und Mistral Nemo, Letzteres in Kooperation mit dem US-Hersteller NVIDIA.

Damit ist von den aktiven Sprachmodellen genau eines europäischen Ursprungs: Mistral. Das ist kein Makel – es ist der Grund, warum die eigentliche Kontrolle über die Infrastruktur laufen muss, nicht über die Landkarte.

1. Die Sprinter: E-Mail-Routing in Millisekunden

Llama 3.2 (3B) – Meta, USA · Qwen 2.5 (3B) – Alibaba, China

• Einsatz: Reine Freitext-Klassifizierung direkt nach dem Posteingang im n8n-Workflow (Vertrieb, Reklamation, Bewerbung, Rechnung).
• Vorteile: Minimale Latenz, VRAM-Bedarf unter 2 GB, zuverlässige JSON-Ausgabe für n8n-Router-Nodes. Auf CPU-Hardware die einzig sinnvolle Größe für den heißen Pfad.
• Nachteile: Begrenztes Tiefenwissen, nicht zum Verfassen komplexer Antworten geeignet – bewusst nur als Weiche eingesetzt.

Für eine Klassifikations-Entscheidung mit fünf möglichen Ausgängen braucht es kein 14B-Modell, das dieselbe Aufgabe zehnmal langsamer erledigt.

2. Die Europa-Fraktion: Antworten in natürlichem Deutsch

Mistral Nemo (12B) & Mistral (7B) – Mistral AI, Frankreich

• Einsatz: Verarbeitung sensibler Kundendaten und Erstellen natürlicher deutscher Antwort-Mails.
• Vorteile: Die einzigen echten Europäer im Stack – hohe Ausführungsgeschwindigkeit, starke Logik, und beim Nemo ein Kontextfenster von 128k Token (Mistral 7B: 32k), das lange Mail-Verläufe und reingereichten Dokumentkontext am Stück verarbeitbar macht. (Nemo entstand in Kooperation mit NVIDIA.) Beide schreiben von Haus aus natürliches Deutsch; ein spezifisch deutscher Ton lässt sich per System-Prompt zusätzlich schärfen, ohne ein eigenes Modell dafür vorzuhalten.
• Nachteile: Größerer Speicherbedarf (4,4 bis 7,1 GB) als die kleinen Router-Modelle – auf CPU spürbar.

Gerade bei den sensiblen, kontextreichen Kundenmails zählt das große Kontextfenster: Das Modell muss den vollständigen Verlauf im Blick behalten, nicht nur die letzten Zeilen.

3. Die Augen: OCR & Dokumentenanalyse

Qwen3-VL – Alibaba, China (löst Qwen 2.5 VL ab) · Llama 3.2 Vision – Meta, USA

• Einsatz: Isolierte Verarbeitung visueller Dokumente (PDF-Scans, Rechnungen, Formulare).
• Vorteile: Macht gebührenpflichtige Cloud-OCR-APIs überflüssig, extrahiert Tabellen und Rechnungspositionen strukturiert. Qwen3-VL hat Qwen 2.5 VL an der Spitze abgelöst und liegt bei OCR, Charts und mehrsprachigem Text vorn (Ollama-Support ab 0.12.7). Für reines, dichtes Dokumenten-OCR ist MiniCPM-V 4.5 eine ernste Alternative.
• Nachteile: Höchster Rechenaufwand in der Pipeline, spürbar längere Verarbeitungszeit als reine Text-LLMs – auf CPU der teuerste Cluster.

Dieser Cluster altert am schnellsten – wer auf Qwen 2.5 VL stehen bleibt, verschenkt Extraktionsgenauigkeit ohne Not.

4. Die Denker & Allrounder: Komplexität & Logik

DeepSeek-R1 (8B & 14B) – DeepSeek, China · Llama 3.1 (8B) – Meta, USA · Kandidat: gpt-oss (20B) – OpenAI, USA

• Einsatz: Komplexere Datenanalysen, logische Entscheidungen und allgemeine Textaufgaben.
• Vorteile:
  • DeepSeek-R1: Weiterhin die Referenz für Open-Weight-Reasoning mit transparentem, sichtbarem Chain-of-Thought – stark bei kniffligen Denk- und Code-Aufgaben. (Das 8B-Distill basiert inzwischen auf Qwen3, das 14B auf Qwen2.5 – also ebenfalls China-Basis.)
  • Llama 3.1: Stabiles, verlässliches Arbeitstier für breite Standard-Aufgaben.
• Nachteile: DeepSeek braucht durch den Reasoning-Trace spürbar mehr Zeit; 14B- und 20B-Modelle fordern die Hardware – ohne GPU laufen sie, sind aber nur für latenz-unkritische Aufgaben praktikabel.

Einen Blick wert – gpt-oss:20b: OpenAIs Open-Weight-Modell läuft im MXFP4-Quant bei rund 14 GB mit 128k Kontext und liefert Reasoning-Leistung bei kleinem Footprint. Als schnellere Alternative zu DeepSeek-R1:14b gehört es in die Evaluierung.

5. Das Gedächtnis: Embeddings für Wissenskontext

nomic-embed-text – Nomic AI, USA

• Einsatz: Wandelt Texte in Vektoren – die Grundlage dafür, dass Antworten Kontext aus einer eigenen Wissensbasis ziehen können (RAG): Angebotstexte, frühere Fälle, Produktdaten.
• Vorteile: Winziger Footprint (274 MB), ein einzelner Forward-Pass pro Text – läuft auch ohne GPU flott, anders als die generativen Modelle.
• Nachteile: Liefert nur die Vektoren. Speicherung und Ähnlichkeitssuche übernimmt ein Vektor-Speicher (Qdrant oder pgvector) als Gegenstück – das Embedding-Modell ist die eine Hälfte, der Vektor-Store die andere.

Dieser Baustein ist die Voraussetzung dafür, dass die Antwort-Modelle aus Abschnitt 2 nicht nur höflich, sondern auch inhaltlich fundiert formulieren – mit dem tatsächlichen Wissen des Unternehmens im Rücken statt nur aus dem Modellgedächtnis.

Über den Autor

Gerd Kopp ist Wirtschaftsinformatiker und war über 14 Jahre CIO, zuletzt als Head of Corporate Operations. Seit 2020 ist er selbstständig als Interim Manager und IT-Berater. Er arbeitet mit Unternehmen von klein bis Mittelstand, die Wachstum, Effizienz, Wettbewerbsfähigkeit und Innovation nicht dem Zufall überlassen wollen — und die verstanden haben, dass die richtigen Prozesse, Strukturen, Technologien und der gezielte Einsatz von KI dabei keine Nebensache sind, sondern der Unterschied.

Mehr unter gerds-it.de und im Innovation Lab.

Dieser Beitrag entstand mit KI-Unterstützung. Konzept, Architektur und die zugrunde liegende Praxis stammen aus meinem eigenen Stack — die KI war Werkzeug, nicht Autor.