Zurück zur Workshop-Übersicht

Workshop: Lokale KI

Einstiegsleitfaden für die Nutzung lokaler Sprachmodelle.

Artikel aktualisiert am 3. September 2026

Vier Säulen für Prompt Engineering in der Patentpraxis

Jede Aufgabe im Kurs setzt vier Methoden voraus, die die Qualität sichern. Bei agentischen Werkzeugen wie OpenCode oder Claude Code läuft Context Engineering automatisch; bei manuellem Prompting musst Du selbst darauf achten.

Start hier: Dein erstes lokales Modell in 30 Minuten

Lokale KI ist Voraussetzung für vertrauliche Arbeit. Die Grundinstallation lohnt sich, sobald Du über vertrauliche Dokumente arbeiten willst (Drafting, Erfindungsmeldung, interne Strategiepapiere).

Was Du vorab bereit halten solltest

  • Einen Rechner mit mindestens 8 GB RAM für die kleinen Gemma-4-Varianten (E2B, E4B) und Qwen 3 4B, 16 GB für Gemma 4 12B oder 32 GB für Gemma 4 26B
  • Administratorrechte zur Installation von Software
  • Ein Testdokument (ein Anspruch, ein kurzer Text) für die erste Konversation

Dein Weg durch den Kurs (3 Schritte)

  1. 10 Min Installation: Wähle ein Inference-Framework aus der Liste unten. Für Einsteiger empfehle ich LM Studio oder Msty (grafische Oberfläche). Herunterladen, installieren.
  2. 10 Min Modell: Ein Sprachmodell herunterladen. Mit 8 GB RAM: Gemma 4 E4B. Mit 16 GB RAM: Gemma 4 12B. Mit 32 GB RAM: Gemma 4 26B. Beim ersten Mal dauert der Download einige Minuten.
  3. 10 Min erste Konversation: Im LM-Studio/Msty-Chat oder auf der Kommandozeile mit Ollama einen ersten Prompt schicken: „Erkläre, was dieses Patent in einfachen Worten sagt: [Dein Testdokument].“ Ergebnis prüfen: langsam, aber vollständig lokal.

Wenn etwas nicht funktioniert

  • Hardware reicht nicht? Schau Dir die Alternativen weiter unten an: Hugging Face Online-Tests für nicht-vertrauliche Versuche, Cloud-Chatbots für nicht-vertrauliche Dokumente.
  • Installation schlägt fehl? Die Installations-Videos unten zeigen Ollama und LM Studio Schritt für Schritt.
  • Wofür brauche ich das jetzt in der Patentpraxis? Der Patent-Drafting-Kurs baut direkt auf.
  • Agent statt Chat? Der Agent-Framework-Kurs erklärt, wann OpenCode + Ollama eine Stufe über dem Chat liegt.

Wozu ein Inference-Framework?

Sprachmodelle wie „Llama“ oder „Gemma“ sind neuronale Netzwerke, die in speziellen Dateiformaten gespeichert sind. Sie lassen sich nicht wie andere Software direkt ausführen. Ein Inference-Framework wie Ollama, Msty oder LM Studio übernimmt die nötige Arbeit:

  • Modell-Loading: Lädt die Gewichtsdateien des Sprachmodells in den Arbeitsspeicher.
  • Hardware-Optimierung: Passt die Berechnungen an die verfügbare Hardware an (CPU, GPU, spezialisierte KI-Chips) und nutzt Optimierungen wie Quantisierung zur Reduzierung des Speicherverbrauchs.
  • API-Interface: Stellt eine Schnittstelle bereit, oft kompatibel mit OpenAI-Standards.
  • Speicherverwaltung: Lagert bei Bedarf Teile des Modells zwischen Arbeitsspeicher und Festplatte aus.

Inference-Framework installieren

Für Einsteiger empfehle ich Msty oder LM Studio, für fortgeschrittene Nutzer Ollama.

Vorsicht bei vertraulichen Daten:Achte darauf, etwaige Optionen zu deaktivieren, durch die Daten ins Internet geschickt werden. Die Datenkommunikation lässt sich mit Tools wie dem Microsoft Process Monitor oder der Windows Firewall prüfen und unterbinden.

Sprachmodell herunterladen

Das Framework enthält selbst kein Sprachmodell. Das Sprachmodell muss separat heruntergeladen werden. Die Auswahl hängt davon ab, was Deine Hardware leistet und wofür Du es einsetzen willst.

Gemma 4 (E2B)

Kleinste Variante der Gemma-4-Familie, 2,3 Mrd. effektive Parameter, 128K Kontextfenster. Läuft auf fast jedem Laptop ab 8 GB RAM. Für erste Versuche und einfache Aufgaben.

Gemma 4 (E4B)

empfohlen für Laptop

Nachfolger von Gemma 3n und die Empfehlung für den Laptop. 4,5 Mrd. effektive Parameter, 128K Kontextfenster. 8 GB RAM genügen quantisiert, mit 16 GB arbeitet es sich komfortabel.

Gemma 4 (12B)

Dichtes Mittelklasse-Modell mit 256K Kontextfenster. Bescheid und Stand der Technik passen zusammen in einen Prompt. Benötigt 16 GB RAM oder 12 GB VRAM.

Gemma 4 (26B A4B)

empfohlen für Workstation

Mixture-of-Experts-Modell: 26 Mrd. Parameter insgesamt, davon rund 4 Mrd. je Token aktiv. Dadurch läuft es deutlich schneller als ein dichtes Modell dieser Größe. Das Kontextfenster beträgt 256K. Für lokales Patent Drafting geeignet. Benötigt 32 GB RAM oder 24 GB VRAM (z. B. RTX 4090). Wer mehr Speicher hat, kann stattdessen das dichte 31-B-Modell laden.

Qwen 3 (4B)

Kompakt, Apache-2.0-Lizenz, läuft auf fast jedem Laptop. Nützlich als Zweitmeinung aus einer anderen Modellfamilie. Von Qwen gibt es bei Ollama auch die Generationen 3.6 und 3.8; deren Standard-Tags setzen mit 18 GB und mehr allerdings eine Workstation voraus.

Lizenzhinweis:Gemma 4 steht unter der Apache-Lizenz 2.0, die in Abschnitt 3 eine ausdrückliche Patentlizenz der Beitragenden enthält. Die Vorgängergenerationen Gemma 3 und Gemma 3n stehen weiterhin unter den Gemma Terms of Use mit inhaltlichen Nutzungsbeschränkungen. Für den Einsatz in der Kanzlei ist das ein weiterer Grund, auf Gemma 4 zu wechseln. Die RAM- und VRAM-Angaben oben beziehen sich auf die Modellgewichte. Das genutzte Kontextfenster belegt zusätzlichen Speicher. Wer es ausreizt, braucht mehr als die genannte Zahl. Parameterzahlen, Kontextfenster und Lizenz nach der Gemma-4-Modellübersicht und der Modellkarte von Google, Stand September 2026.

Installations-Videos

Zwei kurze Anleitungen für die Einrichtung:

Installation: Ollama

Installation: LM Studio

Alternativen ohne lokale Installation

Nur zum Experimentieren mit nicht-vertraulichen Daten.Die folgenden Alternativen laufen in der Cloud. Sie eignen sich, um Modelle auszuprobieren und herauszufinden, welches für Deine Arbeitsweise passt, bevor Du in lokale Hardware investierst. Für Mandantenunterlagen oder Erfindungsmeldungen sind sie nicht geeignet.
  • Hugging Face: Sammelstelle für offene Modelle und Datensätze, einschließlich der hier genannten. Viele lassen sich direkt online testen. Gut, um vor dem Hardwarekauf zu prüfen, ob sich eine lokale Installation lohnt. Lege für die Nutzung im Seminar bitte vorab ein kostenloses Konto an: huggingface.co.
  • Cloud-Chatbots: Für nicht-vertrauliche Daten kannst Du auchChatGPT, Microsofts Copilot (nutzt unter anderem OpenAI-Modelle) oderClaude nutzen.

Weiterführende Ressourcen

Bonus

Lokale Bilderzeugung mit ComfyUI

ComfyUI ist eine knotenbasierte Oberfläche für Bildgenerierungsmodelle und läuft vollständig auf dem eigenen Rechner. Für Bilder gilt damit dieselbe Vertraulichkeitslogik wie für lokale Sprachmodelle. Der Kern ist quelloffen unter GPL-3.0, für Windows und macOS gibt es einen Desktop-Installer. Im Kanzleialltag eignet sich das für Illustrationen in Vorträgen und Schulungsunterlagen. Hervorzuheben für die Patentarbeit ist die Bild-zu-Bild-Bearbeitung, etwa die Überführung eines Produktfotos oder CAD-Screenshots in eine Strichzeichnung. Die formalen Anforderungen an Patentzeichnungen bleiben trotzdem Handarbeit. Eine konkrete Workflow-Empfehlung dazu steht im GenAI Tool Finder.

  • Lizenzen prüfen: Die Bildmodelle werden getrennt heruntergeladen und stehen unter eigenen Lizenzen, die von Apache 2.0 bis zu rein nicht-gewerblichen Forschungslizenzen reichen. Vor dem Einsatz im Mandat die Lizenz des konkreten Modells lesen.
  • Custom Nodes sind ausführbarer Code: Erweiterungen und fremde Workflow-Dateien laden Python nach, das mit denselben Rechten läuft wie ComfyUI selbst. Es empfiehlt sich die Nutzung in einer Sandbox, wie einem separaten Benutzerkonto ohne Zugriff auf kritische Daten. Erweiterungen nur aus bekannter Quelle installieren und fremde Workflows vorher ansehen.

Newsletter

Bleib auf dem Laufenden über generative KI in der Patentpraxis.

GenAI-Newsletter abonnierenAlle bisherigen Ausgaben lesen

Inhalte teilweise KI-generiert, kuratiert von Sebastian Goebel. Dies ist keine Rechtsberatung, sondern Trainingsmaterial für meine Workshops. Keine Gewährleistung für Richtigkeit oder Vollständigkeit. Software wird ohne Mängelgewähr bereitgestellt („as is“).