Kimi K3: was es konkret bedeutet, es lokal zu betreiben, remote zu nutzen oder in Claude Code einzubinden

Veröffentlicht im TEN INVENT Blog · Juli 2026

Letzte Woche hat Moonshot AI Kimi K3 angekündigt. Gestern wurden die Gewichte veröffentlicht. Seitdem ist das Internet voll von Artikeln, die dieselben drei Dinge sagen: „2,8 Billionen Parameter", „das größte Open-Weight-Modell der Geschichte", „betreib es lokal". Der letzte Teil ist für 99,9 % von uns falsch.

Dieser Artikel versucht, drei praktische Fragen zu beantworten — für jemanden, der mit Software Geld verdient, nicht für jemanden, der Benchmarks sammelt: was es kostet, es lokal zu betreiben, was sich ändert, wenn man es remote statt Claude Code nutzt, und wie man es in fünf Minuten an Claude Code anschließt.

1. Die Launch-Daten, verifiziert

Die Reihenfolge der Ereignisse ist wichtig, denn es gab ein Zehn-Tage-Fenster, in dem das Modell live war, die Gewichte aber nicht:

Das offizielle Repo ist huggingface.co/moonshotai/Kimi-K3 — öffentlich, ohne Gate, mit echten Safetensors, LICENSE und vollständiger Model Card. Es gibt auch ein GitHub-Repo MoonshotAI/Kimi-K3 mit dem technischen Bericht als PDF.

Eine Warnung, die explizit ausgesprochen werden sollte: Diese Woche sind Dutzende von „Kimi-K3"-Mirrors und Repos aufgetaucht, die nicht von Moonshot stammen. Wenn du etwas herunterlädst, lade aus der Organisation moonshotai herunter und pinne den Commit-Hash. Das Modell verlangt trust_remote_code=True, was bedeutet, dass du Python-Code aus dem Repo ausführst. Lies ihn vorher.

2. Was K3 technisch ist

Aus der offiziellen Model Card:

• 2,8T Parameter gesamt, 104B aktiv pro Token — MoE mit 896 Experten, von denen 16 aktiviert werden (plus 2 geteilte). Das sind ~1,8 % Routing-Dichte.
• 93 Layer, davon 69 KDA (Kimi Delta Attention — lineare Attention mit Delta-Regel) und 24 Gated MLA.
• Kontext von 1.048.576 Tokens, flach, ohne Preisstaffelung.
• Nativ multimodal (Text + Bild, 401M MoonViT-V2-Encoder).
• Native MXFP4-Quantisierung mit MXFP8-Aktivierungen — Quantization-Aware Training ab der SFT-Phase.
• Thinking ist immer an. Es gibt keinen Non-Thinking-Modus. reasoning_effort akzeptiert low / high / max, Standard ist max.

Zu den Benchmarks: Es ist das erste Open-Weight-Modell, das ernsthaft in die Diskussion mit der Spitze einsteigt. Es schlägt Claude Opus 4.8 und GPT-5.5 auf den meisten Coding- und Agentic-Benchmarks, liegt auf den meisten übrigen wenige Punkte unter Claude Fable 5 und GPT-5.6 Sol und über beiden auf einigen (SWE-Marathon 42.0, BrowseComp 91.2, MCPMark 94.5). Artificial Analysis setzt es auf 57 im Intelligence Index — Platz eins unter den Open-Weight-Modellen.

Das Architekturdetail, das operativ zählt: KDA bricht konventionelles Prefix-Caching. Moonshot hat zur Veröffentlichung eine eigene Caching-Implementierung zu vLLM beigetragen. Wer K3 auf einem alten vLLM-Build serviert, wird es spüren.

3. Lokal: die harte Mathematik

Hier müssen wir ehrlich sein.

Die veröffentlichten Gewichte belegen 96 Shards, ~1,56 TB (1,42 TiB). Nicht 594 GB — diese Zahl kursierte massiv in der Presse vor dem Launch und ist schlicht falsch; man kann 2,8T Parameter bei 4 Bit nicht in weniger als ~1,4 TB speichern, egal wie kreativ man wird. Und das ist vor dem KV-Cache, der bei 1M Kontext selbst zu einem ernsthaften Verbraucher wird.

Was das in Hardware bedeutet:

• Ein Node mit 8× H100 80GB = 640 GB. Passt nicht. Nicht einmal annähernd.
• Ein Node mit 8× 192-GB-Beschleunigern = 1,536 TB. Das Modell passt theoretisch, sonst nichts mehr.
• Moonshots Empfehlung: mindestens 64 Beschleuniger (8 Nodes × 8), mit Expert Parallelism und ernsthafter Interconnect zwischen den Nodes.
• Jemand berichtete, K3 auf 80× RTX 5090 gestartet zu haben — 20 tok/s auf einem einzelnen Stream, Tag eins, ungetunt. Das ist eine technische Leistung, keine Lösung.

Die offiziell empfohlenen Engines: vLLM, SGLang, TokenSpeed. Der Basisbefehl sieht banal aus:

vllm serve moonshotai/Kimi-K3 \
  --tensor-parallel-size 8 \
  --max-model-len 131072 \
  --trust-remote-code

Praktischer Tipp, falls du wirklich dort ankommst: Starte mit 128k–256k Kontext, nicht mit 1M. Das volle Fenster verlangt entweder einen in deinem Build unterstützten Linear-Attention-Kernel oder genug GPUs, um den KV-Cache zu sharden.

GGUF-Status: Zum Zeitpunkt des Schreibens gibt es keine bestätigten Full-Fidelity-GGUF-Ports für llama.cpp / Ollama / LM Studio. Sie werden kommen. Aber selbst ein dynamisches Q2 im Unsloth-Stil bliebe im Bereich von Hunderten von GB — es fällt nicht unter die „Server"-Schwelle, nur unter die „Datacenter"-Schwelle.

Übersetzung für eine Beratungsfirma mit 1–5 Leuten

Nein. Es gibt kein Szenario, in dem der lokale Betrieb von K3 für uns wirtschaftlich Sinn ergibt. Ein Mac Studio M3 Ultra, wie gut auch immer ausgestattet, sieht dieses Modell nicht einmal mit dem Fernglas. Eine RTX 4090 ist in diesem Kontext ein Witz.

Was lokal Sinn ergibt, wenn man Datensouveränität will: Kimi K2.7 Code (1T Parameter, 256k Kontext, ~325 GB bei dynamischem Q2, ~605 GB bei voller Präzision) läuft auf einem gut ausgestatteten Mac Studio oder einer Workstation mit 256+ GB Unified Memory. Es ist ein gutes Modell. Es ist nicht K3, aber es ist ein gutes Modell, und der Unterschied zwischen „gut" und „Frontier" zählt für 80 % der Aufgaben weniger, als man denkt.

Das ehrliche Fazit: „Open Weights" bedeutet bei K3 Souveränität für Firmen mit Racks, nicht für Entwickler mit Laptops. Diese Unterscheidung geht in den Schlagzeilen verloren.

4. Remote statt Claude Code: die echte Ökonomie

Hier wird die Diskussion interessant, denn es ist die einzige praktikable Variante.

Preise

K3 liegt beim Listenpreis auf Sonnet-Niveau. Es ist nicht das billige chinesische Modell, das nach K2 alle erwartet haben — es ist 3–4x teurer als sein eigener Vorgänger K2.6 ($0.95/$4).

Was die Rechnung verändert, ist der Cache Hit bei $0.30 — ein Rabatt von 90 %. In agentischen Schleifen, wo man bei jedem Schritt denselben System-Prompt, dieselben Dateien und denselben Repo-Kontext erneut sendet, trifft der Großteil des Inputs den Cache. OpenRouter meldet ~92 % Cache-Hit-Rate im K3-Traffic, was den effektiven Input auf etwa ~$0.52/1M bringt.

Der Gegenpunkt, und er ist ernst: K3 denkt immer mit maximalem Effort. Jeder Reasoning-Token wird mit $15/1M abgerechnet. Es gibt keinen Knopf für „denk weniger, damit ich weniger zahle". Blended (80/20 Input/Output) landet bei etwa $5.40/1M — gegenüber ~$9 für Opus 4.8. Real, aber nicht spektakulär, und völlig davon abhängig, wie gesprächig das Modell bei deiner Aufgabe ist.

Unabhängige Messungen von Artificial Analysis am Moonshot-Endpoint: ~62 Tokens/Sekunde Output, ~2 Sekunden bis zum ersten Token. Es ist langsamer, als man es gewohnt ist. In einer langen agentischen Schleife kann die Latenz pro Task den Preisvorteil pro Token zunichtemachen.

Wo dein Request tatsächlich läuft

Das ist die Frage, die für jeden zählt, der mit US- oder EU-Kunden unter NDA arbeitet.

• Moonshots direkte API (api.moonshot.ai) — Infrastruktur in China. Für viele Verträge ein automatischer Non-Starter, unabhängig von der Modellqualität.
• Fireworks / Baseten — US-Hosting, mit Zero-Data-Retention-Optionen, von Moonshot zertifiziert. Identischer Preis: $3/$15. Niemand unterbietet, was für sich genommen ein Hinweis darauf ist, wie die Lizenzvereinbarungen dahinter aussehen.
• Vercel AI Gateway — routet zwischen US-Providern mit Failover, gleiche Modell-ID moonshotai/kimi-k3, plus ein teureres und schnelleres „Kimi K3 Fast"-Tier.
• OpenRouter — mehrere Provider, Routing nach Preis/Geschwindigkeit/Tool-Calling-Genauigkeit.

Wenn dein Vertrag Data-Residency-Klauseln enthält, ist die US-gehostete Variante nicht optional. Und sie ist es wert, vorher gelesen zu werden, nicht nachher.

5. Wie man es in Claude Code einbindet

Der gute Teil: Claude Code prüft nicht, mit wem es spricht. Es liest drei Umgebungsvariablen — eine URL, einen Token, einen Modellnamen — und schickt den Request dorthin, wohin sie zeigen. Moonshot stellt einen Anthropic-kompatiblen Endpoint bereit, der Harness bleibt also identisch: dieselben Hooks, dieselben MCP-Server, dieselben Skills, dieselben Gewohnheiten.

Die Konfiguration (aus der offiziellen Moonshot-Dokumentation)

Persistent, in ~/.claude/settings.json:

{
  "env": {
    "ANTHROPIC_BASE_URL": "https://api.moonshot.ai/anthropic",
    "ANTHROPIC_AUTH_TOKEN": "YOUR_MOONSHOT_API_KEY",
    "ANTHROPIC_MODEL": "kimi-k3[1m]",
    "ANTHROPIC_DEFAULT_OPUS_MODEL": "kimi-k3[1m]",
    "ANTHROPIC_DEFAULT_SONNET_MODEL": "kimi-k3[1m]",
    "ANTHROPIC_DEFAULT_HAIKU_MODEL": "kimi-k3[1m]",
    "ANTHROPIC_DEFAULT_FABLE_MODEL": "kimi-k3[1m]",
    "CLAUDE_CODE_SUBAGENT_MODEL": "kimi-k3[1m]",
    "ENABLE_TOOL_SEARCH": "false",
    "CLAUDE_CODE_AUTO_COMPACT_WINDOW": "1048576",
    "CLAUDE_CODE_EFFORT_LEVEL": "max"
  }
}

Oder temporär, nur für die aktuelle Session, mit export auf denselben Variablen vor dem Start von claude. Nicht mischen — Werte aus settings.json haben Vorrang vor den im Terminal exportierten, und das ist der Grund Nummer eins, warum „die Konfiguration nicht funktioniert".

Die Überprüfung erfolgt mit /status, nicht mit /model. Das /model-Menü ist eine feste Liste interner Aliase und wird niemals Kimi-Modelle anzeigen — das ist kein Bug, es gibt dort nichts umzuschalten. /status muss die Moonshot-Base-URL und kimi-k3[1m] anzeigen.

Die Fallen, in der Reihenfolge, in der du sie treffen wirst

1. Ein in der Shell verbliebener ANTHROPIC_API_KEY. Er kollidiert mit ANTHROPIC_AUTH_TOKEN und erzeugt verwirrende 401-Fehler. Lösch ihn.
2. Nicht konfigurierte Tier-Variablen. Wenn du nur ANTHROPIC_MODEL setzt, fordern Hintergrund-Tasks (Konversationstitel, Zusammenfassungen) und Sub-Agenten Claude-Modellnamen an, die der Kimi-Endpoint nicht kennt — und scheitern lautlos. Setze sie alle.
3. ENABLE_TOOL_SEARCH muss false sein. Der Endpoint unterstützt die Funktion noch nicht. Claude Code deaktiviert sie ohnehin standardmäßig, wenn die Base-URL nicht Anthropic ist, aber explizit ist besser.
4. WebFetch funktioniert derzeit nicht am Kimi-Endpoint — es liefert „temporarily unavailable" oder leeren Inhalt. Workaround: Inhalt in den Chat einfügen oder einen Scraping-MCP verwenden.
5. CLAUDE_CODE_AUTO_COMPACT_WINDOW muss zum Modell passen: 1048576 für K3, 262144 für K2.7 Code. Zu klein → es kompaktiert zu früh und du verlierst Kontext; zu groß → Context-Length-Fehler.
6. Preserved Thinking History. K3 wurde in einem Modus trainiert, der verlangt, dass die vollständige Assistenten-Nachricht — einschließlich reasoning_content und tool_calls — in messages zurückgesendet wird, nicht nur content. Claude Code kommt damit klar, aber wenn du deinen eigenen Harness baust oder das Modell mitten in einer Session wechselst, rechne mit instabilem Output.
7. Websuche wird separat abgerechnet, ~$0.004 pro Aufruf, zusätzlich zum Tokenpreis.

Alternativ hat Moonshot ein eigenes CLI — Kimi Code — mit dem das Modell nach eigener Aussage am besten arbeitet und das man parallel installieren kann. Der Unterschied zeigt sich in ihren Benchmarks: K3 erreicht 72,9 auf Kimi Code Bench mit dem eigenen Harness und 73,7 mit Claude Code — der Harness ist also nicht der entscheidende Faktor.

6. Die Lizenz — lies sie

Das ist der Teil, den die meisten Artikel überspringen.

K3 ist nicht MIT und nicht Apache 2.0. Es ist ein eigenes Dokument, die „Kimi K3 License", auf Hugging Face als license:other gekennzeichnet. Artificial Analysis hat sie als „Commercial Use Restricted" klassifiziert.

Der Text ist über weite Strecken MIT-ähnlich — du kannst herunterladen, betreiben, modifizieren, fine-tunen, weiterverbreiten und kommerziell nutzen, ohne Lizenzkosten. Zwei Klauseln ändern die Dinge im großen Maßstab:

• Model-as-a-Service: Wenn du oder deine verbundenen Unternehmen ein Geschäft betreiben, das Dritten Zugang zu Inferenz oder Fine-Tuning bietet, und der aggregierte Umsatz der Gruppe (nicht der auf K3 entfallende) in einem beliebigen Zeitraum von 12 aufeinanderfolgenden Monaten $20M übersteigt, musst du vor jeder kommerziellen Nutzung eine separate Vereinbarung mit Moonshot unterzeichnen.
• Attribution: Jedes kommerzielle Produkt mit mehr als 100 Millionen monatlich aktiven Nutzern oder mehr als $20M Monatsumsatz muss „Kimi K3" sichtbar in der Oberfläche anzeigen.

Rein interne Nutzung und der Zugang über Moonshots Produkte oder deren zertifizierte Partner sind ausgenommen.

Für eine Firma unserer Größe sind beide Schwellen theoretisch. Aber wenn du ein Produkt baust, das du verkaufen willst, oder Inferenz weiterverkaufst, ist Klausel 2 eine vertragliche Verpflichtung, keine Fußnote. Und die $20M-Gruppenschwelle ist klein genug, dass praktisch alle ernsthaften Inferenz-Provider darunter fallen — was erklärt, warum niemand Moonshots Preis unterbietet.

7. Fazit

Lokal: Nein, außer du hast einen Cluster. Für Datensouveränität im Maßstab einer kleinen Firma ist K2.7 Code auf eigener Hardware die echte Antwort.

Remote, als Ersatz für Claude Code: einen Test wert, mit offenen Augen. Die Ökonomie ist real, aber kleiner, als die Schlagzeilen suggerieren — ~40 % unter Opus im Blended-Preis, abhängig von einer guten Cache-Hit-Rate, und teilweise mit Latenz bezahlt, weil das Modell immer auf Maximum denkt. Für Kundenarbeit unter NDA nutze einen US-gehosteten Provider mit ZDR, nicht den direkten Endpoint.

Als zweites Gehirn: Hier finde ich es am interessantesten. Du hast das Claude-Code-Abo bereits. Die Grenzkosten für ein zweites Profil, das zu K3 routet, sind fünf Minuten und ein API-Key. Ein zweites Modell mit einer unabhängigen Meinung zum selben Code, das genau in den Bereichen glänzt, in denen es auf Platz eins steht — Frontend, Design, sehr lange agentische Aufgaben — ist kein Ersatz. Es ist eine zweite Meinung. Und cc-switch oder ein einfacher Alias in .zshrc macht das Umschalten augenblicklich.

Das ist, glaube ich, der eigentliche Gewinn dieser Woche: nicht dass wir ein billigeres Modell haben, sondern dass der Harness portabel geworden ist. Die Werkzeuge, die wir uns zur Gewohnheit gemacht haben — Claude Code, MCP, Skills — sind nicht mehr an einen einzigen Anbieter gebunden. Das ist eine gute Nachricht, egal wen man am Ende wählt.

Eine Anmerkung wie üblich: Ich glaube, dass KI die Zukunft ist und dass die obigen Reibungen — WebFetch, das nicht funktioniert, Umgebungsvariablen, die an acht Stellen von Hand gesetzt werden müssen, 1,5 TB Gewichte, die niemand zu Hause betreiben kann — Kinderkrankheiten sind, die gelöst werden. Das Ökosystem hat 18 Monate echter Reife. Aber solange sie vor uns liegen, verdienen sie eine ehrliche Diskussion, denn die Infrastrukturentscheidungen, die wir jetzt treffen, kosten uns in den kommenden Monaten echtes Geld.

Alle Daten in diesem Artikel wurden am 28. Juli 2026 anhand der offiziellen Model Card, der Moonshot-Plattformdokumentation und unabhängiger Berichte verifiziert. In einer Launch-Woche bewegt sich täglich etwas — prüfe das Repo vor jeder Produktionsentscheidung.