Die Groesse eines Drachen wird von seiner Spannweite begrenzt; die Groesse deines Modells wird vom Speicher begrenzt. Diese Lektion gibt dir die exakte Speicher-Mathematik fuers Training und vergleicht dann unsere zwei Kursmaschinen — das Mac Studio M3 Ultra mit 96 GB Unified Memory und den i9-PC mit einer RTX 4090 (24 GB VRAM) — damit du genau weisst, welche Modelle jede trainieren kann und welche wobei gewinnt.
Die Speicher-Mathematik, die alles entscheidet
Der Trainingsspeicher wird von vier Dingen dominiert: den Gewichten des Modells, den Gradienten, dem Optimizer-State und den Aktivierungen. Wie viel du brauchst, haengt komplett von der Trainingsmethode ab:
Konzept
Faustregeln pro Milliarde Parameter:Volles Fine-Tuning (16-bit + AdamW): ~16–20 GB pro 1B Parameter — Gewichte (2) + Gradienten (2) + Optimizer (8–12) + Aktivierungen.
LoRA (16-bit eingefrorene Basis): ~2–2,5 GB pro 1B Parameter — die Basis sitzt nur im Speicher; nur winzige Adapter trainieren.
QLoRA (4-bit eingefrorene Basis): ~0,6–0,8 GB pro 1B Parameter — die Basis ist auf 4 Bit komprimiert, die Adapter trainieren weiter in 16-bit.
Rechne die Zahlen durch und das Bild ist sofort klar:
| Modellgroesse | Volles Fine-Tuning | LoRA (16-bit) | QLoRA (4-bit) |
|---|---|---|---|
| 1B | ~18 GB | ~3 GB | ~1,5 GB |
| 4B | ~70 GB | ~10 GB | ~4 GB |
| 8B | ~140 GB | ~18 GB | ~7 GB |
| 14B | ~250 GB | ~32 GB | ~12 GB |
| 32B | ~550 GB | ~70 GB | ~24 GB |
| 70B | ~1,2 TB | ~150 GB | ~48 GB |
Jetzt legen wir die Speicher-Obergrenzen unserer zwei Maschinen darueber:
Maschine 1: Mac Studio M3 Ultra, 96 GB Unified Memory
Apples Trick ist Unified Memory: CPU und GPU teilen sich einen riesigen Pool. Es gibt kein "Kopieren ins VRAM" — die GPU sieht alle 96 GB (macOS laesst dich standardmaessig etwa 75% davon an die GPU geben, mehr mit Tuning). Das Training laeuft auf MLX, Apples ML-Framework, mit dem Paket mlx-lm.
Staerken:
- Kapazitaet ist Koenig. QLoRA auf einem 32B-Modell ist komfortabel. LoRA auf 14B funktioniert. Sogar ein 70B-QLoRA ist moeglich — langsam, aber moeglich. Auf einer 24-GB-Karte sind diese schlicht ausser Reichweite.
- Leise, winziger Stromverbrauch (~160 W unter Last), passt auf einen Schreibtisch.
- Dieselbe Maschine serviert danach grosse Modelle schnell fuer Inferenz — ~800 GB/s Speicherbandbreite sind exzellent fuer Token-Generierung.
Schwaechen:
- Reine Trainings-Rechenleistung. Die M3-Ultra-GPU ist stark, aber das CUDA-Oekosystem ist bei Trainings-Optimierungen ein Jahrzehnt voraus. Rechne mit Trainingslaeufen, die 2–4× langsamer sind als eine 4090 — bei Modellen, die auf beide passen.
- Manche Cutting-Edge-Trainingstricks (fancy Kernels, einige Quantisierungsschemata) landen zuerst auf CUDA, auf MLX spaeter oder nie.
Maschine 2: i9-PC + RTX 4090, 24 GB VRAM
Die 4090 ist ein Monster: ~1000 GB/s Speicherbandbreite, dedizierte Tensor Cores und der volle CUDA-Stack — Unsloth, Hugging Face transformers + peft + trl, Flash Attention, bitsandbytes. Der i9 und der System-RAM zaehlen hauptsaechlich fuers Daten-Preprocessing; die echte Arbeit macht die GPU.
Staerken:
- Geschwindigkeit ist Koenig. Fuer alles ≤ 8B rast die 4090 durchs Training. Ein LoRA-Lauf, der auf dem Mac eine Stunde dauert, ist in ~15–20 Minuten fertig.
- Unsloths Kernels verdoppeln grob die Trainingsgeschwindigkeit und halbieren den Speicher vs Vanilla Hugging Face — ein kostenloses 2× auf genau dieser Karte.
- Jedes Tutorial, jede neue Technik, jede Optimierung erscheint CUDA-first.
Schwaechen:
- 24 GB sind eine harte Wand. 14B-LoRA in 16-bit passt nicht; 32B-QLoRA quetscht sich gerade so rein, mit kleiner Batch Size und kurzem Kontext. Wenn es nicht passt, crasht es einfach — es gibt kein "langsam, aber laeuft" wie bei Unified Memory.
- Strom und Laerm: 450 W allein auf der GPU unter Last.
Also: Welche Maschine sollte was trainieren?
| Szenario | Gewinner | Warum |
|---|---|---|
| LoRA/QLoRA auf 1B–8B (unser Kursprojekt) | RTX 4090 | 2–4× schneller, alles passt sowieso |
| QLoRA auf 14B–32B | M3 Ultra | Passt mit Luft nach oben; die 4090 wuergt |
| Alles Richtung 70B | M3 Ultra | Einzige Maschine mit dem Speicher, Geduld erforderlich |
| Das trainierte Modell danach servieren | Unentschieden | 4090 schneller bei kleinen Modellen, der Mac stemmt groessere |
| Mit brandneuen Techniken experimentieren | RTX 4090 | CUDA-first-Oekosystem |