Eine KI im GPT-Stil entwickeln

Eine KI im GPT-Stil entwickeln
Deutsch | May 7, 2026 | ASIN: B0GX32RBQV | 710 Seiten | Epub | 1.01 MB
Die meisten LLM-Bücher zeigen entweder High-Level-Konzepte oder fertige Tools. Dieses Buch vermittelt den gesamten Engineering-Prozess.Ein LLM im GPT-Stil trainieren beginnt mit einem leeren Ordner und baut Schritt für Schritt ein Sprachmodell-Projekt auf. Sie werden die Umgebung, den Tokeniser, die Dataset-Pipeline, den Decoder-only-Transformer, die Trainingsschleife, das Checkpoint-System, Validierungsberichte, den Mixed-Precision-Pfad, das Generierungsmodul, den LoRA-Workflow, den QLoRA-Workflow, die Release-Checkliste und die lokale API erstellen.Der Schwerpunkt liegt auf praktischem Verständnis. Sie werden sehen, warum die Tokenisierung vor der Modellierung kommt, wie das Next-Token-Training funktioniert, wie Checkpoints lange Durchläufe absichern, warum der Validation Loss allein nicht ausreicht, wie CUDA AMP torch.autocast und GradScaler verwendet, warum BF16 in der Regel keine Gradientenskalierung auf die gleiche Weise wie FP16 benötigt und wie CPU- und MPS-Fallbacks sauber gehandhabt werden sollten.Das Buch ist ehrlich in Bezug auf die Größenordnung. Ein 0,5B-Modell ist groß genug, um echte Engineering-Anforderungen zu vermitteln. Ein 7B-Modell verändert die Hardware-Anforderungen grundlegend. Kommerzielle Frontier-Systeme wie GPT-5.5 und Claude erfordern industrielle Infrastruktur, proprietäre Daten-Pipelines, Post-Training, Sicherheitssysteme, Evaluierungsprogramme und Serving-Plattformen. Dieses Buch tut auch nicht so, als wäre das anders. Stattdessen vermittelt es Ihnen die Werkzeuge und das Verständnis, um nachzuvollziehen, wie LLM-Systeme entwickelt werden.Sie lernen Folgendes:Einen GPT-Stil-Transformer direkt in PyTorch erstellen.Einen Tokeniser trainieren und inspizieren.Datasets für Next-Token-Prediction vorbereiten.Training, Validierung, Checkpointing und Wiederaufnahme implementieren.CUDA AMP mit torch.autocast und GradScaler verwenden.BF16, FP16, CPU-Fallback und Apple-Silicon-MPS-Verhalten verstehen.Eine 0,5B-Modell-Konfiguration entwerfen, bevor Sie Rechenleistung verschwenden.Skalierung von 0,5B auf 3B und 7B durchdenken.Bestehende Modelle mit LoRA und QLoRA feinabstimmen.Ein Modell evaluieren, veröffentlichen, quantisieren und lokal bereitstellen.Der Begleitcode ist verfügbar unter

https://github.com/riccione83/tiny-llm.Dies

ist ein praxisorientiertes technisches Buch für Software-Engineers, Machine-Learning-Praktiker, Studierende, Gründer und ambitionierte Entwickler, die LLMs verstehen wollen, indem sie das darunter liegende System konstruieren.