Ein 125-Milliarden-Sprachmodell auf einem normalen Desktop-PC, ohne Cloud, ohne Abo, ohne dass auch nur ein Byte den Rechner verlässt: Strata verteilt das Modell auf Grafikkarte, Arbeitsspeicher und Festplatte und liefert darüber eine OpenAI-kompatible Adresse im eigenen Netzwerk. Dieser Artikel zeigt den kompletten Weg – Docker-Container einrichten, Modell herunterladen, auf eine große Platte auslagern, den Coding-Agenten pi.dev auf dem Host anbinden, zwischen mehreren Modellen umschalten – und er zeigt gemessene Zahlen statt Herstellerangaben: 135 Token pro Sekunde mit dem schnellsten Modell, 31 mit dem größten – und beim Lesen einer 32 000-Token-Eingabe gut 7 Sekunden gegen 56, auf exakt derselben Grafikkarte.
(mehr …)