Microsoft hat das neue KI-Modell Phi-3 Mini vorgestellt, das erste einer Serie kleinerer Modelle. Mit 3,8 Milliarden Parametern und einem kleineren Datensatz trainiert, zielt Phi-3 Mini darauf ab, die Leistung größerer Modelle wie Mixtral 8x7B und GPT-3.5 zu erreichen. Besonders hervorzuheben ist die Anpassung für Smartphones: Das Modell kann auf 4 Bit quantisiert werden und benötigt nur 1,8 GB Speicher. Tests auf einem iPhone 14 zeigten eine Verarbeitung von über 12 Token pro Sekunde, komplett offline (Quelle: Caschy).

Dirk meint: Wer, wie ich, schon einmal ein paar KI-Lösungen lokal eingerichtet hat, kennt die damit verbundenen Herausforderungen: Der Installationsprozess ist meist ein Pickel am Allerwertesten, und wenn der eigene Rechner nicht gerade eine Gamer-GPU verbaut hat, arbeitet die KI danach bestenfalls im Schleichtempo. Ein Sprachmodell als simpel installierbare App, die – ohne mich an ihre Familie zu verpetzen – auch noch zügig tut, worum ich sie bitte, rückt mit Phi-3 in den Bereich des Machbaren. Ob Microsoft seine Copiloten-Flotte indes wirklich um einen schlanken, schnellen, aber nicht ganz so schlauen Kollegen erweitern wird? Warten wir’s ab.