Wenn von Künstlicher Intelligenz die Rede ist, folgen darauf oft Bilder von großen Rechenzentren in den Köpfen der Menschen. Der Unmut über KI-Datenzentren hat sich in den vergangenen Monaten immer weiter ausgebreitet, weil die Datenzentren enorm viel Strom verbrauchen und sogar ihre Umgebung aufheizen können. Dass KI aber auch ganz anders geht, beweist jetzt das Team von Squeeze Labs.

Eine KI mit Kurbel

Ihr Werk trägt den passenden Namen "CrankGPT", also "KurbelGPT". Von außen sieht das KI-Gadget wie eine rote Box mit einer großen Kurbel aus. Im Inneren steckt aber ausreichend Technik, um Künstliche Intelligenz lokal und ohne hohen Stromverbrauch betreiben zu können. Dafür setzen die Bastler auf einen Raspberry Pi 5 und einen Kurbelgenerator, der 20 Watt produzieren kann. Eigentlich wird der Generator genutzt, um in der Not Geräte per USB mit Muskelkraft zu laden.

Sobald die Kurbel gedreht wird, schaltet sich der verbaute Raspberry Pi an. Laut den Tüftlern war es deshalb enorm wichtig, ein schnell ladendes Betriebssystem zu wählen. Sonst müsste man minutenlang kurbeln, bevor etwas passiert. Ihre Wahl fiel auf DietPi, eine minimalistische Debian-Version. Dadurch startet Linux in weniger als drei Sekunden.

Der komplette Startvorgang dauert dabei etwa 30 Sekunden. Es dauert etwa zehn bis 15 Sekunden, bis der Raspberry Pi komplett gestartet ist. Dazu kommen die erwähnten drei Sekunden für Linux sowie zehn bis fünfzehn Sekunden, in denen das Modell geladen wird. Danach können der KI Fragen gestellt werden. CrankGPT ist sogar in der Lage, Sprache zu übersetzen. Die Spracherkennung erfolgt über Moonshine ASR, während die Sprache selbst durch ein KI-Modell verarbeitet wird. Die Antwort der KI wird schließlich über Piper von Text in Sprache umgewandelt.

Für die KI haben die Bastler mehrere Modelle getestet, die zuverlässig funktionieren. Darunter fallen Liquid AI LFM 2 in den Varianten mit 350 Millionen und 1,2 Milliarden Parametern sowie Gemma 3 mit einer Milliarde Parametern. Alle können schnelle Antworten ohne große Latenzen hervorbringen, obwohl die Hardware nicht gerade vor Performance strotzt. Andere Modelle wie Qwen 3.5 2B konnten nur einstellige Token pro Sekunde generieren – zu langsam für Antworten, die in Echtzeit erfolgen sollen.

Zu ihrem Werk schreiben die Bastler:: "Auch wenn es aktuell nicht praktikabel ist, ausgeklügelte KI-Arbeitslasten auf einem Raspberry Pi laufen zu lassen, deutet unsere Arbeit darauf hin, dass es eine komplette Klasse von unentdeckten KI-Anwendungen gibt, die lokal laufen können, ohne dabei große Mengen Energie zu verbrauchen. Und weil Modelle immer kleiner und effizienter werden, werden sie irgendwann nicht mehr nur auf dem aktuellen iPhone laufen, sondern auch auf kleinerer und deutlich günstigerer Hardware".

Dieser Beitrag ist zuerst auf t3n.de erschienen.

(jle)