Unternehmen setzten bei LLMs weitgehend auf Clouddienste. Lokale Modelle haben im Vergleich zur Cloud einige Vorteile: Die Kosten sind besser kalkulierbar, und die Daten bleiben innerhalb des Unternehmens.

Allerdings bringt der lokale Betrieb der LLMs einige Herausforderungen mit sich. Außerdem eignet sich nicht jedes Projekt uneingeschränkt und ohne Anpassungen für den lokalen Ansatz.

Am 15. Oktober zeigt die Online-Konferenz LLMs im Unternehmen, welche Hardware für den lokalen Betrieb erforderlich ist, wie man die Performance optimiert und wie Feintuning der Modelle hilft.

Projekte, Hardware, Optimierung

Das Programm der von iX und dpunkt.verlag ausgerichteten Online-Konferenz bietet Vorträge zu folgenden Themen:

• Software für lokale LLMs
• Wie viel GPU braucht der Chatbot?
• Performance-Optimierung
• LLMs und Embedding-Modelle, selbstgebaut
• Coding-Agenten im Enterprise-Einsatz bewerten
• Kosten von KI-Inferenz und wie man flexibel bleibt

Bis zum 25. September sind die Tickets für die Online-Konferenz zum Frühbucherpreis von 279 Euro (zzgl. 19 % MwSt.) erhältlich.

Workshops zu Feintuning und Performance-Optimierung

Am 22.10. und 18.11. sind zusätzlich zwei Workshops geplant, deren Agenda in Kürze veröffentlicht wird. Ein Workshop wird sich mit dem Feintuning großer Sprachmodelle beschäftigen und der andere mit Performance-Optimierungen für den lokalen Einsatz.

Wer über die Online-Konferenz und die zugehörige Konferenz Minds Mastering Machines informiert werden möchte, kann sich für den M3-Newsletter eintragen.

(rme)