Gestern gab es im TechLab einen kurzen Input von mir zum Thema "Lokales LLM". Die grossen LLM Modelle wie ChatGPT, Claude, Gemini, Grok, etc. laufen auf den jeweiligen Servern der Anbieter, und obschon bei fast allen Diensten abgestellt werden kann, dass die eigenen Daten fürs Training dieser Modelle genutzt werden dürfen, werden die Daten trotzdem zumindest für 30 Tage auf deren Servern gespeichert.
Als Alternative dieser grossen Modelle gibt es kleinere LLMs mit weniger Parametern, die auch auf einem lokalen Rechner/Laptop betrieben werden können und wo die eingegebenen Daten privat bleiben. Diese kleineren Modelle sind zum grössten Teil Open-Source Modelle (hier eine Liste der besten Modelle) und kosten demnach auch keine Gebühren bei der Nutzung. Der Nachteil dieser Modelle ist aber die geringere Antwortqualität. Auch die Auswertung von PDFs und weiteren Textformaten funktioniert teils nicht, oder zumindest nicht so gut wie bei ChatGPT und Co.
Für nicht-technisch versierte Benutzende gibt es vorkonfiguierte Dienste wie GPT4ALL oder LMStudio, welche einem das Downloaden und Benutzen dieser LLMs sehr vereinfachen.
Für alle anderen gäbe es auch die Möglichkeit, lokale Chatbots selbst zu programmieren. Mittels Unterstützung von ChatGPT und Co. wäre dies durchaus auch von ProgrammieranfängerInnen machbar.
Hier die Präsentation, die ich gestern durchgeführt habe als PowerPoint und Webex Aufzeichnung:
- Webex Aufzeichnung (Passwort: UuAHUFj3)