Wir haben LLM zuhause!

LLM für jeden, ein LLM zuhause:

Large Language Models (ab hier nur noch als LLM bezeichnet) sind ein Werkzeug, von dem einige überzeugt sind, dass sie ein Meilenstein der menschlichen Schaffung sind, sie können nahezu jede Sprache perfekt sprechen, wenn man sie nur richtig trainiert.
Bildquelle

Um dieses Trainieren, oder ob Machine Learning ein Triumph oder eine Tragödie ist, soll es hier aber gar nicht gehen. Wir erzählen, wie wir „einfach“ eine Infrastruktur für KI-Projekte begleitet haben, oder:

Wie unser Deutschlehrer zum KI-Experten wurde

In dem Jahr 2025 hat sich etwas mehr und mehr, im Vergleich zu den Jahrzehnten, wenn nicht sogar Jahrhunderten vorher, etabliert. Mitarbeiter werden (auf Grafikkarten) simuliert, mit einer unerwarteten Menge und Qualität.
Einer dieser Mitarbeiter ist ChatGPT, in verschiedenen Modellen ist er quasi der Vertreter der LLM, ein Mitarbeiter, der theoretisch unendlich viel weiß und Sprache verstehen und nutzen kann. So nah wie das vielleicht an Skynet heranreicht, was Kommunikation betrifft, so scheitert es doch noch immer grandios an Aufgaben, die Mathematik, Zählen, Physik und Mechanik beinhalten. Im Prinzip kann es tatsächlich nur Sprache, Kommunikation. Das eröffnet natürlich die Möglichkeit mit anderen Mitarbeitern zu kommunizieren, die Mathematik, Zählen usw. beherrschen.

Ob diese Mitarbeiter 120 mmHg oder 1200 mV als Vitalwerte haben werden, bleibt zu beobachten, sicher ist jedoch, die Büchse der Pandora ist geöffnet, verschiedenste Interessenhalter bemühen sich aus diversesten Gründen KIs in die diversesten Bereiche des Lebens zu integrieren und ihnen jegliche Kompetenz anzutrainieren.

Kompetenz im kontext Sprache, das kann man sicher behaupten, hat Herr Kruse gelernt; Deutschlehrer, Russischlehrer und sogar Blog-Verwalter überführen ihn als schuldiger Linguist, letzteres entlarvt ihn sogar weiter, er ist kein Digitalverweigerer.

Dementsprechend ist es wenig verwunderlich, dass Herr Kruse hoch motiviert war, seine eigenen Bastelkasten für diese KI-Sprach „Mitarbeiter“ zu haben. Ob diese nun bei Standartfragen wie zum Beispiel Bewerbungsfristen als Chatbot das Sekretariat entlasten oder für Schüler ein Prüfung simulieren könnten, so ein „KI-Kasten“ würde immerhin die Möglichkeit bieten Werkzeuge zu nutzen, die in der Zukunft entwickelt werden können. Niemand weiß, wohin es mit LLM als Konzept geht, aber eine günstige Möglichkeit der Teilhabe, auch als IT-Ausbilder, war interessant genug, um unter die Lupe genommen zu werden.

Ältere Grafikkarten wie die Nvidia Tesla Reihe sind, vor allem gebraucht, interessant, weil sie ein aus Sicht der knappen Finanzen einer Schule ein günstiges Preis-/Leistungs-Verhältnis haben. Ebenso ältere Server, welche immer noch mehr als genug CPU-Leistung für diese Zwecke haben, schließlich verlassen wir uns hauptsächlich auf die GPU. Arbeitsspeicher. Arbeitsspeicher ist günstig. Günstiger als Entwicklerstunden, sagte ein Kollege aus der SAP-Abteilung einmal augenzwinkernd. Zu den verschiedenen LLM-Modellen muss man sich eigentlich sehr viele Gedanken machen. Schließlich steckt hinter den Trainingsdaten unglaublich viel Arbeit. Und Arbeit ist entweder teuer oder grausam. Wer weiß, durch was für Klickfarmen DeepSeek so günstig entwickelt werden konnte.

ein bisschen Tech-Talk

Anders als bei den Modellen selbst, so ist das Ausführen der Modelle sehr viel simpler zu implementieren, und deswegen auch von Gemeinschaften wie Software-Clubs, Hochschulen oder Firmen in verschiedensten Versionen erhältlich. Angenehmerweise vertritt Herr Kruse hier eine härtere Linie, ein quelloffenes Modell, am liebsten aus der Forschung/Wissenschaft der öffentlichen Hand, soll her. Mit etwas Absprache und Recherche innerhalb des Lehrkörpers war es möglich günstig an Server mit starker Hardware zu gelangen. 2 × 16 GB Grafikspeicher und 2 × 32 Threads gepaart mit 128 GB Arbeitsspeicher stellen zu diesem Zeitpunkt (Frühjahr 2025) eine mittelstarke KI-Hardware dar. Dies mag möglicherweise in kürzester Zeit in etwaige Richtung lächerlich werden, man kann gespannt bleiben.

Der Server wurde mit Proxmox verwaltet, warum? Das lässt sich schlecht erklären, mit der Gegenoption, Container, welche viel dynamischer auf die GPU zugreifen könnten, zu verwenden.

Mein persönlicher Tipp: Reden Sie sich ein, es sei „historisch so gewachsen“.

Proxmox kann nämlich die hochintelligente GPU-Verwaltung von Nvidia, „NVIDIA vGPU“, eine komplexe, schnelle, gut dokumentierte, industrienahe Lösung, die gottlos lizenziert ist, sodass

1. das Kostenmodell intransparenter ist als der Schufa-Score
2. das Kostenmodell mit Serverlösungen und mehr als einer GPU nicht linear teurer wird, sondern mehr

Wer Interesse und wirklich Langeweile hat: Kostenmodell Nvidia vGPU

Natürlich wäre es eine Schande, wenn es nur eine kostenpflichtige Version gäbe auf die GPU zuzugreifen, weswegen es natürlich die Option gibt, die GPU einfach 1 zu 1 in den Container, den man zur Abkapselung zu anderer Hardware erstellt hat, wieder durchzureichen …

Nachdem diese sinnvollen Dinge eruiert wurden, wenden wir uns weiter LLM und vor allem den Umgang damit zu: Herr Kruse hat nämlich mithilfe eines LLM eine Anleitung erstellt, wie man Ubuntu-Server aufsetzt und dort ein LLM mit einem sogenannten Retrieval-Augmented Generation (RAG) Filter erstellt. Dieses RAG-System war an eine Vektordatenbank angeschlossen, welche mithilfe eines anderen LLM, aus PDF-Dokumenten, welche man hochladen konnte, gefüllt wurde.
Nicht hochscrollen, Herr Kruse ist kein IT-Lehrer. Deutsch für IT-Berufe. Herr Kruse kann mithilfe von Sprache und einem viel wissenden KI-Mitarbeiter zumindest in grober Ausführung das, wofür manche Schüler 3 Jahre Unterricht besuchen.

ohne Expertise ging es nicht: einfache Fehler trotz KI

Dies hat mich persönlich sehr beeindruckt. Das LLM hat Herrn Kruse funktionierende Python-Scripte gegeben sowie verschiedene richtige Installationsanweisungen für Bibliotheken und Linux Kommandos. Sogar eine sogenannte virtuelle Entwicklungsumgebung für die Python-Bibliotheken sind Teil der Anleitung. Dennoch, einige grundlegende Dinge waren doch mit etwas Expertise verbunden. Und meiner Meinung nach, hätte es ohne Fachwissen noch länger gedauert, oder mehr gekostet, den Server zum Sandkasten zu machen. Zum Beispiel war die grundlegende CPU-Architektur nicht korrekt eingestellt oder die Skripte wurden einfach in das oberste Verzeichnis gespeichert, außerdem wurde die Anweisung OLLAMA als Grundlage zu verwenden ignoriert und Python-Transformers verwendet. Dies hat auch funktioniert, es ist aber ein wichtiger Unterschied.

Gemeinsam mit Herrn Kruse konnten wir dann eine saubere Installation in Proxmox erstellen, sodass jede Klasse, die mit LLM oder vielleicht sogar anderen Machine Learning Aufgaben experimentieren möchte, nun die Möglichkeit dazu hat. Ohne Abonnement, ohne Cloud, ohne Konto und sogar, bis jetzt, ohne Microsoft.

Was nehme ich mit?

Mein Beruf wird auch automatisiert. ChatGPT weiß, wie Linux installiert wird. ChatGPT kann Python generieren, um sich selbst zu hosten. Die Grenzen, was Machine Learning und Robotik überwinden, scheinen jede Woche neu gezogen zu werden. Ich glaube nicht, dass es unser neues Feuer, das nächste Rad oder so etwas ist. Wohl aber ein weiterer Sprung wie Kernkraft, Kunststoff, Verbrennungsmotor, mit Kosten, die ignoriert und ungerecht verteilt werden.

Ich werde mich in einen Beruf umorientieren, der mehr mit Menschen zu tun hat, vielleicht werde ich Informatik-Lehrer. LLM ist ein Tool, das für mich persönlich das „Handwerk“ des Informatikers kaputt macht. Der Clean Code, der irgendwann zum Muskelgedächtnis wird, wird ersetzt durch ein generierendes LLM, welches auf Kosten der ärmeren Welt trainiert wurde, unglaublich viel Strom verbraucht und dessen Existenz die Frage neu aufreißt: Wofür arbeitet man?