Es ist nutzbar, aber nicht instant. Ich benutze das Modell qwen3.6:35b (das braucht 24GB VRAM) und nutze es oft, um über ein Projekt zu gehen und mir Verbesserungsvorschläge zu geben.

Die Antworten dauern zwischen 30s bis 5min nachdem man eine Anfrage gestellt hat (und je nachdem wie komplex der Task ist). So Schnellschuss-Sachen kann man damit also nicht machen, das ist aber auch ganz gut, weil ich kein Vibecoder bin und meine Aufgaben mit Bedacht angehe.

Die Qualität der Antworten ist vergleichbar mit ChatGPT und Gemini. Man merkt, dass der Kontext schneller verlorengeht wenn man im gleichen Thread Folgeanfragen stellt, aber meiner Meinung braucht man eigentlich die großen teuren Abomodelle gar nicht, das kann alles lokal laufen.

Solche Auswüchse wie Loops und 10 Agenten gleichzeitig auf ein Problem draufzuwerfen geht natürlich nicht, das ist aber in meinen Augen eh eine sehr fragwürdige Methode der Softwareentwicklung und wird hoffentlich wieder aussterben (schon allein aufgrund der hohen Kosten).

Ich habe ein Ryzen 7850HS (32GB) mit einer RTX 4060 (8GB) und lasse da z.B. gemma4 26B A4B drauf laufen. Es ist sicher nicht so performant wie cloud Modelle, aber ich finde man kann damit gut arbeiten. Habe gestern qwen3.6 als MoE probiert und das war eine Katastrophe. Denke kommt stark auf die Hardware, Model und letztendlich auf die Tasks an.

Habe heute ihn selbst Docker, Compose und Startskript über arbeiten lassen und am Ende eine saubere Readme.md schreiben lassen, ging erschreckend gut.

Hint: Ich hoste noch ein paar Dienste auf einem NUC8i7 und wollte es darauf probieren, ist ja im Grunde auch Mobile Hardware, Katastrophe.

Also llamacpp hat nichts mit den llama Modellen von meta zu tun. Llamacpp ist ein service wo du verschiedene llm Modelle darüber bereitstellst. Quasi eine ollama alternative.

Die Open weight Modelle laufen ja im eigenen Netz, sind zwar von Meta (mit Raubdaten) trainiert, aber die Nutzung hat dann mit Meta nichts mehr zu tun. Und die Software ist ja OpenSource.