this post was submitted on 02 Aug 2026
43 points (100.0% liked)
DACH - Deutschsprachige Community für Deutschland, Österreich, Schweiz
5463 readers
413 users here now
Das Sammelbecken auf feddit.org für alle Deutschsprechenden aus Deutschland, Österreich, Schweiz, Liechtenstein, Luxemburg und die zwei Belgier. Außerdem natürlich alle anderen deutschprechenden Länderteile der Welt.
Für länderspezifische Themen könnt ihr euch in folgenden Communities austauschen:
___
Zusätzliche Regeln aus „Lessons learned":
- Postet hier zu allen Themen, die euch interessieren (soweit sie den anderen Regeln genügen)
- Posts oder Antworten, die einen Archive[.]today (oder eines der Derivate) beinhaltet, werden kommentarlos gelöscht
- Es werden Posts zum Thema Nahost / Palästina/Israel hier auf Dach gelöscht.
- Dasselbe gilt für Wahlumfragen à la Sonntagsumfrage.
- Bitte Titel von Posts nur sinnerweiternd und nicht sinnentstellend verändern. Eigene Meinungen gehören in den Superkommentar oder noch besser in einen eigenen Kommentar darunter.
- Youtube Videos bitte nicht ohne eine zusätzliche Zusammenfassung posten
___
Einsteigertipps für Neue gibt es hier.
___
Eine ausführliche Sidebar mit den Serverregeln usw. findet ihr auf der Startseite von feddit.org
___
founded 2 years ago
MODERATORS
you are viewing a single comment's thread
view the rest of the comments
view the rest of the comments
Wie performant ist denn so ein lokales Dings auf einem Notebook? Ist das brauchbar schnell?
Es ist nutzbar, aber nicht instant. Ich benutze das Modell qwen3.6:35b (das braucht 24GB VRAM) und nutze es oft, um über ein Projekt zu gehen und mir Verbesserungsvorschläge zu geben.
Die Antworten dauern zwischen 30s bis 5min nachdem man eine Anfrage gestellt hat (und je nachdem wie komplex der Task ist). So Schnellschuss-Sachen kann man damit also nicht machen, das ist aber auch ganz gut, weil ich kein Vibecoder bin und meine Aufgaben mit Bedacht angehe.
Die Qualität der Antworten ist vergleichbar mit ChatGPT und Gemini. Man merkt, dass der Kontext schneller verlorengeht wenn man im gleichen Thread Folgeanfragen stellt, aber meiner Meinung braucht man eigentlich die großen teuren Abomodelle gar nicht, das kann alles lokal laufen.
Solche Auswüchse wie Loops und 10 Agenten gleichzeitig auf ein Problem draufzuwerfen geht natürlich nicht, das ist aber in meinen Augen eh eine sehr fragwürdige Methode der Softwareentwicklung und wird hoffentlich wieder aussterben (schon allein aufgrund der hohen Kosten).
Auch der techstack oder anders? Hatte am Anfang ollama, aber llamacpp macht mir einen performanteren Eindruck, wenn man ein Modell exklusiv nutzen mochte.
Zum Thema vibecoding sehe ich genauso, aber für Tasks die man nicht so gerne machen möchte geht es zumindest mit gemma4 echt gut. Will morgen mal gucken, ob ich Infrastrukturaufgaben abgeben kann. Haben ein paar Skripte mit denen alle unzufrieden sind, aber keiner Lust und Zeit hat diese zu überarbeiten. Danach will ich auch mal sehen, ob es reviews von pull requests machen kann und eine erste Einschätzung machen kann. Vll. auch refactorings vorschlagen kann.
ollama soll wohl schlechtere Performance als llama.cpp haben, wenn man RAM und VRAM kombiniert, aber es gibt viele widersprüchliche Aussagen (und KI-generierte) Artikel die beide miteinander vergleichen.
Selbst getestet habe ich es noch nicht. ollama war am einfachsten für mich aufzusetzen - einfach das Binary (und das AMD rocm-Paket) runterladen,
ollama serveeingeben, fertig. Ich benutze ollama mit webstorm als Harness, da kann man das direkt ins KI-Plugin integrieren. Es kann dort wohl auch für Tab Completion genutzt werden, das Feature verwende ich allerdings nicht, da es mehr stört als nutzt.Ich habe ein Ryzen 7850HS (32GB) mit einer RTX 4060 (8GB) und lasse da z.B. gemma4 26B A4B drauf laufen. Es ist sicher nicht so performant wie cloud Modelle, aber ich finde man kann damit gut arbeiten. Habe gestern qwen3.6 als MoE probiert und das war eine Katastrophe. Denke kommt stark auf die Hardware, Model und letztendlich auf die Tasks an.
Habe heute ihn selbst Docker, Compose und Startskript über arbeiten lassen und am Ende eine saubere Readme.md schreiben lassen, ging erschreckend gut.
Hint: Ich hoste noch ein paar Dienste auf einem NUC8i7 und wollte es darauf probieren, ist ja im Grunde auch Mobile Hardware, Katastrophe.