this post was submitted on 04 Nov 2025
17 points (100.0% liked)
Teknologi
459 readers
13 users here now
For debat og nyheder omkring teknologi af alle former.
founded 2 years ago
MODERATORS
you are viewing a single comment's thread
view the rest of the comments
view the rest of the comments
Er der nogen der har erfaring med at køre LLMer lokalt? Det virker som den eneste udvej.
@SorteKanin Jeg bruger generelt ikke LLM'er, men jeg ved at home assistant har haft en del releases hvor de har udbygget deres understøttelse af dem, så det er et godt sted at starte. Et problem jeg har læst om er, at en lokal LLM på en langsom server er lang tid om at svare, så det kræver nok en del stål for at det skal køre fornuftigt.
Afhængigt af modellen, og hvad den skal kunne, ja. De kan kvanticeres (altså gøres mindre) til en vis grad, men som udgangspunkt kræver det et high-end grafikkort for at kunne trække "mellemgode" modeller til generel chat/instrukser.
Eksempelvis OpenAI's open source lille model på 20B parametre kan køres på grafikkort med minimum 16 GB VRAM, hvis jeg forstår det ret.
Pewdiepie, af alle, har sjovt nok lavet en video om emnet for få dage siden: https://feddit.dk/post/17021894
Jeg har prøvet det med en lille model fra Mistral. Har dog ikke brugt den så meget. Den er en del langsommere, i hvert fald på min Lenovo, men den kan i hvert fald godt bruges til retning af grammatik og tegnsætning på engelsk
Kan du huske hvilken model? Hvad krævede det at få den til at køre? Hvad hardware kørte du den på?
Deres seneste apache 2.0-licenserede model hedder Mistral Small: https://mistral.ai/news/mistral-small-3-1
Den kan hentes manuelt via Huggingface eller på listen i Jan under titlen "Mistral-Small-3.2-24B-Instruct-2506". Bemærk, at den fulde model kræver ~44 GB VRAM, så du bliver nødt til at køre en kvantiseret (nedskaleret) variant, for at du kan trække den.
Det er en nogenlunde model til mindre ting.
Jeg prøvede Llama-3.2-3B-Instruct-GGUF. Den kører lige så hurtigt som ChatGPT online gør og det er bare på den her bærbar som ikke engang har et dedikeret grafikkort (men som ellers er kraftig nok, bevares). Den virkede da også klog nok til at være brugbar, selvom de større modeller sikkert er bedre. Nu prøver jeg at downloade den model du nævner det, så må jeg se om den også kan fungere 😅
J...ja. En 3 Billion parameter model er lille. Den kan vel betragtes som en edge-model (altså beregnet til GPU-fattige enheder som mobiltelefoner). Og når der står "GGUF", er den ofte formindsket, og kan offload'e til din CPU. En model af den kaliber vil sikkert kunne svare på hvorfor, himlen er blå - og den vil være udmærket til datamanipulation (f.eks. at opsummere en tekst), bevares.
Til mere krævende spørgsmål/instrukser skal du regne med volapyk og hornmusik som svar.
Mansplaining:
Jeg prøvede Mistral-Small-3.2-24B-Instruct-2506-GGUF på min bærbar. Det fik hele maskinen til nærmest at gå i stå indtil jeg fik lukket for Jan igen haha.
Nu prøvede jeg lige på min noget kraftigere stationær og den klarer det okay, men kun 6 tokens per sekund og den bruger nærmest al min VRAM og en hel del CPU%, men den er da brugbar mens den genererer. Der skal nok stadig noget mere til før lokal LLM bliver en virkelighed hvis man skal over 40B parametre for en "ordentlig" model og så stadig kunne køre den lokalt.
Jeg begynder at forstå hvorfor AI-firmaerne brænder penge af... De må have nogle virkelig kraftige maskiner der bare arbejder 24/7 på alle de prompts de får ind. Det lyder satans dyrt med den slags hardware de har brug for.
Du har ganske ret 🙂
Jeg er ikke ekspert, så fik (ironisk nok) ChatGPT til at hjælpe mig med hvad jeg skulle vælge. Jeg kører (måske er der kommet en nyere udgave siden) 'Mistral 7b instruct v0.2' via LM Studio. Jeg kan se at jeg har 'AMD Ryzen 5 5500U with Radeon Graphics (2.10 GHz)' som processor og 16gb RAM.
Ja, jeg kan anbefale Jan for at komme let i gang.
Efter installationen vælger du en model fra en liste, som dit grafikkort kan håndtere. Forvent ikke samme kvalitet som proprietære modeller.
Det ser rimelig proffet ud!
Der er også blevet udviklet meget på projektet, siden det startede i 2023: https://github.com/janhq/jan
Kræver det en udvej? Jeg kan ikke se et behov for AI i min hverdag. Måske kunne jeg godt bruge en selfhosted, til at anbefale mig musik, men ellers bruger jeg det aldrig. Hvad bruger I det til som ikke kan gøres på andre måder?
Jeg bruger det ret tit. Det er tit hurtigere end en søgemaskine og forstår bedre konteksten hvis man har specifikke spørgsmål, især om tekniske ting. Den er fx også rimelig god til at bruge diverse terminal-værktøjer, hvor jeg som menneske har rimelig svært ved at huske alle flagene for alle de 1000 forskellige værktøjer i min terminal. Jeg er softwareudvikler så måske er det mere nyttigt for mig på den måde.
Har faktisk også brugt den til at anbefale musik før, men det synes jeg ikke virkede så godt faktisk haha.
Jeg prøvede Alpaca (Linux) for en del måneder siden, men eftersom jeg brugte flatpak udgaven og har nvidia kort kunne jeg ikke få hardware acceleration til at fungere, så det blev ikke til så meget. Men egentlig smart nok alligevel.