this post was submitted on 04 Nov 2025
17 points (100.0% liked)
Teknologi
459 readers
19 users here now
For debat og nyheder omkring teknologi af alle former.
founded 2 years ago
MODERATORS
you are viewing a single comment's thread
view the rest of the comments
view the rest of the comments
J...ja. En 3 Billion parameter model er lille. Den kan vel betragtes som en edge-model (altså beregnet til GPU-fattige enheder som mobiltelefoner). Og når der står "GGUF", er den ofte formindsket, og kan offload'e til din CPU. En model af den kaliber vil sikkert kunne svare på hvorfor, himlen er blå - og den vil være udmærket til datamanipulation (f.eks. at opsummere en tekst), bevares.
Til mere krævende spørgsmål/instrukser skal du regne med volapyk og hornmusik som svar.
Mansplaining:
Jeg prøvede Mistral-Small-3.2-24B-Instruct-2506-GGUF på min bærbar. Det fik hele maskinen til nærmest at gå i stå indtil jeg fik lukket for Jan igen haha.
Nu prøvede jeg lige på min noget kraftigere stationær og den klarer det okay, men kun 6 tokens per sekund og den bruger nærmest al min VRAM og en hel del CPU%, men den er da brugbar mens den genererer. Der skal nok stadig noget mere til før lokal LLM bliver en virkelighed hvis man skal over 40B parametre for en "ordentlig" model og så stadig kunne køre den lokalt.
Jeg begynder at forstå hvorfor AI-firmaerne brænder penge af... De må have nogle virkelig kraftige maskiner der bare arbejder 24/7 på alle de prompts de får ind. Det lyder satans dyrt med den slags hardware de har brug for.
Du har ganske ret 🙂