this post was submitted on 04 Nov 2025
17 points (100.0% liked)
Teknologi
459 readers
17 users here now
For debat og nyheder omkring teknologi af alle former.
founded 2 years ago
MODERATORS
you are viewing a single comment's thread
view the rest of the comments
view the rest of the comments
Kan du huske hvilken model? Hvad krævede det at få den til at køre? Hvad hardware kørte du den på?
Deres seneste apache 2.0-licenserede model hedder Mistral Small: https://mistral.ai/news/mistral-small-3-1
Den kan hentes manuelt via Huggingface eller på listen i Jan under titlen "Mistral-Small-3.2-24B-Instruct-2506". Bemærk, at den fulde model kræver ~44 GB VRAM, så du bliver nødt til at køre en kvantiseret (nedskaleret) variant, for at du kan trække den.
Det er en nogenlunde model til mindre ting.
Jeg prøvede Llama-3.2-3B-Instruct-GGUF. Den kører lige så hurtigt som ChatGPT online gør og det er bare på den her bærbar som ikke engang har et dedikeret grafikkort (men som ellers er kraftig nok, bevares). Den virkede da også klog nok til at være brugbar, selvom de større modeller sikkert er bedre. Nu prøver jeg at downloade den model du nævner det, så må jeg se om den også kan fungere 😅
J...ja. En 3 Billion parameter model er lille. Den kan vel betragtes som en edge-model (altså beregnet til GPU-fattige enheder som mobiltelefoner). Og når der står "GGUF", er den ofte formindsket, og kan offload'e til din CPU. En model af den kaliber vil sikkert kunne svare på hvorfor, himlen er blå - og den vil være udmærket til datamanipulation (f.eks. at opsummere en tekst), bevares.
Til mere krævende spørgsmål/instrukser skal du regne med volapyk og hornmusik som svar.
Mansplaining:
Jeg prøvede Mistral-Small-3.2-24B-Instruct-2506-GGUF på min bærbar. Det fik hele maskinen til nærmest at gå i stå indtil jeg fik lukket for Jan igen haha.
Nu prøvede jeg lige på min noget kraftigere stationær og den klarer det okay, men kun 6 tokens per sekund og den bruger nærmest al min VRAM og en hel del CPU%, men den er da brugbar mens den genererer. Der skal nok stadig noget mere til før lokal LLM bliver en virkelighed hvis man skal over 40B parametre for en "ordentlig" model og så stadig kunne køre den lokalt.
Jeg begynder at forstå hvorfor AI-firmaerne brænder penge af... De må have nogle virkelig kraftige maskiner der bare arbejder 24/7 på alle de prompts de får ind. Det lyder satans dyrt med den slags hardware de har brug for.
Du har ganske ret 🙂
Jeg er ikke ekspert, så fik (ironisk nok) ChatGPT til at hjælpe mig med hvad jeg skulle vælge. Jeg kører (måske er der kommet en nyere udgave siden) 'Mistral 7b instruct v0.2' via LM Studio. Jeg kan se at jeg har 'AMD Ryzen 5 5500U with Radeon Graphics (2.10 GHz)' som processor og 16gb RAM.