Teknologi

459 readers

19 users here now

For debat og nyheder omkring teknologi af alle former.

founded 2 years ago

MODERATORS

SorteKanin@feddit.dk

Google og OpenAI gør klar til reklamer i ChatGPT og AI Mode (www.recordere.dk)

submitted 5 months ago by SorteKanin@feddit.dk to c/teknologi@feddit.dk

24 comments fedilink hide all child comments

you are viewing a single comment's thread
view the rest of the comments

[–] SorteKanin@feddit.dk 2 points 5 months ago (1 children)

Jeg prøvede Mistral-Small-3.2-24B-Instruct-2506-GGUF på min bærbar. Det fik hele maskinen til nærmest at gå i stå indtil jeg fik lukket for Jan igen haha.

Nu prøvede jeg lige på min noget kraftigere stationær og den klarer det okay, men kun 6 tokens per sekund og den bruger nærmest al min VRAM og en hel del CPU%, men den er da brugbar mens den genererer. Der skal nok stadig noget mere til før lokal LLM bliver en virkelighed hvis man skal over 40B parametre for en "ordentlig" model og så stadig kunne køre den lokalt.

Jeg begynder at forstå hvorfor AI-firmaerne brænder penge af... De må have nogle virkelig kraftige maskiner der bare arbejder 24/7 på alle de prompts de får ind. Det lyder satans dyrt med den slags hardware de har brug for.

[–] farsinuce@feddit.dk 2 points 5 months ago

Du har ganske ret 🙂