Speedrun på enshittification for at lukke et gigantisk hul på bundlinjen.
this post was submitted on 04 Nov 2025
17 points (100.0% liked)
Teknologi
459 readers
17 users here now
For debat og nyheder omkring teknologi af alle former.
founded 2 years ago
MODERATORS
Havde folk virkelig troet at de ville være fri for reklamer?
Det er da textbook-techfirma logik.
- Udvikl nyt spændende brugbart produkt.
- Gør folk afhængige af det
- Udnyt og udpin al data om brugerne
- Gør det overvejende reklamebaseret
- Profittér skamløst på brugerne og annoncørerne
Jeg havde troet at det ville være mere... subtil.
UBlock Origin med Firefox. Det blokerer det hele, og er der noget det ikke blokerer, er der en funktion hvor man kan gå ind og blokere det manuelt.
Min frygt er at en LLM vil kunne mixe reklamerne ind i dens output på en måde som vil gøre det meget svært for traditionelle adblockers at fjerne.
Altså hvis nu du spørger om et eller andet og den så midt i teksten den spytter ud siger "forresten, har du overvejet ___ produkt fra ___? Jeg skal oplyse dig om at dette er en reklame, men det er et virkelig godt produkt!".
Hvordan ville uBlock Origin lige fjerne det? Det kræver jo at den læser teksten og forstår hvad der står osv. Du skal jo nærmest have en anden LLM indover og genskrive teksten uden reklame. Så bliver det AI-mod-AI i sådan et våbenkapløb. Og igen, du skal køre din blokerings-LLM lokalt for at det kan lade sig gøre.
Netop. Det bliver sådan fremover, når du spørger ChatGPT/Grok/Gemini om anbefalinger til f.eks. sko, vil svaret inkludere skomærker, som sponsorer ønsker, du skal eksponeres for.
Ligesom ved en almindelig Google søgning i dag, bare endnu mere utransparent og autentisk.
Ja, det kan jeg godt se. Det er godt nok skummelt. Så vil de måske planlægge en freemium-model hvor man kan slippe for reklamerne med et abonnement? Omvendt er der jo mange LLM-chatbots der er tæt på funktionelt identiske, så måske ville OpenAI sætte sin position som markedsleder over styr hvis de prøver på sådan noget? Jeg ved godt at folk er magelige og letargiske, men hvis indbyggede reklamer i KI'ens svar ikke får folk til at skifte, så ved jeg næsten ikke hvad der vil...
Er der nogen der har erfaring med at køre LLMer lokalt? Det virker som den eneste udvej.
@SorteKanin Jeg bruger generelt ikke LLM'er, men jeg ved at home assistant har haft en del releases hvor de har udbygget deres understøttelse af dem, så det er et godt sted at starte. Et problem jeg har læst om er, at en lokal LLM på en langsom server er lang tid om at svare, så det kræver nok en del stål for at det skal køre fornuftigt.
det kræver nok en del stål for at det skal køre fornuftigt.
Afhængigt af modellen, og hvad den skal kunne, ja. De kan kvanticeres (altså gøres mindre) til en vis grad, men som udgangspunkt kræver det et high-end grafikkort for at kunne trække "mellemgode" modeller til generel chat/instrukser.
Eksempelvis OpenAI's open source lille model på 20B parametre kan køres på grafikkort med minimum 16 GB VRAM, hvis jeg forstår det ret.
Pewdiepie, af alle, har sjovt nok lavet en video om emnet for få dage siden: https://feddit.dk/post/17021894
Jeg har prøvet det med en lille model fra Mistral. Har dog ikke brugt den så meget. Den er en del langsommere, i hvert fald på min Lenovo, men den kan i hvert fald godt bruges til retning af grammatik og tegnsætning på engelsk
Kan du huske hvilken model? Hvad krævede det at få den til at køre? Hvad hardware kørte du den på?
Deres seneste apache 2.0-licenserede model hedder Mistral Small: https://mistral.ai/news/mistral-small-3-1
Den kan hentes manuelt via Huggingface eller på listen i Jan under titlen "Mistral-Small-3.2-24B-Instruct-2506". Bemærk, at den fulde model kræver ~44 GB VRAM, så du bliver nødt til at køre en kvantiseret (nedskaleret) variant, for at du kan trække den.
Det er en nogenlunde model til mindre ting.
Jeg prøvede Llama-3.2-3B-Instruct-GGUF. Den kører lige så hurtigt som ChatGPT online gør og det er bare på den her bærbar som ikke engang har et dedikeret grafikkort (men som ellers er kraftig nok, bevares). Den virkede da også klog nok til at være brugbar, selvom de større modeller sikkert er bedre. Nu prøver jeg at downloade den model du nævner det, så må jeg se om den også kan fungere 😅
J...ja. En 3 Billion parameter model er lille. Den kan vel betragtes som en edge-model (altså beregnet til GPU-fattige enheder som mobiltelefoner). Og når der står "GGUF", er den ofte formindsket, og kan offload'e til din CPU. En model af den kaliber vil sikkert kunne svare på hvorfor, himlen er blå - og den vil være udmærket til datamanipulation (f.eks. at opsummere en tekst), bevares.
Til mere krævende spørgsmål/instrukser skal du regne med volapyk og hornmusik som svar.
Mansplaining:
- Lille model (⪅9B) = hurtig, men dum
- Stor model (⪆40B) = tung, men "klogere"
- Giga model (>1T) = kod min app
Jeg prøvede Mistral-Small-3.2-24B-Instruct-2506-GGUF på min bærbar. Det fik hele maskinen til nærmest at gå i stå indtil jeg fik lukket for Jan igen haha.
Nu prøvede jeg lige på min noget kraftigere stationær og den klarer det okay, men kun 6 tokens per sekund og den bruger nærmest al min VRAM og en hel del CPU%, men den er da brugbar mens den genererer. Der skal nok stadig noget mere til før lokal LLM bliver en virkelighed hvis man skal over 40B parametre for en "ordentlig" model og så stadig kunne køre den lokalt.
Jeg begynder at forstå hvorfor AI-firmaerne brænder penge af... De må have nogle virkelig kraftige maskiner der bare arbejder 24/7 på alle de prompts de får ind. Det lyder satans dyrt med den slags hardware de har brug for.
Du har ganske ret 🙂
Jeg er ikke ekspert, så fik (ironisk nok) ChatGPT til at hjælpe mig med hvad jeg skulle vælge. Jeg kører (måske er der kommet en nyere udgave siden) 'Mistral 7b instruct v0.2' via LM Studio. Jeg kan se at jeg har 'AMD Ryzen 5 5500U with Radeon Graphics (2.10 GHz)' som processor og 16gb RAM.
Ja, jeg kan anbefale Jan for at komme let i gang.
Efter installationen vælger du en model fra en liste, som dit grafikkort kan håndtere. Forvent ikke samme kvalitet som proprietære modeller.
Det ser rimelig proffet ud!
Der er også blevet udviklet meget på projektet, siden det startede i 2023: https://github.com/janhq/jan
Kræver det en udvej? Jeg kan ikke se et behov for AI i min hverdag. Måske kunne jeg godt bruge en selfhosted, til at anbefale mig musik, men ellers bruger jeg det aldrig. Hvad bruger I det til som ikke kan gøres på andre måder?
Jeg bruger det ret tit. Det er tit hurtigere end en søgemaskine og forstår bedre konteksten hvis man har specifikke spørgsmål, især om tekniske ting. Den er fx også rimelig god til at bruge diverse terminal-værktøjer, hvor jeg som menneske har rimelig svært ved at huske alle flagene for alle de 1000 forskellige værktøjer i min terminal. Jeg er softwareudvikler så måske er det mere nyttigt for mig på den måde.
Har faktisk også brugt den til at anbefale musik før, men det synes jeg ikke virkede så godt faktisk haha.
Jeg prøvede Alpaca (Linux) for en del måneder siden, men eftersom jeg brugte flatpak udgaven og har nvidia kort kunne jeg ikke få hardware acceleration til at fungere, så det blev ikke til så meget. Men egentlig smart nok alligevel.