Teknologi

459 readers

18 users here now

For debat og nyheder omkring teknologi af alle former.

founded 2 years ago

MODERATORS

SorteKanin@feddit.dk

Google og OpenAI gør klar til reklamer i ChatGPT og AI Mode (www.recordere.dk)

submitted 5 months ago by SorteKanin@feddit.dk to c/teknologi@feddit.dk

24 comments fedilink hide all child comments

you are viewing a single comment's thread
view the rest of the comments

[–] Gjoel@mstdn.dk 4 points 5 months ago (1 children)

@SorteKanin Jeg bruger generelt ikke LLM'er, men jeg ved at home assistant har haft en del releases hvor de har udbygget deres understøttelse af dem, så det er et godt sted at starte. Et problem jeg har læst om er, at en lokal LLM på en langsom server er lang tid om at svare, så det kræver nok en del stål for at det skal køre fornuftigt.

[–] farsinuce@feddit.dk 2 points 5 months ago* (last edited 5 months ago)

det kræver nok en del stål for at det skal køre fornuftigt.

Afhængigt af modellen, og hvad den skal kunne, ja. De kan kvanticeres (altså gøres mindre) til en vis grad, men som udgangspunkt kræver det et high-end grafikkort for at kunne trække "mellemgode" modeller til generel chat/instrukser.

Eksempelvis OpenAI's open source lille model på 20B parametre kan køres på grafikkort med minimum 16 GB VRAM, hvis jeg forstår det ret.

Pewdiepie, af alle, har sjovt nok lavet en video om emnet for få dage siden: https://feddit.dk/post/17021894