Intelligenza Artificiale

592 readers

3 users here now

L'intelligenza artificiale è una delle rivoluzioni digitali più dirompenti degli ultimi anni. Questa è la comunità in cui parlarne.

Regole

👉 Il rispetto reciproco è fondamentale per creare un luogo di confronto sereno e piacevole.

👉 No fake news, pubblicità, link di affiliazione e paywall.

👉 Nessuna forma di discriminazione sarà tollerata.

👉 In aggiunta a queste regole, agite sempre in concordanza con la guida all’utilizzo di Feddit.

founded 2 years ago

MODERATORS

poliverso@feddit.it

prealpinux@feddit.it

Taalas ha rilasciato un chip ASIC che esegue Llama 3.1 8B a 17.000 token al secondo (mastodon.uno)

submitted 2 months ago by informapirata@mastodon.uno to c/aitech@feddit.it

4 comments fedilink hide all child comments

Taalas ha rilasciato un chip ASIC che esegue Llama 3.1 8B a 17.000 token al secondo

Taalas ha praticamente inciso i 32 strati di Llama 3.1 in sequenza su un chip: i pesi del modello sono transistor fisici incisi nel silicio.
Dovrebbe essere 10 volte più economico in termini di costi di gestione rispetto ai sistemi di inferenza basati su GPU e 10 volte meno energivoro. Non ci sono DRAM/HBM esterne, ma una piccola quantità di SRAM on-chip.

https://www.anuragk.com/blog/posts/Taalas.html

@aitech

all 9 comments

sorted by: hot top controversial new old

[–] Suoko@feddit.it 1 points 2 months ago

Sembrano buoni per l'automotive e le telecamere del futuro distopico

[–] pgo@mastodon.uno 1 points 2 months ago (1 children)

@informapirata @aitech
Se il prodotto si rivelerà reale, popcorn e patatine guardando cosa succede alle megacentrali elettriche, agli immensi datacenter e soprattutto alle prenotazioni dei wafer di silicio fatte dai soliti giganti.

Attendere prego...

[–] game@bologna.one 1 points 1 month ago (1 children)

@pgo @informapirata @aitech

Nel weekend anche questo, sempre in tema boost di performance che si possono dare a Llama con differenti setup hardware: https://news.ycombinator.com/item?id=47104667

Sono tra l'altro esperimenti "dal basso". Mi fa pensare che ci sia veramente molto spazio di ottimizzazione sul tema energia/velocità, se diventasse quello il focus dei grandi player.