Vorrei utilizzare l’ #ai localmente, magari qualche LLM #opensource ma mi pare di capire che per utilizzare un modello decente serve una notevole potenza di calcolo (tradotto un PC di un certo livello).
Difficile al momento sganciarsi da Claude: bisogna riconoscere il grandissimo lavoro svolto da Anthropic 🏴☠️
5 Comments
DigiDavidex@mastodon.uno · 1 pts · 23d
dvalin99@mastodon.uno · 1 pts · 23d
@DigiDavidex @tecnologia purtroppo su questo siamo ancora vincolati a big tech
34@mastodon.uno · 1 pts · 23d
@dvalin99 @DigiDavidex @tecnologia Ciao, dipende dalle esigenze che avete. Una qwen3.5:9b con ollama fa il suo per compiti standard e come agenti locali. Che ci dovete fare?
olac@poliversity.it · 1 pts · 23d
@34 @dvalin99 @DigiDavidex @tecnologia
al momento la miglior soluzione rapporto qualità/prezzo credo sia un miniPC cinese con strix halo e 128GB di memoria unificata (minimo 2500-3000€). È la cosa più economica su cui si può far girare Deepseek v4 flash, che è un modello molto capace, ad una velocità decente
olac@poliversity.it · 1 pts · 23d
@34 @dvalin99 @DigiDavidex @tecnologia
Aggiungerei che dovendo scegliere un provider cloud, mi appoggerei più volentieri a servizi come NanoGPT, che forniscono l'accesso anche ai migliori modelli open source che costano decisamente meno delle API di Anthropic e OpenAI (senza contare tutte le attenzioni alla privacy di NanoGPT)
olac@poliversity.it · 1 pts · 23d
iusondemand@mastodon.uno · 1 pts · 23d
dvalin99@mastodon.uno · 1 pts · 23d
@iusondemand @tecnologia avevo il sentore che un MacBook sarebbe stato un ottimo candidato. Staremo a vedere, grazie delle info!