Roba da pivelli
@aitech - Magari non ci si può fidare degli LLM, ma quando la loro risposta si può verificare indipendentemente dov'è il il problema?
Roba da pivelli
@aitech - Magari non ci si può fidare degli LLM, ma quando la loro risposta si può verificare indipendentemente dov'è il il problema?
8 Comments
pgo@mastodon.uno · 2 pts · 244d
mau@poliversity.it · 1 pts · 244d
@pgo @aitech attenzione. In questo caso chiunque sa come fare, o almeno spero che chiunque sappia fare una ricerca standard per verificare la risposta del chatbot: e se non la sa fare il problema è molto più a monte del chatbot.
pgo@mastodon.uno · 1 pts · 244d
mau@poliversity.it · 1 pts · 244d
@pgo @aitech ribadisco: questo è un problema che c'era da ben prima dei chatbot. Pensa solo a tutti quelli che si fermano al primo risultato di una ricerca.
pgo@mastodon.uno · 1 pts · 243d
mau@poliversity.it · 1 pts · 243d
@pgo @aitech sì, ma qual è la risposta? richiedere una patente per usare i chatbot? obbligarli a scrivere all'inizio di ciascuna risposta che potrebbe essere sbagliata? bloccarli del tutto?
(Fare opera di divulgazione è come svuotare l'oceano con un bicchiere: non è una scusa per non farlo, ma si sa già che i risultati saranno minimi)
6al@www.foxyhole.io · 2 pts · 244d
@mau@poliversity.it @aitech@feddit.it se non si può escludere che il LMM che si sta usando in un dato momento sia inaffidabile nelle risposte, allora ogni volta che se ne usa uno è necessario verificarne indipendentemente le risposte, quindi le sue risposte (hanno valore semantico nullo, e inoltre) fanno sprecare tempo e risorse 🤷
mau@poliversity.it · 1 pts · 244d
@6al no. Se io ci metto 10t per trovare una risposta, il chatbot ci mette t sbagliando nel 10% dei casi e io ci metto t a verificare la risposta mi conviene usare il chatbot. @aitech
6al@www.foxyhole.io · 1 pts · 244d
@mau@poliversity.it @aitech@feddit.it ma devi sapere in anticipo che è così! altrimenti rischi di fidarti di un chatbot che non ha quelle caratteristiche (tecnicamente direi "non soddisfa quelle specifiche di prestazione")
mau@poliversity.it · 1 pts · 244d
@6al quello in genere lo puoi stimare a priori.
@aitech
6al@www.foxyhole.io · 1 pts · 244d
@mau@poliversity.it @aitech@feddit.it servirebbe un'Authority che stabilisse la % di affidabilità delle risposte, come fanno (o facevano?) gli scienziati quando pubblicano i loro paper 😇
Altrimenti facciamo a fidarci ...