"Since 2006, an A.I. researcher named Marcus Hutter has offered a cash reward—known as the Prize for Compressing Human Knowledge, or the Hutter Prize—to anyone who can losslessly compress a specific one-gigabyte snapshot of Wikipedia smaller than the previous prize-winner did. [...] Hutter believes that better text compression will be instrumental in the creation of human-level artificial intelligence, in part because the greatest degree of compression can be achieved by understanding the text."
Qui un video di @antirez che avevo salvato insieme all'articolo precedente.
Parla di un progetto sperimentale di Fabrice Bellard per un algoritmo di compressione che sfrutta la capacità degli LLM di predire il token successivo, con una codifica che associa un minor numero di bit alla probabilità più alta e viceversa.
@game@aitech@antirez continua a non tornarmi. Il predittore è statistico, perché altrimenti il gradiente ti può fare finire troppo spesso su un minimo locale....
@game@aitech non la conoscevo, a differenza della teoria di Penrose che ho citato. Se ho capito bene, però, qui si parla più che altro di un sistema emergente e non riduzionista. Sulla prima parte possiamo discutere, ma direi che al momento un LLM è riduzionista.
Ti proponevo questa teoria perché la teoria di Penrose prova a spiegare il fenomeno della coscienza come fenomeno quantistico del cervello umano. Chiaramente secondo questa definizione la coscienza può essere solo un fenomeno legato al cervello.
Premesso che non credo si possano definire coscienti gli LLM, ma se vogliamo comunque porci il problema, una teoria come quella dell'informazione integrata (che tra parentesi è considerata pseudoscienza da un certo numero di scienziati) può aiutare a passare dal cervello fisico a un generico sistema che elabora informazioni, come LLM o computer in genere.
Non credo però che un LLM sia riduzionista. Come possiamo spiegare un fenomeno come Chain of Thought in modo riduzionista? Questo e altri secondo me sono comportamenti emergenti.
@game@aitech sicuramente sono comportamenti emergenti. Non è però detto che un comportamento emergente non può essere spiegato in modo riduzionista, se scendi molto di livello :)
8 Comments
game@bologna.one · 1 pts · 184d
@mau @aitech Sul tema compressione, tempo fa avevo salvato questo articolo di Ted Chiang: https://www.newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web
Un passaggio che avevo sottolineato:
"Since 2006, an A.I. researcher named Marcus Hutter has offered a cash reward—known as the Prize for Compressing Human Knowledge, or the Hutter Prize—to anyone who can losslessly compress a specific one-gigabyte snapshot of Wikipedia smaller than the previous prize-winner did. [...] Hutter believes that better text compression will be instrumental in the creation of human-level artificial intelligence, in part because the greatest degree of compression can be achieved by understanding the text."
mau@poliversity.it · 1 pts · 184d
@game @aitech sicuramente la comprensione del testo aumenta la sua compressibilità, ma non vedo molto probabile che sia lossless...
game@bologna.one · 1 pts · 184d
@mau @aitech
Qui un video di @antirez che avevo salvato insieme all'articolo precedente.
Parla di un progetto sperimentale di Fabrice Bellard per un algoritmo di compressione che sfrutta la capacità degli LLM di predire il token successivo, con una codifica che associa un minor numero di bit alla probabilità più alta e viceversa.
https://www.youtube.com/watch?v=WJdjZk3z-EU
mau@poliversity.it · 1 pts · 184d
@game @aitech @antirez continua a non tornarmi. Il predittore è statistico, perché altrimenti il gradiente ti può fare finire troppo spesso su un minimo locale....
game@bologna.one · 1 pts · 196d
@mau @aitech
Mi sembra riecheggiare la Teoria dell'informazione integrata
https://it.wikipedia.org/wiki/Teoria/_dell'informazione/_integrata
mau@poliversity.it · 1 pts · 196d
@game @aitech non la conoscevo, a differenza della teoria di Penrose che ho citato. Se ho capito bene, però, qui si parla più che altro di un sistema emergente e non riduzionista. Sulla prima parte possiamo discutere, ma direi che al momento un LLM è riduzionista.
game@bologna.one · 1 pts · 190d
@mau
Ti proponevo questa teoria perché la teoria di Penrose prova a spiegare il fenomeno della coscienza come fenomeno quantistico del cervello umano. Chiaramente secondo questa definizione la coscienza può essere solo un fenomeno legato al cervello.
Premesso che non credo si possano definire coscienti gli LLM, ma se vogliamo comunque porci il problema, una teoria come quella dell'informazione integrata (che tra parentesi è considerata pseudoscienza da un certo numero di scienziati) può aiutare a passare dal cervello fisico a un generico sistema che elabora informazioni, come LLM o computer in genere.
Non credo però che un LLM sia riduzionista. Come possiamo spiegare un fenomeno come Chain of Thought in modo riduzionista? Questo e altri secondo me sono comportamenti emergenti.
@aitech
mau@poliversity.it · 1 pts · 190d
@game @aitech sicuramente sono comportamenti emergenti. Non è però detto che un comportamento emergente non può essere spiegato in modo riduzionista, se scendi molto di livello :)