Come #StableDiffusion trasforma rumore gaussiano in immagini. Tutto in locale, su CPU
Non disegna. Non immagina. Non crea. Toglie rumore. Tutta l'architettura, il miliardo di parametri, le settimane di addestramento su migliaia di GPU, si riducono a un modello che ha imparato a rimuovere rumore da un'immagine. E se sai rimuovere il rumore, sai generare dal nulla. La risposta lunga occupa le prossime undici sezioni.
⬇️⬇️⬇️
https://pinperepette.github.io/signal.pirate/articoli/il-rumore-diventa-arte.html
2 Comments
luca@sironi.xyz · 1 pts · 204d
@informapirata @aitech
inizio a fare il tifo per la gallina che non fa l'uovo...
giacomo@snac.tesio.it · 1 pts · 204d
@informapirata@mastodon.uno
🤦♂️
È impressionante quanto poco si possa comprendere qualcosa che si è studiato tanto bene.
Comunque NO, #StableDiffusion non toglie rumore.
Anche solo accostarlo a #Michelangelo è... alienato? allucinato? not even wrong? 🤷♂️
StableDiffusion effettua iterativamente una decompressione (con perdita) delle immagini usate per la sua programmazione statistica, focalizzandosi in una zona del "latent space" (ovvero l'archivio compresso statisticamente, invece che algoritmicamente) sulla base del embedding del prompt e dell'input iniziale.
Se "togliesse rumore", partendo da un'immagine cui è stato aggiunto rumore, otterrebbe sempre l'immagine originale (peraltro, ignorando il prompt).
@aitech@feddit.it