Una delle principali sfide di un modello di intelligenza artificiale basato sul linguaggio è comprendere il contesto di un contenuto.
Per risolvere questo problema, Google ha introdotto un nuovo modello chiamato Reformer, che comprende il contesto di 1 milione di linee utilizzando solo 16 GB di spazio.
La società lo ha creato per risolvere i problemi del suo vecchio modello Transformer, una rete neurale che confronta le parole in un paragrafo per comprendere la relazione tra loro.
La differenza tra Transformer e Reformer
I modelli attuali supportano la comprensione di alcune righe o paragrafi prima e dopo il testo.
LEGGI ANCHE: Anche Toyota scommette sul taxi volante di Joby Aviation
Tuttavia, poiché utilizza una corrispondenza a coppie, Transformer occupa molto spazio in dati se deve elaborare un testo con più di qualche migliaio di parole. Pertanto, non è pratico quando si elabora un lungo articolo o un libro.
Google ha creato Reformer per risolvere il problema di una breve “soglia di attenzione” e del consumo di memoria del vecchio modello.
Invece di confrontare tutte le parole tra loro, il modello utilizza una funzione hash per raggruppare parole simili in un bucket, quindi confrontare le parole tra loro nello stesso bucket o in quello più vicino, riducendo il sovraccarico di elaborazione.
Meno impiego della memoria vuol dire prestazioni migliori
Gli ingegneri di Google hanno affermato che il nuovo modello può facilmente elaborare interi libri. Questo apre un enorme potenziale per elaborare lunghi blocchi di testo.
Puoi leggere di più su Reformer in un documento puoi cliccare qui e trovare il codice qui.
___
Puoi leggere l’articolo originale qui.