Dreamer: da Berkeley l’algoritmo AI che fa camminare un cane robot dal nulla in un’ora

Hai mai visto una piccola gazzella imparare a camminare? Un cerbiatto con le gambe lunghe il quale si alza in piedi, cade, si alza e cade di nuovo. 

Alla fine, rimane abbastanza a lungo ad agitare le sue gambe simili a stuzzicadenti in una serie di cadute. Sorprendentemente, dopo pochi minuti il cerbiatto saltella come un vecchio professionista.

Bene, ora abbiamo una versione robotica di questa classica scena da “il re leone”.

Il cerbiatto in questo caso è un cane robot dell’Università della California, a Berkeley. 

Ed è anche uno studente sorprendentemente veloce (rispetto al resto dei robot). Il robot è anche speciale perché, a differenza di altri robot più appariscenti che potresti aver visto online, usa l’intelligenza artificiale per imparare a camminare.

Comincia a muovere i suo primi passi utilizzando la schiena, le gambe che ondeggiano, il robot impara a capovolgersi, alzarsi e camminare in un’ora. 

Altri dieci minuti di molestie con un rotolo di cartone sono sufficienti per insegnargli come resistere e riprendersi dall’essere spinto dai suoi creatori.

Non è la prima volta che un robot usa l’intelligenza artificiale per imparare a camminare, sia chiaro. Ma mentre i robot precedenti hanno appreso l’abilità per tentativi ed errori su innumerevoli iterazioni, il robot di Berkeley ha imparato a camminare e interagire nel mondo reale in poco tempo.

In un articolo pubblicato recentemente, i ricercatori, Danijar Hafner, Alejandro Escontrela e Philipp Wu, affermano che trasferire gli algoritmi che hanno preparato per questa simulazione non è affatto semplice. Piccoli dettagli e differenze tra il mondo reale e la simulazione possono far inciampare robot alle prime armi. D’altra parte, l’addestramento degli algoritmi nel mondo reale non è pratico: ci vorrebbe troppo tempo e pazienza.

Quattro anni fa, ad esempio, OpenAI ha mostrato una mano robotica gestita da una intelligenza artificiale in grado di manipolare un cubo. 

L’algoritmo di controllo, Dactyl, necessita di circa 100 anni di esperienza in una simulazione basata su 6.144 CPU e 8 GPU Nvidia V100 per svolgere questo compito relativamente semplice. 

Da allora le cose sono progredite, ma il problema rimane lì in gran parte. Gli algoritmi di apprendimento di rinforzo puro richiedono troppi tentativi ed errori per apprendere le abilità per potersi allenare nel mondo reale. In poche parole, i tempi di computazione sono alti e il processo di apprendimento deluderebbe ricercatori e robot prima di compiere progressi significativi.

Il team di Berkeley ha deciso di risolvere questo problema con un algoritmo chiamato Dreamer. 

Costruendo quello che viene chiamato “world model”. 

Dreamer può quindi proiettare la probabilità che un’azione futura raggiunga il suo obiettivo. Con l’esperienza, l’accuratezza delle sue proiezioni migliora. Filtrando in anticipo le azioni meno riuscite, il modello consente al robot di capire in modo più efficiente cosa funziona e cosa no.

“L’apprendimento tramite world model consente di migliorare si dall’esperienza passata ma consente anche ai robot di immaginare i risultati futuri di potenziali azioni, riducendo la quantità di tentativi ed errori nell’ambiente reale necessari per apprendere comportamenti di successo”

scrivono i ricercatori. 

“Predicendo i risultati futuri, i world model consentono la pianificazione e l’apprendimento del comportamento con solo piccole quantità di interazione nel mondo reale”.

In altre parole, un world model può ridurre l’equivalente di anni di tempo di addestramento in una simulazione a non più di un’ora, come in questo caso. 

L’approccio potrebbe avere una rilevanza più ampia anche rispetto ai cani robot. 

Il team ha anche applicato Dreamer a un braccio robotico pick-and-place e a un robot con ruote. In entrambi i casi, hanno scoperto che Dreamer permetteva ai loro robot di apprendere in modo efficiente le abilità rilevanti, senza bisogno di tempo per la simulazione. 

Applicazioni future più ambiziose potrebbero includere le auto a guida autonoma e altri tipi di intelligenza artificiale.

Stefano Gazzella

Privacy Officer e Data Protection Officer, è Of Counsel per Area Legale. Si occupa di protezione dei dati personali e, per la gestione della sicurezza delle informazioni nelle organizzazioni, pone attenzione alle tematiche relative all’ingegneria sociale. Responsabile del comitato scientifico di Assoinfluencer, coordina le attività di ricerca, pubblicazione e divulgazione. Giornalista pubblicista, scrive su temi collegati a diritti di quarta generazione, nuove tecnologie e sicurezza delle informazioni.

Aree di competenza: Privacy, GDPR, Data Protection Officer, Legal tech, Diritti, Meme

Visita il sito web dell'autore