I ricercatori utilizzano l’intelligenza artificiale per identificare materiali simili nelle immagini

Le immagini per il download sul sito web dell'ufficio notizie del MIT sono rese disponibili a entità non commerciali, stampa e pubblico in generale sotto una licenza Creative Commons Attribution Non-Commercial No Derivatives. Non è possibile modificare le immagini fornite, se non ritagliandole a misura. Per la riproduzione delle immagini è necessario utilizzare una linea di credito; se non ne viene fornito uno di seguito, accreditare le immagini a "MIT".

Immagine precedente Immagine successiva

Un robot che manipola oggetti mentre, ad esempio, lavora in una cucina, trarrà vantaggio dalla comprensione di quali oggetti sono composti dagli stessi materiali. Con questa conoscenza, il robot saprebbe esercitare una quantità simile di forza sia nel prendere una piccola quantità di burro da un angolo in ombra del bancone, sia nel prendere un intero bastoncino dal frigorifero ben illuminato.

Identificare oggetti in una scena composti dallo stesso materiale, operazione nota come selezione del materiale, è un problema particolarmente impegnativo per le macchine perché l'aspetto di un materiale può variare drasticamente in base alla forma dell'oggetto o alle condizioni di illuminazione.

Gli scienziati del MIT e di Adobe Research hanno fatto un passo avanti verso la soluzione di questa sfida. Hanno sviluppato una tecnica in grado di identificare tutti i pixel in un'immagine che rappresenta un dato materiale, che viene mostrato in un pixel selezionato dall'utente.

Il metodo è accurato anche quando gli oggetti hanno forme e dimensioni diverse, e il modello di apprendimento automatico sviluppato non è ingannato da ombre o condizioni di illuminazione che possono far apparire diverso lo stesso materiale.

Sebbene abbiano addestrato il loro modello utilizzando solo dati "sintetici", creati da un computer che modifica le scene 3D per produrre molte immagini diverse, il sistema funziona in modo efficace su scene reali di interni ed esterni mai viste prima. L'approccio può essere utilizzato anche per i video; una volta che l'utente identifica un pixel nel primo fotogramma, il modello può identificare oggetti realizzati con lo stesso materiale in tutto il resto del video.

Oltre alle applicazioni nella comprensione delle scene per la robotica, questo metodo potrebbe essere utilizzato per l'editing delle immagini o incorporato in sistemi computazionali che deducono i parametri dei materiali nelle immagini. Potrebbe anche essere utilizzato per sistemi di raccomandazione web basati sui materiali. (Forse un acquirente sta cercando capi di abbigliamento realizzati con un particolare tipo di tessuto, ad esempio.)

"Sapere con quale materiale si sta interagendo è spesso molto importante. Sebbene due oggetti possano sembrare simili, possono avere proprietà materiali diverse. Il nostro metodo può facilitare la selezione di tutti gli altri pixel in un'immagine che sono realizzati con lo stesso materiale," dice Prafull Sharma, uno studente laureato in ingegneria elettrica e informatica e autore principale di un articolo su questa tecnica.

I coautori di Sharma includono Julien Philip e Michael Gharbi, ricercatori presso Adobe Research; e gli autori senior William T. Freeman, professore di ingegneria elettrica e informatica Thomas e Gerd Perkins e membro del Laboratorio di informatica e intelligenza artificiale (CSAIL); Frédo Durand, professore di ingegneria elettrica e informatica e membro del CSAIL; e Valentin Deschaintre, ricercatore presso Adobe Research. La ricerca sarà presentata alla conferenza SIGGRAPH 2023.

Un nuovo approccio

I metodi esistenti per la selezione dei materiali faticano a identificare con precisione tutti i pixel che rappresentano lo stesso materiale. Ad esempio, alcuni metodi si concentrano su oggetti interi, ma un oggetto può essere composto da più materiali, come una sedia con braccioli in legno e sedile in pelle. Altri metodi possono utilizzare un insieme predeterminato di materiali, ma questi spesso hanno etichette ampie come "legno", nonostante esistano migliaia di varietà di legno.

Invece, Sharma e i suoi collaboratori hanno sviluppato un approccio di apprendimento automatico che valuta dinamicamente tutti i pixel di un’immagine per determinare le somiglianze materiali tra un pixel selezionato dall’utente e tutte le altre regioni dell’immagine. Se un'immagine contiene un tavolo e due sedie e le gambe e il piano del tavolo sono realizzati con lo stesso tipo di legno, il modello potrebbe identificare con precisione le regioni simili.