I big data possono aiutare i computer a identificare le emozioni legate alle immagini
I siti popolari come Twitter e Facebook e altri canali sono ora pieni di immagini che aiutano una persona a esprimere meglio pensieri e sentimenti. Una nuova ricerca suggerisce che i "big data" - qualsiasi raccolta di set di dati così grandi o complessi da essere difficile da elaborare utilizzando le applicazioni di elaborazione dati tradizionali - possono essere utilizzati per insegnare ai computer a interpretare il contenuto e le sensazioni associate alle immagini.
Il dottor Jiebo Luo, professore di informatica presso l'Università di Rochester, in collaborazione con i ricercatori di Adobe Research ha recentemente presentato un documento a una conferenza dell'American Association for Artificial Intelligence (AAAI), descrivendo una rete neurale convoluzionale profonda (CNN) di formazione progressiva .
Il computer addestrato può quindi essere utilizzato per determinare quali sentimenti potrebbero suscitare queste immagini. Luo afferma che queste informazioni potrebbero essere utili per cose così diverse come la misurazione degli indicatori economici o la previsione delle elezioni.
Il compito è tuttavia complesso. L'analisi del sentiment del testo da parte dei computer è di per sé un compito impegnativo. E nei social media, l'analisi del sentiment è più complicata perché molte persone si esprimono utilizzando immagini e video, che sono più difficili da comprendere per un computer.
Ad esempio, durante una campagna politica gli elettori condivideranno spesso le loro opinioni attraverso le immagini.
Due immagini diverse potrebbero mostrare lo stesso candidato, ma potrebbero fare dichiarazioni politiche molto diverse. Un essere umano potrebbe riconoscerne uno come un ritratto positivo del candidato (ad esempio il candidato che sorride e alzando le braccia) e l'altro come negativo (ad esempio un'immagine del candidato che sembra sconfitto).
Ma nessun essere umano potrebbe guardare ogni immagine condivisa sui social media: sono veramente "big data". Per poter fare ipotesi informate sulla popolarità di un candidato, i computer devono essere addestrati a digerire questi dati, che è ciò che l'approccio di Luo e dei suoi collaboratori può fare in modo più accurato di quanto fosse possibile fino ad ora.
I ricercatori trattano il compito di estrarre i sentimenti dalle immagini come un problema di classificazione delle immagini. Ciò significa che in qualche modo ogni immagine deve essere analizzata e ad essa applicate delle etichette.
Per iniziare il processo di formazione, Luo ei suoi collaboratori hanno utilizzato un numero enorme di immagini Flickr che sono state vagamente etichettate da un algoritmo macchina con sentimenti specifici, in un database esistente noto come SentiBank (sviluppato dal gruppo del Dr. Shih-Fu Chang alla Columbia Università).
Questo fornisce al computer un punto di partenza per iniziare a capire cosa possono trasmettere alcune immagini.
Ma le etichette generate dalla macchina includono anche la probabilità che tale etichetta sia vera, ovvero, quanto è sicuro il computer che l'etichetta sia corretta?
Il passaggio chiave del processo di formazione viene dopo, quando scartano le immagini per le quali il sentimento oi sentimenti con cui sono stati etichettati potrebbero non essere veri. Quindi usano solo le immagini etichettate "migliori" per l'ulteriore addestramento in modo progressivo nel quadro della potente rete neurale convoluzionale.
Resaercher ha scoperto che questo passaggio aggiuntivo ha migliorato in modo significativo l'accuratezza dei sentimenti con cui ogni immagine è etichettata.
Hanno anche adattato questo motore di analisi del sentiment con alcune immagini estratte da Twitter. In questo caso hanno impiegato "crowd intelligence", con più persone che hanno aiutato a classificare le immagini tramite la piattaforma Amazon Mechanical Turk.
Hanno usato solo un piccolo numero di immagini per mettere a punto il computer e tuttavia, applicando questo processo di adattamento del dominio, hanno dimostrato di poter migliorare gli attuali metodi all'avanguardia per l'analisi del sentiment delle immagini di Twitter.
Una scoperta sorprendente è che l'accuratezza della classificazione del sentimento delle immagini ha superato quella della classificazione del sentimento del testo negli stessi messaggi Twitter.
Fonte: University of Rochester
