Contact presa:

fotografii

Imaginea anterioară Imaginea următoare

Există puține lucruri pe care utilizatorii de rețele sociale le plac mai mult decât să-și inunde feed-urile cu fotografii cu mâncare. Cu toate acestea, rareori folosim aceste imagini pentru mult mai mult decât o derulare rapidă pe telefoanele noastre mobile.

Cercetătorii de la Laboratorul de Informatică și Inteligență Artificială (CSAIL) al MIT consideră că analiza unor fotografii ca acestea ne-ar putea ajuta să învățăm rețete și să înțelegem mai bine obiceiurile alimentare ale oamenilor. Într-o nouă lucrare cu Qatar Computing Research Institute (QCRI), echipa a instruit un sistem de inteligență artificială numit Pic2Recipe pentru a privi o fotografie a alimentelor și pentru a putea prezice ingredientele și a sugera rețete similare.

„În viziunea computerizată, alimentele sunt în mare parte neglijate deoarece nu avem seturile de date la scară largă necesare pentru a face predicții”, spune Yusuf Aytar, un postdoctor al MIT care a co-scris o lucrare despre sistem împreună cu profesorul MIT Antonio Torralba. „Dar fotografiile aparent inutile de pe rețelele de socializare pot oferi de fapt o perspectivă valoroasă asupra obiceiurilor de sănătate și a preferințelor dietetice”.

Lucrarea va fi prezentată la sfârșitul acestei luni la conferința Computer Vision and Pattern Recognition din Honolulu. Nick Hynes, student absolvent al CSAIL, a fost autorul principal alături de Amaia Salvador de la Universitatea Politehnică din Catalonia din Spania. Printre co-autori se numără post-doctoratul CSAIL Javier Marin, precum și omul de știință Ferda Ofli și directorul de cercetare Ingmar Weber al QCRI.

Cum functioneaza

Web-ul a stimulat o creștere imensă a cercetării în domeniul clasificării datelor despre alimente, dar majoritatea au folosit seturi de date mult mai mici, ceea ce duce adesea la lacune majore în etichetarea alimentelor.

În 2014, cercetătorii elvețieni au creat setul de date „Food-101” și l-au folosit pentru a dezvolta un algoritm care ar putea recunoaște imaginile alimentelor cu o precizie de 50%. Iterațiile viitoare au îmbunătățit doar precizia la aproximativ 80%, sugerând că dimensiunea setului de date poate fi un factor limitativ.

Chiar și seturile de date mai mari au fost adesea oarecum limitate în ceea ce privește cât de bine se generalizează între populații. O bază de date de la City University din Hong Kong are peste 110.000 de imagini și 65.000 de rețete, fiecare cu liste de ingrediente și instrucțiuni, dar conține doar bucătărie chineză.

Proiectul echipei CSAIL își propune să se bazeze pe această lucrare, dar să extindă dramatic domeniul său de aplicare. Cercetătorii au combinat site-uri web precum All Recipes și Food.com pentru a dezvolta „Recipe1M”, o bază de date cu peste 1 milion de rețete care au fost adnotate cu informații despre ingredientele dintr-o gamă largă de feluri de mâncare. Apoi au folosit aceste date pentru a antrena o rețea neuronală pentru a găsi modele și a face conexiuni între imaginile alimentare și ingredientele și rețetele corespunzătoare.

Având în vedere o fotografie a unui produs alimentar, Pic2Recipe ar putea identifica ingrediente precum făina, ouăle și untul și apoi ar putea sugera mai multe rețete pe care le-a determinat să fie similare cu imaginile din baza de date. (Echipa are o demonstrație online, unde oamenii își pot încărca propriile fotografii alimentare pentru a le testa.)

„Vă puteți imagina că oamenii folosesc acest lucru pentru a-și urmări hrana zilnică sau pentru a-și fotografia masa la un restaurant și să știe ce este necesar pentru a-l găti acasă mai târziu”, spune Christoph Trattner, profesor asistent la Universitatea MODUL din Viena, în cadrul Departamentului de Tehnologie New Media care nu a fost implicat în ziar. „Abordarea echipei funcționează la un nivel similar cu judecata umană, ceea ce este remarcabil”.

Sistemul s-a descurcat în mod deosebit cu deserturile, cum ar fi fursecurile sau brioșele, deoarece aceasta era tema principală în baza de date. Cu toate acestea, a avut dificultăți în determinarea ingredientelor pentru alimente mai ambigue, cum ar fi rulouri de sushi și piureuri.

De asemenea, a fost adesea împiedicat atunci când existau rețete similare pentru aceleași feluri de mâncare. De exemplu, există zeci de moduri de a face lasagna, astfel încât echipa a trebuit să se asigure că sistemul nu „penalizează” rețetele similare atunci când încearcă să le separe pe cele care sunt diferite. (O modalitate de a rezolva acest lucru a fost prin a vedea dacă ingredientele din fiecare sunt în general similare înainte de a compara rețetele în sine).

În viitor, echipa speră să poată îmbunătăți sistemul, astfel încât să poată înțelege mâncarea și mai detaliat. Acest lucru ar putea însemna a fi capabil să deduc modul în care este preparat un aliment (adică tocanat versus cubulețe) sau să distingem diferite variații ale alimentelor, cum ar fi ciupercile sau ceapa.

Cercetătorii sunt, de asemenea, interesați de dezvoltarea potențială a sistemului într-un „asistent pentru cină” care ar putea afla ce să gătească, având în vedere o preferință alimentară și o listă de articole în frigider.

„Acest lucru ar putea ajuta oamenii să-și dea seama ce conțin alimentele lor atunci când nu au informații nutriționale explicite”, spune Hynes. „De exemplu, dacă știți ce ingrediente au intrat într-un vas, dar nu cantitatea, puteți face o fotografie, puteți introduce ingredientele și puteți rula modelul pentru a găsi o rețetă similară cu cantități cunoscute, apoi puteți utiliza acele informații pentru a le aproxima masa. ”

Proiectul a fost finanțat, parțial, de QCRI, precum și de Fondul European de Dezvoltare Regională (FEDR) și de Ministerul Spaniol al Economiei, Industriei și Competitivității.