Nicholas Chen

1 Departamentul de Informatică, Universitatea din Illinois, Urbana, IL 61801 SUA;

spre

Yun Young Lee

1 Departamentul de Informatică, Universitatea din Illinois, Urbana, IL 61801 SUA;

Maurice Rabb

1 Departamentul de Informatică, Universitatea din Illinois, Urbana, IL 61801 SUA;

Bruce Schatz

2 Departamentul de Știința Informației Medicale, Universitatea din Illinois, Urbana, IL 61801 SUA

Abstract

Evaluarea dietetică fiabilă este o sarcină provocatoare, dar esențială pentru determinarea stării generale de sănătate. Eforturile existente sunt manuale, necesită eforturi considerabile și sunt predispuse la subestimare și denaturare a aportului de alimente. Vă propunem să folosiți telefoanele mobile pentru a face acest proces mai rapid, mai ușor și automat. Folosind telefoanele mobile cu camere video încorporate, persoanele captează videoclipuri scurte ale meselor lor; software-ul nostru analizează automat videoclipurile pentru a recunoaște felurile de mâncare și a estima caloriile. Experimentele preliminare pe 20 de mâncăruri tipice dintr-o cafenea locală arată rezultate promițătoare. Abordarea noastră completează metodele de evaluare dietetică existente pentru a ajuta indivizii să-și gestioneze mai bine dieta pentru a preveni obezitatea și alte boli legate de dietă.

Introducere

O evaluare dietetică este o evaluare cuprinzătoare a aportului alimentar al unei persoane. Este un proces continuu care măsoară istoricul consumului de alimente și nutrienți al unei persoane. O evaluare dietetică precisă oferă o perspectivă valoroasă asupra potențialelor probleme de sănătate ale unui individ, cum ar fi subnutriția și - mai frecvente în această epocă modernă - obezitatea. Datele dietetice complete sunt esențiale pentru ca indivizii să construiască regimuri de dietă personalizate pentru a-și îmbunătăți obiceiurile alimentare pentru prevenirea unor astfel de probleme de sănătate.

Există diverse tehnici pentru a ajuta la evaluarea dietei. Jurnalele foto sunt populare în rândul persoanelor care încearcă să slăbească. Indivizii își fotografiază mesele și notează fiecare fel de mâncare înainte de a mânca. Din păcate, un jurnal foto arată doar ceea ce a fost mâncat, dar nu și valoarea nutritivă a acestuia.

Aplicațiile software de numărare a caloriilor sunt, de asemenea, populare. Persoanele caută anumite feluri de mâncare în baza de date software pentru a obține o estimare a conținutului nutrițional. Deși o bază de date extinsă oferă o precizie mai mare, navigarea prin ea creează o sarcină mentală asupra utilizatorului. Am mâncat roșii proaspete sau conserve? O astfel de abordare meticuloasă poate deveni rapid plictisitoare și demotivează pe toți utilizatorii, cu excepția celor mai hotărâți, deoarece astfel de alegeri fac mici diferențe calorice.

Efectuarea evaluării dietetice folosind fotografii digitale cu alimente devine populară. Omniprezenta telefoanelor mobile cu camere face fotografia ușoară și accesibilă. În decembrie 2009, în SUA existau doar peste 285 de milioane de telefoane mobile [1]. Folosind acest lucru, în Japonia, Soția Virtuală a lui Metaboinfo [2] are o echipă de nutriționiști manual analiza fotografiilor cu telefoane mobile a vaselor pentru a oferi utilizatorilor săi o estimare instantanee a caloriilor. Cercetările existente [3,4] încearcă să folosească automatizat tehnici de viziune computerizată pentru a recunoaște mâncarea din fotografiile lor pentru a ajuta la estimarea caloriilor. Deși promițătoare, performanța a fost limitată, având performanțe optimiste la o precizie de 25 - 58%. Variațiile cauzate de mulți factori (de exemplu, distanța și condițiile de iluminare) fac ca fotografiile individuale ale meselor să fie slabe candidați pentru procesarea fiabilă a imaginilor. Încercările noastre inițiale de recunoaștere a alimentelor confirmă această limitare, realizând o precizie mai mică de 25% cu fotografii realizate dintr-o vedere de pasăre.

Un următor pas natural este utilizarea camerelor video de pe telefonul mobil pentru a obține imagini mai bune pentru procesarea automată a imaginilor. Videoclipurile oferă o vedere în perspectivă multiplă a mâncării, permițându-ne să determinăm mai fiabil ce este pe farfurie. Înregistrarea video a unui vas este mai ușoară și nu consumă mai mult timp decât fotografierea unei singure fotografii, deoarece utilizatorul este ușurat de nevoia de a compune fotografia „perfectă”. Utilizatorul pur și simplu filmează un videoclip panoramic al vasului, iar software-ul nostru selectează apoi un număr de cadre candidate din videoclip.

În plus, este mai robust împotriva multor factori de mediu care pot afecta negativ calitatea fotografiilor. Trecerea la o abordare bazată pe video ne-a îmbunătățit precizia cu până la 95%. Omniprezenta tot mai mare a telefoanelor mobile cu camere video de înaltă calitate face ca abordarea noastră să fie ușor de implementat.

Scopul nostru este un multietajat abordarea către o evaluare dietetică bazată pe tehnologie, precisă și fiabilă. O astfel de abordare va completa tehnici precum software-ul de numărare a caloriilor prin pre-filtrarea articolelor irelevante pe care utilizatorul trebuie să le caute. Prima etapă a unei astfel de abordări ar fi folosirea fiabilă a videoclipurilor pentru a identifica alimentele care sunt consumate. Etapele viitoare ar obține o serie de caracteristici ale imaginii care sunt indicatori salienti ai caracteristicilor nutriționale ale unei mese: o masă cu multă „textură a imaginii” (variație spațială a intensităților pixelilor) poate indica fibra; o masă care „străluceste” poate indica un conținut ridicat de grăsimi și, prin urmare, calorii mai mari decât o masă mai slabă care „străluceste” mai puțin. Astfel de caracteristici ar putea permite estimarea calorică directă.

În această lucrare, demonstrăm fezabilitatea primei etape: identificarea felurilor de mâncare din videoclipuri pentru a ajuta la estimarea caloriilor.

Metodologie

Abordarea noastră este o tehnică de potrivire a modelelor. Mai întâi, construim o bază de date cu imagini de antrenament a vaselor adnotate cu caloriile lor. Când este prezentat cu o imagine necunoscută, sistemul nostru găsește cele mai potrivite imagini din setul său de antrenament. Caloriile adnotate din acele imagini care se potrivesc cel mai bine sunt apoi utilizate ca estimări ale caloriilor acelei imagini.

Captarea videoclipurilor

Am capturat videoclipuri cu 20 de feluri de mâncare diferite la Bevier Café, o cafenea din campus administrată de Departamentul de Știința Alimentelor și Nutriția Umană de la Universitatea din Illinois. Bevier a oferit un mediu ideal pentru munca noastră. Mâncărurile sunt comparabile cu multe mâncăruri gătite acasă și cu cele servite la restaurantele de familie. Munca existentă [3] folosește tehnici de viziune computerizată pentru mesele de tip fast-food, dar, din câte știm, încercarea noastră este prima de a analiza preparatele tipice de restaurant care tind să aibă mai multă varietate decât fast-food-ul.

Ni s-a dat acces la toate rețetele Bevier, ceea ce ne-a permis să calculăm, pe ingrediente, valoarea nutrițională a fiecărui fel de mâncare. Videoclipul vaselor a fost capturat la 640 x 480 pixeli; o rezoluție tipică disponibilă pe majoritatea camerelor video de pe telefoanele mobile, cum ar fi Apple iPhone și Google Nexus.

În evaluările noastre, vasele au fost așezate pe o masă rotativă orizontală cu o față de masă neagră. Camera video a fost montată pe un trepied și a fost înclinată într-un unghi pentru a captura întregul vas. În practică, ne imaginăm că un utilizator ar roti manual placa în timp ce stătea la masă.

Produsele alimentare arată foarte diferit din diferite unghiuri. De exemplu, o vizualizare de sus a unui panini nu reușește să dezvăluie conținutul intercalat între ele. Pe de altă parte, o vizualizare în afara axei de 360 ​​de grade surprinde o vedere mai reprezentativă a vasului. Am rotit platanul manual și am capturat o vedere de 360 ​​de grade a vasului. Fiecare videoclip are aproximativ 20 de secunde. Figura 1 prezintă un eșantion.