Німецькі дослідники розробили алгоритм, який визначає харчову цінність страв по фотографії: калорійність, а також вміст білків, вуглеводів і жирів.
На відміну від багатьох інших подібних алгоритмів, новий визначає ці показники безпосередньо, а не звертаючись до бази даних про харчову цінність різних продуктів. Доповідь про алгоритм буде представлена на конференції ICPR 2020 року, відзначають автори розробки, інформує НВ.
Частина людей, які скидають зайву вагу або підтримують її на одному рівні, записують прийоми їжі, відзначаючи її харчову цінність. Є навіть програми, де цей процес частково автоматизований: якщо людина з’їла їжу з магазину, на її упаковку можна навести камеру, і додаток сам додасть всі дані в щоденник споживання. Але це не підходить для самостійно приготованої їжі.
Дослідники в галузі комп’ютерного зору вже кілька років намагаються вирішити цю проблему. Як правило, алгоритми з розрахунку харчової цінності працюють за схожим принципом: розпізнають на знімку страву і видають відповідні значення з бази. Також вони можуть враховувати розмір страви для точнішого розрахунку калорій.
Подібні багатостадійні алгоритми складні в розробці і не дуже точні, відзначають автори нової роботи на чолі з Райнером Штіфельхагеном з Технологічного інституту Карлсруе. Вони використовували інший підхід, в якому нейромережа за один етап розраховує харчову цінність на основі фотографії.
В основі алгоритму лежить надточна нейромережа для розпізнавання об’єктів (автори використовували популярні мережі ResNet і DenseNet), навчена на величезному датасеті різних фотографій ImageNet. Використання подібної надточної нейромережі – це популярний метод, що дозволяє брати за основу алгоритм, який вже досить добре вміє визначати ознаки на зображеннях, і навчати його останні шари на своєму конкретному завданні.
В цьому випадку автори не просто донавчали останній шар, а змінили його структуру: замість класифікації він вирішує завдання регресії, тобто підбору конкретного значення.
Розробники самостійно підготували дані для навчання алгоритму, скориставшись двома джерелами: сайтом рецептів, де у більшості рецептів є список інгредієнтів і фотографія готової страви, і базою харчової цінності різних продуктів. Оскільки рецепти пишуться різними людьми і містять зайві дані, дослідникам довелося напівавтоматично обробити дані. Зокрема, вони прибрали зайві слова і перевели приблизні величини в конкретні.
Потім вони зіставили дані з двох попередньо оброблених датасетів і зібрали їх в один, який містить 70 тисяч рецептів і 308 тисяч фотографій.