Исследователи обучили робота-«шеф-повара» смотреть и изучать видеоролики о приготовлении пищи, а также воссоздавать блюдо самостоятельно.
Исследователи из Кембриджского университета запрограммировали своего робота-повара с помощью «поваренной книги» из восьми простых рецептов салатов. После просмотра видеоролика с человеком, демонстрирующим один из рецептов, робот смог определить, какой рецепт готовится, и сделать его.
Кроме того, видео помогало роботу постепенно пополнять свою поваренную книгу. В конце эксперимента робот самостоятельно придумал девятый рецепт. Результаты исследования, о которых сообщается в журнале IEEE Access, демонстрируют, как видеоконтент может стать ценным и богатым источником данных для автоматизированного производства продуктов питания, и могут способствовать более простому и дешевому внедрению роботов-поваров.
Роботы-повара десятилетиями фигурировали в научной фантастике, но в реальности приготовление пищи — сложная задача для робота. Несколько коммерческих компаний создали прототипы роботов-поваров, но ни один из них в настоящее время не продается, и они значительно отстают от своих человеческих коллег в плане мастерства.
«Мы хотели узнать, сможем ли мы обучить робота-повара тому же постепенному обучению, что и людей — путем определения ингредиентов и их сочетания в блюде», — сказал Гжегож Сохацки с инженерного факультета Кембриджа, первый автор статьи.
Ученые использовали общедоступную нейронную сеть для обучения своего робота-повара. Нейронная сеть уже была запрограммирована на распознавание ряда различных объектов, включая фрукты и овощи, использованные в восьми рецептах салата (брокколи, морковь, яблоко, банан и апельсин).
Используя методы компьютерного зрения, робот проанализировал каждый кадр видео и смог идентифицировать различные объекты и особенности, такие как нож и ингредиенты, а также руки, кисти и лицо человека. Рецепты и видео были преобразованы в векторы, и робот выполнил математические операции над векторами, чтобы определить сходство между демонстрацией и вектором.
