http://tuesday.csail.mit.edu:4242/
要完成这个任务,最大的障碍是没有合适的大规模训练数据集。
2014年,瑞士的研究人员们建立了一个Food-101数据集,训练出来的系统识别食物的准确率只有50%,后来几经迭代,也只达到了80%的准确率。
香港城市大学有个比较大的数据集,包含11万张图片和6.5万份菜谱,但是只有中餐。
于是,CSAIL的团队从All Recipes、Food.com等菜谱网站取材,建立了Recipe1M数据集,其中包含覆盖多种菜系的100万份菜谱,人工标注了其中的食材等信息。
然后,他们用这个数据集和训练了一个神经网络,让它去建立食物照片和食材、菜谱之间的关联模式。
不过据TheVerge评价,拉面、薯片、日式烧牛小排这些食物,这个系统一律认不出,汉堡会认成三明治,但是给它一张模糊的蛋糕粉的照片,倒是能给出好几种推荐菜谱。
关于Pic2Recipe的论文Learning Cross-modal Embeddings for Cooking Recipes and Food Images发表于本周的计算机视觉顶级会议CVPR上。
论文地址:
http://im2recipe.csail.mit.edu/im2recipe.pdf