電子情報通信学会総合大会講演要旨
D-12-18
重要単語からなる料理テキストと料理画像のマルチモーダル特徴量を用いた料理名推定
○小田将規・青野雅樹(豊橋技科大)
本報告では、重要単語からなる料理テキストと料理画像のマルチモーダル特徴量を用いた料理名推定に関して述べる。データとしては、UPMC Food-101を用いた。これは、料理画像と料理テキストからなる、101種類のカテゴリーに分けられたデータである。本研究では、このデータを事前に半分の大きさに訓練データとテストデータに分割する。訓練では、料理テキストからは重要語を抽出したものに主成分分析を適用し、一方、料理画像には、VGGが提供するデータからCNN特徴量を抽出したものに主成分分析を適用した。これら2種類の主成分分析を適用して得られたデータに正準相関分析を適用して射影行列を生成する。テスト時には料理画像だけを与え、事前に訓練で得られた射影行列を用いて料理カテゴリーを推定するものである。