Identifying Visitor’s Paintings Appreciation for AI Audio Guide in Museums

斉藤 真理 Mari Saito (SONY), 奥戸 嵩登 Takato Okudo (SOKENDAI), 山田 真 Makoto Yamada (SONY), 山田 誠二 Seiji Yamada (NII/SOKENDAI)

本稿では，利用者が美術鑑賞に取り組んでいるかどうかを予測する機械学習を応用し，案内を行うタイミングを自動制御できるAI音声ガイドシステムを開発した事例を紹介する．美術館におけるインテリジェントな音声ガイドに関する研究は数多く行われているが，来館者が美術鑑賞に取り組んでいるときに自動的に音声ガイドの再生を開始するAI音声ガイドシステムの開発を試みた例は少ない．本論文では，美術館で識別される利用者が美術鑑賞に従事しているかどうかという2つのクラスを分類することで，音声ガイドを開始するタイミングを決定する．この分類に時系列データに対する教師あり機械学習を適用する．実際の美術館で参加者を対象に実験を行い，参加者の頭部の姿勢や動作のラベル付き時系列データを学習データとして収集しました．そして，時系列データに対する分類学習アルゴリズムを適用して，参加者が絵画鑑賞に関わるタイミングを予測し，モデル選択を行い，収集したデータでモデルを実験的に評価した．その結果，82%以上の高い精度が得られたことから，機械学習を用いた絵画鑑賞のリアルタイム識別が，AI音声ガイドシステムにおいて有望であることが確認されました．