研究計画書 https://docs.google.com/document/d/13WmGI5KuPrV2wXYOZpmRcZKAZYMsqAXzkoQ-C-6Q9N8/edit?usp=sharing
音楽要素の一つである和音には「明るい-暗い」,「安定-不安定」などの感覚を催させる効果があるとされる.本研究では,ユーザと一緒に音楽を聴くエージェントの表情やしぐさによる共感的表現により,音楽を聴く楽しみとして他者との音楽感情の共感やそれによる音楽自体への没入などの効果を狙う.具体的には,和音のもたらす,明るさと興奮の2 軸における感情の強さに基づき,顔表情が変化するエージェントシステムを実装した.和音のもたらす感情に沿った表情がエージェントの共感を表すかについて検証した.その結果,和音のもたらす感情に沿った表情のエージェントは,音楽の流れの心地よさ,自然さ,楽しさ,およびエージェントへの共感や顔表情の自然さに関して,評価が高い傾向にあることが確認された.
ユーザの音楽聴取時における和音共感エージェントの表情による心的同調効果
(研究の特色の伝わるキーワード。6〜10くらい)
本研究では,ユーザと一緒に音楽を聴く画面の中のエージェントが共感的表現を示すことにより,音楽を聴く楽しみやモチベーションの向上を図ることを目指す.具体的には,音楽理論において和音の聴取により起こるとされる人間の感情に沿った表情やしぐさをエージェントが表出することにより,他者と一緒に音楽を聴いている錯覚を与えたり,音楽に対する反応の共感性を探る.
一人であっても、複数人で音楽を楽しんでいるかの臨場感を得られる。
人は音楽を聴くときあるいは演奏しているとき,様々な感情を抱く. 近年,トランペットやサックスを管楽器を自動演奏するロボットも開発されているが,楽器のコントロール技術は優れているものの,プログラムされた音楽の演奏のみ対応しており,感情を込めた演奏をすることはできない.自動演奏システムの課題点として,音色や音質の変化,リズム感,感情を込めた演奏,人間との合奏が挙げられている.ここでの人間との合奏とは,ロボットが人間の演奏に合わせて演奏するという意味である.
バッキングアプリのiReal pro(図1,2) のような練習補助に用いあるアプリも増加しているが,iReal proはバッキングの再生を行うのみで,抑揚やテンポの揺らぎといった表現は言うまでもなく対応していない.また,アレクサやGoogle アシスタントといった,言葉をプロトコルとして人間とやり取りを行うシステムが増加しているが,音声認識の対象はあくまでも言語のみで,音楽感情の認識を行うシステムは存在しない.
そこで,音楽感情や演奏におけるコミュニケーションを理解できるようなシステムを目指す.
普段の音楽生活に満足できていない人に満足してもらうことができる。
音楽理論において和音の聴取により起こるとされる人間の感情に沿った表情やしぐさをエージェントが表出することにより,他者と一緒に音楽を聴いている錯覚を与え,音楽に対する反応の共感性を探る.このため,和音の明るさや不安定感などに応じ,エージェント内部の感情状態として快不快軸と覚醒度軸に応じた数値を生成し,その感情に基づき顔表情が変化するシステムを実装中である.今後,ユーザ感情の反映や,より多くの音楽における現象を取り込んだ,より人間と親和性の高い音楽共感システムを目指す.
普段の音楽生活に満足できていない人
一人で音楽を聴く車中 なかなか人に会いに行けない時の音楽聴取
(概要よりももう少し詳しく、いくつかのトピックを箇条書きして、たまに書き直す部分。このテキストはコピーした先では書かなくてOK)
メモ https://drive.google.com/drive/folders/19oV1oW9alGVAY7olLgaJMWI70MXPV9bP?usp=sharing
読んだ文献一覧 https://docs.google.com/spreadsheets/d/1d8Pyn2P_UMVYX0wHOxFYcbwiNuxQ1BNugkIKcbvwqq8/edit?usp=sharing
| 著者 | タイトル | 発表場所や出版社 | 掲載ページ 23〜56など(もしくは全体ページ数) | 発行年 | 内容の簡潔なまとめ | 内容の詳細メモ | 自分の研究との関連性のメモ |