人を癒し、寄り添うエージェント
感情の理解、発散、表現
・癒し →音楽、視覚、聴覚、触覚
・寄り添う →スキンシップ(触れ合う、手を繋ぐ)
・感情 →読み取り様々な形で出力
・声、会話
・誰でも楽しめる
分野
・Human-Agent Interaction
・音楽情報科学
・(認知科学)
・演劇・演奏
・辛い、しんどい時に一人で抱え込まないようにする
・感情の発散、表現を促す
・孤独感をなくす
・誰でも楽しめる(年齢、性別、国籍?、障害?)
・誰かの力になる
・自殺、鬱などの減少
・誰にも頼れない、甘えられないという人が一番のターゲットユーザ
・人が辛くなったときの支えになる。
(概要よりももう少し詳しく、いくつかのトピックを箇条書きして、たまに書き直す部分。このテキストはコピーした先では書かなくてOK)
(自分が日々とる、ゼミのログ、ランチミーティングで気になったことのメモなどを書く。このテキストはコピーした先では書かなくてOK)
・同期の近い人たち
・2022 春課題 processingを使用し声(音量)を認識。そこから感情を読み取りイラストで出力する。 今回は音量を読み取るまでで限界だったが今後脈拍や目の動きなどと連動してより正確に感情を読み取れるようなものを作りたい。 そしてその読み取れた感情の活用(悲しい→楽しいに変える方法、ロボットやぬいぐるみとの連動、音楽との連動など)を考えたい。
活用できる?( https://webempath.net/lp-jpn/ )
(自分が日々読む、論文や書籍の記録を取る。GoogleDocsのSheets機能を活用し、閲覧可能にしておいてリンクをここに貼るのもOK。このテキストはコピーした先では書かなくてOK)
| 番号 | 著者 | タイトル | 発表場所や出版社 | URL | 掲載ページ 23〜56など(もしくは全体ページ数) | 発行年 | 内容の簡潔なまとめ | 内容の詳細メモ | 自分の研究との関連性のメモ |
| 1 | 菅原衣織 ・伊藤貴之 | 倍音分析によるいい声作りの支援アプリ開発に向けて | エンタテインメントコンピューティングシンポジウム2013論文集 | https://ipsj.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=95970&item_no=1&page_id=13&block_id=8 | 掲載ページ 51-55 | 2013年 | 声色が言葉以上にものを語る.倍音という観点から音声を分析し,声の傾向を視覚化 | いい声とは?倍音に着目.喜びや哀しみの感情を発するときは基音周波数が高くなる傾向にあり,逆に怒りの感情を発するときは基音周波数が低くなる傾向にある. | 感情の変化がどのように周波数や倍音に影響を及ぼすのか |
| 2 | 飯田 朱美・ニックキャンベル・安村 通晃 | 感情表現が可能な合成音声の作成と評価 | 情報処理学会論文誌 | https://ipsj.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=12827&item_no=1&page_id=13&block_id=8 | 479 - 486 | 1999年 | 話者の感情が反映された音声コーパスを用いて感情表現が可能な合成音声を作成 | 基本周波数は悲しみの音声で最も低く、基本周波数レンジも悲しみの音声で最も狭い。発話速度は悲しみが怒りより遅い。各感情音声コーパスを構成する音素ごとに基本周波数、パワー、持続時間を求めた。 | 周波数、継続時間、パワーに違いがあると喜び、怒り、悲しみを識別できる |
| 3 | 足立 吉広・森島 繁生 | 話者のイントネーションを模倣するインタラクティブ声質変換システムの構築 | インタラクション2005論文集 | https://www.researchgate.net/profile/Shigeo-Morishima/publication/238776715_Interactive_Speech_Conversion_System_Tracing_Speaker_Intonation_Automatically/links/54d0d1770cf29ca81103ca13/Interactive-Speech-Conversion-System-Tracing-Speaker-Intonation-Automatically.pdf | 261-268 | 2005 | 音声への感情付加や発話強調の付加などをインタラクティブに実現するシステムの提案。イントネーションの要素である話速、基本周波数、音量を自動抽出、変換することにより実現 | ピッチは音声の基本周波数の遷移でありこの変化が抑揚となる、音声の音量遷移を表すパワーは発話においてアクセントの役割。イントネーションだけを変換する技術が実現すれば、リファレンスの音声を模倣する形で、声優の音声のイントネーションに従って合成音声を感情を込めた形に変換することが出来る。 | 話速の抽出法、ピッチの抽出法、パワー抽出法、→サンプルの模倣で感情を表現 |
22_Iwamotoに戻る