22_Iwamoto

研究の概要

人を癒し、寄り添うエージェント

研究タイトル

感情の理解、発散、表現

研究キーワード

・癒し   →音楽、視覚、聴覚、触覚
・寄り添う  →スキンシップ(触れ合う、手を繋ぐ)
・感情   →読み取り様々な形で出力
・声、会話
・誰でも楽しめる

分野
・Human-Agent Interaction
・音楽情報科学
・(認知科学)
・演劇・演奏

研究は何を目指すものか(目標)

・辛い、しんどい時に一人で抱え込まないようにする
・感情の発散、表現を促す
・孤独感をなくす
・誰でも楽しめる(年齢、性別、国籍?、障害?)
・誰かの力になる

この研究がうまくいけば何が実現するのか(将来、可能性、応用など)

・自殺、鬱などの減少

この研究の新規性・新奇性

この研究の有用性

目指すシステムの形(どういう入力でどういう出力があるか。何ができるか。)

システムのターゲットユーザ

・誰にも頼れない、甘えられないという人が一番のターゲットユーザ

システムの活用シーン

・人が辛くなったときの支えになる。

研究トピック(議題)整頓

(概要よりももう少し詳しく、いくつかのトピックを箇条書きして、たまに書き直す部分。このテキストはコピーした先では書かなくてOK)

研究ノート

(自分が日々とる、ゼミのログ、ランチミーティングで気になったことのメモなどを書く。このテキストはコピーした先では書かなくてOK)

メモ

・同期の近い人たち

添付ファイルの画像

課題

・2022 春課題 processingを使用し声(音量)を認識。そこから感情を読み取りイラストで出力する。 今回は音量を読み取るまでで限界だったが今後脈拍や目の動きなどと連動してより正確に感情を読み取れるようなものを作りたい。 そしてその読み取れた感情の活用(悲しい→楽しいに変える方法、ロボットやぬいぐるみとの連動、音楽との連動など)を考えたい。

活用できる?( https://webempath.net/lp-jpn/ )

添付ファイルの画像
添付ファイルの画像
添付ファイルの画像
添付ファイルの画像
添付ファイルの画像
添付ファイルの画像

文献ノート

(自分が日々読む、論文や書籍の記録を取る。GoogleDocsのSheets機能を活用し、閲覧可能にしておいてリンクをここに貼るのもOK。このテキストはコピーした先では書かなくてOK)

番号著者タイトル発表場所や出版社URL掲載ページ 23〜56など(もしくは全体ページ数)発行年内容の簡潔なまとめ内容の詳細メモ自分の研究との関連性のメモ
1菅原衣織 ・伊藤貴之倍音分析によるいい声作りの支援アプリ開発に向けてエンタテインメントコンピューティングシンポジウム2013論文集https://ipsj.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=95970&item_no=1&page_id=13&block_id=8掲載ページ 51-552013年声色が言葉以上にものを語る.倍音という観点から音声を分析し,声の傾向を視覚化いい声とは?倍音に着目.喜びや哀しみの感情を発するときは基音周波数が高くなる傾向にあり,逆に怒りの感情を発するときは基音周波数が低くなる傾向にある.感情の変化がどのように周波数や倍音に影響を及ぼすのか
2飯田 朱美・ニックキャンベル・安村 通晃感情表現が可能な合成音声の作成と評価情報処理学会論文誌https://ipsj.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=12827&item_no=1&page_id=13&block_id=8479 - 4861999年話者の感情が反映された音声コーパスを用いて感情表現が可能な合成音声を作成基本周波数は悲しみの音声で最も低く、基本周波数レンジも悲しみの音声で最も狭い。発話速度は悲しみが怒りより遅い。各感情音声コーパスを構成する音素ごとに基本周波数、パワー、持続時間を求めた。周波数、継続時間、パワーに違いがあると喜び、怒り、悲しみを識別できる
3足立 吉広・森島 繁生話者のイントネーションを模倣するインタラクティブ声質変換システムの構築インタラクション2005論文集https://www.researchgate.net/profile/Shigeo-Morishima/publication/238776715_Interactive_Speech_Conversion_System_Tracing_Speaker_Intonation_Automatically/links/54d0d1770cf29ca81103ca13/Interactive-Speech-Conversion-System-Tracing-Speaker-Intonation-Automatically.pdf261-2682005音声への感情付加や発話強調の付加などをインタラクティブに実現するシステムの提案。イントネーションの要素である話速、基本周波数、音量を自動抽出、変換することにより実現ピッチは音声の基本周波数の遷移でありこの変化が抑揚となる、音声の音量遷移を表すパワーは発話においてアクセントの役割。イントネーションだけを変換する技術が実現すれば、リファレンスの音声を模倣する形で、声優の音声のイントネーションに従って合成音声を感情を込めた形に変換することが出来る。話速の抽出法、ピッチの抽出法、パワー抽出法、→サンプルの模倣で感情を表現








22_Iwamotoに戻る


トップ   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS