22_Iwamoto_Note
の編集
https://lab.yoneyone.net/php/pukiwiki/?22_Iwamoto_Note
[
トップ
] [
編集
|
差分
|
履歴
|
添付
|
リロード
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
]
-- 雛形とするページ --
(no template pages)
[[22_Iwamoto]] * 研究の概要 [#w6de4ca1] 人を癒し、寄り添うエージェント ** 研究タイトル [#j4132eea] 感情の理解、発散、表現 **研究キーワード [#pfe3873a] ・癒し →音楽、視覚、聴覚、触覚~ ・寄り添う →スキンシップ(触れ合う、手を繋ぐ)~ ・感情 →読み取り様々な形で出力~ ・声、会話~ ・誰でも楽しめる~ 分野~ ・Human-Agent Interaction~ ・音楽情報科学~ ・(認知科学)~ ・演劇・演奏~ **研究は何を目指すものか(目標) [#o293498d] ・辛い、しんどい時に一人で抱え込まないようにする~ ・感情の発散、表現を促す~ ・孤独感をなくす~ ・誰でも楽しめる(年齢、性別、国籍?、障害?)~ ・誰かの力になる~ **この研究がうまくいけば何が実現するのか(将来、可能性、応用など) [#if72b70f] ・自殺、鬱などの減少~ **この研究の新規性・新奇性 [#j560a5f5] **この研究の有用性 [#v4581b34] **目指すシステムの形(どういう入力でどういう出力があるか。何ができるか。) [#g862eeab] **システムのターゲットユーザ [#wd1e2254] ・誰にも頼れない、甘えられないという人が一番のターゲットユーザ~ **システムの活用シーン [#iddfed73] ・人が辛くなったときの支えになる。~ * 研究トピック(議題)整頓 [#wc86f10c] (概要よりももう少し詳しく、いくつかのトピックを箇条書きして、たまに書き直す部分。このテキストはコピーした先では書かなくてOK)~ -声×感情×ぬいぐるみ×スキンシップ(最終目標?) -エージェント×音楽(とりあえずこっちからやってみる?)~ ・人間の感情を理解、それを発散・表現させる方向に促す→一緒に歌うエージェント?~ ・一緒に歌う→感情によって歌い方変える~ ・歌や言葉を聞かせ、ユーザの気分に応じて歌い方変化させる~ ・喜→喜、楽で出力?~ ・怒→落ち着かせる感じor一緒に怒って発散させる?~ ・哀→喜、楽で出力?~ ・楽→喜、楽で出力?~ ・寄り添う→話しかけるように歌う??~ ・歌いながら触るを将来目指す(ミュージカル風)~ ~ まとめ~ ・音声(目の動き、表情・・・)→人間の気持ち検出→出力(音楽→歌い方などで感情表現)~ ~ ~ エージェントの歌どう感じるか(素っ気ない感じ?)~ どのようにしたら喜怒哀楽表現できるか~ 感情の読み取りはどのようにするか~ 合成音声どうやって作るか~ * 研究ノート [#l209c850] (自分が日々とる、ゼミのログ、ランチミーティングで気になったことのメモなどを書く。このテキストはコピーした先では書かなくてOK) **メモ [#kc19e12b] ・同期の近い人たち~ #ref(類似点.png,left,nowrap,添付ファイルの画像,15%) **課題 [#v2dd7e4c] ・2022 春課題 processingを使用し声(音量)を認識。そこから感情を読み取りイラストで出力する。 今回は音量を読み取るまでで限界だったが今後脈拍や目の動きなどと連動してより正確に感情を読み取れるようなものを作りたい。 そしてその読み取れた感情の活用(悲しい→楽しいに変える方法、ロボットやぬいぐるみとの連動、音楽との連動など)を考えたい。 活用できる?( https://webempath.net/lp-jpn/ ) |#ref(スクリーンショット 2022-04-12 12.15.04.png,left,nowrap,添付ファイルの画像,15%) |#ref(スクリーンショット 2022-04-12 12.15.19.png,left,nowrap,添付ファイルの画像,15%)| |#ref(スクリーンショット 2022-04-10 15.48.44.png,left,nowrap,添付ファイルの画像,10%) |#ref(スクリーンショット 2022-04-10 15.49.41.png,left,nowrap,添付ファイルの画像,10%)|#ref(スクリーンショット 2022-04-10 15.49.54.png,left,nowrap,添付ファイルの画像,10%) |#ref(スクリーンショット 2022-04-10 15.50.12.png,left,nowrap,添付ファイルの画像,10%)| * 文献ノート [#k60eb404] https://docs.google.com/spreadsheets/d/1PRD-miF1QD3waDx5sdt7anivGy4km1au7IqqlJFUxJk/edit#gid=0 |番号|著者 |タイトル |発表場所や出版社 |URL|掲載ページ 23〜56など(もしくは全体ページ数) |発行年| 内容の簡潔なまとめ| 内容の詳細メモ| 自分の研究との関連性のメモ| |1|菅原衣織 ・伊藤貴之 |倍音分析によるいい声作りの支援アプリ開発に向けて |エンタテインメントコンピューティングシンポジウム2013論文集 |https://ipsj.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=95970&item_no=1&page_id=13&block_id=8|掲載ページ 51-55 |2013年|声色が言葉以上にものを語る.倍音という観点から音声を分析し,声の傾向を視覚化 |いい声とは?倍音に着目.喜びや哀しみの感情を発するときは基音周波数が高くなる傾向にあり,逆に怒りの感情を発するときは基音周波数が低くなる傾向にある.|感情の変化がどのように周波数や倍音に影響を及ぼすのか | |2|飯田 朱美・ニックキャンベル・安村 通晃|感情表現が可能な合成音声の作成と評価|情報処理学会論文誌|https://ipsj.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=12827&item_no=1&page_id=13&block_id=8|479 - 486|1999年|話者の感情が反映された音声コーパスを用いて感情表現が可能な合成音声を作成|基本周波数は悲しみの音声で最も低く、基本周波数レンジも悲しみの音声で最も狭い。発話速度は悲しみが怒りより遅い。各感情音声コーパスを構成する音素ごとに基本周波数、パワー、持続時間を求めた。|周波数、継続時間、パワーに違いがあると喜び、怒り、悲しみを識別できる| |3|足立 吉広・森島 繁生|話者のイントネーションを模倣するインタラクティブ声質変換システムの構築|インタラクション2005論文集|https://www.researchgate.net/profile/Shigeo-Morishima/publication/238776715_Interactive_Speech_Conversion_System_Tracing_Speaker_Intonation_Automatically/links/54d0d1770cf29ca81103ca13/Interactive-Speech-Conversion-System-Tracing-Speaker-Intonation-Automatically.pdf|261-268|2005|音声への感情付加や発話強調の付加などをインタラクティブに実現するシステムの提案。イントネーションの要素である話速、基本周波数、音量を自動抽出、変換することにより実現|ピッチは音声の基本周波数の遷移でありこの変化が抑揚となる、音声の音量遷移を表すパワーは発話においてアクセントの役割。イントネーションだけを変換する技術が実現すれば、リファレンスの音声を模倣する形で、声優の音声のイントネーションに従って合成音声を感情を込めた形に変換することが出来る。|話速の抽出法、ピッチの抽出法、パワー抽出法、→サンプルの模倣で感情を表現| |4|山本大介・ 大浦圭一郎・ 西村良太・打矢隆弘・内匠逸・ 李晃伸・徳田恵一|スマートフォン単体で動作する音声対話3Dエージェント「スマートメイちゃん」の開発|情報処理学会 インタラクション 2013|http://www.interaction-ipsj.org/archives/paper2013/data/Interaction2013/interactive/data/pdf/3EXB-27.pdf|675-680|2003|スマートフォン単体で動作する音声対話3D エージェントシステムの構築,実現する上での問題点や,応用システムに関する検討|自然な音声対話システムの応答時間は 2 秒未満、常に音声認識を実行していると意図しない反応や音声が再生されてしまう、音声対話の応答時間の短さや映像品質の良さが,エージェントの実在感や魅力などを向上させる|音声対話のための高度な機能を備えたツールキット(MMDAgen)、あるキーワードで音声対話機能をオンオフする、インターネットとの連携でさらなる情報量| |5|丹下理永|現代的なリズムのダンスにおける楽しさと感情表現に関する研究|京都工芸繊維大学 KIT学術成果コレクション|https://repository.lib.kit.ac.jp/repo/repository/10212/2280/D1-0757_h1.pdf|1-56|2015年|ヒップホップダンスにおける感情表現(楽しさ,悲しさ,怒り)について,三次元動作解析を用いて右方向に移動するニュージャックスイングの動作特徴を検討,ダンスステップにおける感情表現の検討 |頭,胸,両腕,両手,腰,両脚の感情の違いによる動作特徴量を求める,楽しさは衝動性(速さの振幅範囲),速度,加速度,拡張(上肢との距離)において,悲しさに比べ有意に高い値を示した,速度においても楽しさは悲しさと比べて,両腕と両手のみ有意に速い値を示した、両手に一番感情が出やすい|悲しさの表現の特徴は,他の感情に比べて動作が小さく,速さが遅い楽しさの表現の特徴は,左右の上肢や下肢のスピードが他の感情より速い| ~ ~ ~ ~ ~ ~ #hr [[22_Iwamoto]]に戻る
タイムスタンプを変更しない
[[22_Iwamoto]] * 研究の概要 [#w6de4ca1] 人を癒し、寄り添うエージェント ** 研究タイトル [#j4132eea] 感情の理解、発散、表現 **研究キーワード [#pfe3873a] ・癒し →音楽、視覚、聴覚、触覚~ ・寄り添う →スキンシップ(触れ合う、手を繋ぐ)~ ・感情 →読み取り様々な形で出力~ ・声、会話~ ・誰でも楽しめる~ 分野~ ・Human-Agent Interaction~ ・音楽情報科学~ ・(認知科学)~ ・演劇・演奏~ **研究は何を目指すものか(目標) [#o293498d] ・辛い、しんどい時に一人で抱え込まないようにする~ ・感情の発散、表現を促す~ ・孤独感をなくす~ ・誰でも楽しめる(年齢、性別、国籍?、障害?)~ ・誰かの力になる~ **この研究がうまくいけば何が実現するのか(将来、可能性、応用など) [#if72b70f] ・自殺、鬱などの減少~ **この研究の新規性・新奇性 [#j560a5f5] **この研究の有用性 [#v4581b34] **目指すシステムの形(どういう入力でどういう出力があるか。何ができるか。) [#g862eeab] **システムのターゲットユーザ [#wd1e2254] ・誰にも頼れない、甘えられないという人が一番のターゲットユーザ~ **システムの活用シーン [#iddfed73] ・人が辛くなったときの支えになる。~ * 研究トピック(議題)整頓 [#wc86f10c] (概要よりももう少し詳しく、いくつかのトピックを箇条書きして、たまに書き直す部分。このテキストはコピーした先では書かなくてOK)~ -声×感情×ぬいぐるみ×スキンシップ(最終目標?) -エージェント×音楽(とりあえずこっちからやってみる?)~ ・人間の感情を理解、それを発散・表現させる方向に促す→一緒に歌うエージェント?~ ・一緒に歌う→感情によって歌い方変える~ ・歌や言葉を聞かせ、ユーザの気分に応じて歌い方変化させる~ ・喜→喜、楽で出力?~ ・怒→落ち着かせる感じor一緒に怒って発散させる?~ ・哀→喜、楽で出力?~ ・楽→喜、楽で出力?~ ・寄り添う→話しかけるように歌う??~ ・歌いながら触るを将来目指す(ミュージカル風)~ ~ まとめ~ ・音声(目の動き、表情・・・)→人間の気持ち検出→出力(音楽→歌い方などで感情表現)~ ~ ~ エージェントの歌どう感じるか(素っ気ない感じ?)~ どのようにしたら喜怒哀楽表現できるか~ 感情の読み取りはどのようにするか~ 合成音声どうやって作るか~ * 研究ノート [#l209c850] (自分が日々とる、ゼミのログ、ランチミーティングで気になったことのメモなどを書く。このテキストはコピーした先では書かなくてOK) **メモ [#kc19e12b] ・同期の近い人たち~ #ref(類似点.png,left,nowrap,添付ファイルの画像,15%) **課題 [#v2dd7e4c] ・2022 春課題 processingを使用し声(音量)を認識。そこから感情を読み取りイラストで出力する。 今回は音量を読み取るまでで限界だったが今後脈拍や目の動きなどと連動してより正確に感情を読み取れるようなものを作りたい。 そしてその読み取れた感情の活用(悲しい→楽しいに変える方法、ロボットやぬいぐるみとの連動、音楽との連動など)を考えたい。 活用できる?( https://webempath.net/lp-jpn/ ) |#ref(スクリーンショット 2022-04-12 12.15.04.png,left,nowrap,添付ファイルの画像,15%) |#ref(スクリーンショット 2022-04-12 12.15.19.png,left,nowrap,添付ファイルの画像,15%)| |#ref(スクリーンショット 2022-04-10 15.48.44.png,left,nowrap,添付ファイルの画像,10%) |#ref(スクリーンショット 2022-04-10 15.49.41.png,left,nowrap,添付ファイルの画像,10%)|#ref(スクリーンショット 2022-04-10 15.49.54.png,left,nowrap,添付ファイルの画像,10%) |#ref(スクリーンショット 2022-04-10 15.50.12.png,left,nowrap,添付ファイルの画像,10%)| * 文献ノート [#k60eb404] https://docs.google.com/spreadsheets/d/1PRD-miF1QD3waDx5sdt7anivGy4km1au7IqqlJFUxJk/edit#gid=0 |番号|著者 |タイトル |発表場所や出版社 |URL|掲載ページ 23〜56など(もしくは全体ページ数) |発行年| 内容の簡潔なまとめ| 内容の詳細メモ| 自分の研究との関連性のメモ| |1|菅原衣織 ・伊藤貴之 |倍音分析によるいい声作りの支援アプリ開発に向けて |エンタテインメントコンピューティングシンポジウム2013論文集 |https://ipsj.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=95970&item_no=1&page_id=13&block_id=8|掲載ページ 51-55 |2013年|声色が言葉以上にものを語る.倍音という観点から音声を分析し,声の傾向を視覚化 |いい声とは?倍音に着目.喜びや哀しみの感情を発するときは基音周波数が高くなる傾向にあり,逆に怒りの感情を発するときは基音周波数が低くなる傾向にある.|感情の変化がどのように周波数や倍音に影響を及ぼすのか | |2|飯田 朱美・ニックキャンベル・安村 通晃|感情表現が可能な合成音声の作成と評価|情報処理学会論文誌|https://ipsj.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=12827&item_no=1&page_id=13&block_id=8|479 - 486|1999年|話者の感情が反映された音声コーパスを用いて感情表現が可能な合成音声を作成|基本周波数は悲しみの音声で最も低く、基本周波数レンジも悲しみの音声で最も狭い。発話速度は悲しみが怒りより遅い。各感情音声コーパスを構成する音素ごとに基本周波数、パワー、持続時間を求めた。|周波数、継続時間、パワーに違いがあると喜び、怒り、悲しみを識別できる| |3|足立 吉広・森島 繁生|話者のイントネーションを模倣するインタラクティブ声質変換システムの構築|インタラクション2005論文集|https://www.researchgate.net/profile/Shigeo-Morishima/publication/238776715_Interactive_Speech_Conversion_System_Tracing_Speaker_Intonation_Automatically/links/54d0d1770cf29ca81103ca13/Interactive-Speech-Conversion-System-Tracing-Speaker-Intonation-Automatically.pdf|261-268|2005|音声への感情付加や発話強調の付加などをインタラクティブに実現するシステムの提案。イントネーションの要素である話速、基本周波数、音量を自動抽出、変換することにより実現|ピッチは音声の基本周波数の遷移でありこの変化が抑揚となる、音声の音量遷移を表すパワーは発話においてアクセントの役割。イントネーションだけを変換する技術が実現すれば、リファレンスの音声を模倣する形で、声優の音声のイントネーションに従って合成音声を感情を込めた形に変換することが出来る。|話速の抽出法、ピッチの抽出法、パワー抽出法、→サンプルの模倣で感情を表現| |4|山本大介・ 大浦圭一郎・ 西村良太・打矢隆弘・内匠逸・ 李晃伸・徳田恵一|スマートフォン単体で動作する音声対話3Dエージェント「スマートメイちゃん」の開発|情報処理学会 インタラクション 2013|http://www.interaction-ipsj.org/archives/paper2013/data/Interaction2013/interactive/data/pdf/3EXB-27.pdf|675-680|2003|スマートフォン単体で動作する音声対話3D エージェントシステムの構築,実現する上での問題点や,応用システムに関する検討|自然な音声対話システムの応答時間は 2 秒未満、常に音声認識を実行していると意図しない反応や音声が再生されてしまう、音声対話の応答時間の短さや映像品質の良さが,エージェントの実在感や魅力などを向上させる|音声対話のための高度な機能を備えたツールキット(MMDAgen)、あるキーワードで音声対話機能をオンオフする、インターネットとの連携でさらなる情報量| |5|丹下理永|現代的なリズムのダンスにおける楽しさと感情表現に関する研究|京都工芸繊維大学 KIT学術成果コレクション|https://repository.lib.kit.ac.jp/repo/repository/10212/2280/D1-0757_h1.pdf|1-56|2015年|ヒップホップダンスにおける感情表現(楽しさ,悲しさ,怒り)について,三次元動作解析を用いて右方向に移動するニュージャックスイングの動作特徴を検討,ダンスステップにおける感情表現の検討 |頭,胸,両腕,両手,腰,両脚の感情の違いによる動作特徴量を求める,楽しさは衝動性(速さの振幅範囲),速度,加速度,拡張(上肢との距離)において,悲しさに比べ有意に高い値を示した,速度においても楽しさは悲しさと比べて,両腕と両手のみ有意に速い値を示した、両手に一番感情が出やすい|悲しさの表現の特徴は,他の感情に比べて動作が小さく,速さが遅い楽しさの表現の特徴は,左右の上肢や下肢のスピードが他の感情より速い| ~ ~ ~ ~ ~ ~ #hr [[22_Iwamoto]]に戻る
テキスト整形のルールを表示する
添付ファイル:
スクリーンショット 2022-04-10 15.49.54.png
3件
[
詳細
]
スクリーンショット 2022-04-12 12.15.04.png
16件
[
詳細
]
スクリーンショット 2022-04-10 15.50.12.png
3件
[
詳細
]
スクリーンショット 2022-04-12 12.15.19.png
9件
[
詳細
]
スクリーンショット 2022-04-10 15.48.44.png
5件
[
詳細
]
スクリーンショット 2022-04-10 15.49.41.png
3件
[
詳細
]
類似点.png
3件
[
詳細
]