21_Matsushima_Note
の編集
https://lab.yoneyone.net/php/pukiwiki/index.php?21_Matsushima_Note
[
トップ
] [
編集
|
差分
|
履歴
|
添付
|
リロード
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
]
-- 雛形とするページ --
(no template pages)
* 研究の概要 [#w6de4ca1] （一番簡単に研究のことを自己紹介できるまとめ場所。このテキストはコピーした先では書かなくてOK） ~ ~ 恐怖感情が喚起される映像作品を分析して、その映像のどういった部分に反応しているのか、またどうアレンジすればより恐怖感を得られるかについて研究したい ** 研究タイトル [#j4132eea] （最も伝わりやすい研究の魅力の詰まった５０字以内のタイトル。） ~ ~ 生理計測を用いた恐怖映像視聴時の被験者の感情分析とその映像の特徴の分析~ →生理計測を用いて被験者の心理状態によって出力が変化するARお化け屋敷の開発 **研究キーワード [#pfe3873a] （研究の特色の伝わるキーワード。６〜１０くらい） -感情分析 --それに関係する追加キーワード -表情認識 --それに関係する追加キーワード -脳波計測 -機械学習 -恐怖 -不安 **研究は何を目指すものか（目標） [#o293498d] 真に人間の根幹に迫るホラー作品を追求する **この研究がうまくいけば何が実現するのか（将来、可能性、応用など） [#if72b70f] 前人未踏のまったくあたらしいホラー作品が生まれる **この研究の新規性・新奇性 [#j560a5f5] 恐怖映像の特徴の分析はこれまでの行われていないため、この研究が初めての試みとなる **この研究の有用性 [#v4581b34] エンターテイメント作品の制作において視聴者に恐怖感を喚起させるものを作りたいと考えた際に、機械学習を用いて定量的な分析を試みたこの研究は参考になると思われる **目指すシステムの形（どういう入力でどういう出力があるか。何ができるか。） [#g862eeab] **システムのターゲットユーザ [#wd1e2254] 娯楽のための映像作品の制作者 **システムの活用シーン [#iddfed73] 娯楽のための映像作品を制作するシーン **冬休み課題について [#j8e03772] 時計を作る課題：https://openprocessing.org/sketch/1064702 自分の興味分野に関連して何か作る課題についてですが、Processingを使って建物を3Dモデルで作ろうとしました。P3Dという描画エンジンを使うかOpenGLというライブラリを使うと3Dモデルを作成できるということを調べ、後者に比べ前者は比較的単純なコードで表現できそうだったのでそちらを使用し作ろうとしました。しかし円柱を描くための関数がいくら調べても出てこず、それならばやはりOpenGLの方を使おうと思い調べてみましたが、これもまた球と直方体しか表現する関数がないようで、想定していた建物を描画するためには既存の関数を使わず、１から自分でコードを書かなければいけないことがわかりました。Processingについての文法知識も乏しく、プログラミングにも慣れておらず、以前難航しています。無理そうなら別のものを作ろうと思います。 **春休み課題について [#s7992e37] https://d.kuku.lu/c1b6d7971 https://d.kuku.lu/5e618fea1 Pythonを使ってYahooのトップページから新着記事のタイトルとURLを取得し、ファイルに書き出すプログラムを作成しました。研究テーマの方向性があまり定まっていないので、なるべく汎用性の高いスキルを身につけるためにスクレイピングの勉強をしました。 **スケルトン [#q89d626b] https://docs.google.com/document/d/1zlwEHxLo_k3nH6YA4z3fsm8E7sQTA-5SJxDfgO_k69c/edit?usp=sharing **実験計画書 [#mcb3fc92] https://docs.google.com/document/d/1HfmKP3GlyMcu1vBHzPpJzuaUAbO9SN1i634pssuMi0I/edit?usp=sharing *技術動向 [#za0515fd] Emotion API: Microsoft社が開発している感情分析のためのAPI。人の顔が写された画像を取り込むと、その表情から平常状態、怒り、軽蔑、嫌気、恐怖、幸福、悲しみ、驚きの8種類の感情のスコアをそれぞれ出力する。 ~ ~ Open CV: 画像処理・画像解析および機械学習等の機能を持ったライブラリ ~ ~ scikit-learn:機械学習のアルゴリズムがたくさん入ったライブラリ。チートシートに沿って適切なアルゴリズムを容易に選択できる。 * 研究トピック（議題）整頓 [#wc86f10c] （概要よりももう少し詳しく、いくつかのトピックを箇条書きして、たまに書き直す部分。このテキストはコピーした先では書かなくてOK） * 研究ノート [#l209c850] （自分が日々とる、ゼミのログ、ランチミーティングで気になったことのメモなどを書く。このテキストはコピーした先では書かなくてOK）~ 不気味の谷 ~ 一人で見るか複数人で見るか ~ 計測する要素:明度、声の抑揚、セリフの言葉遣い、効果音、映像の演出 どういう恐怖か~ 予感的な恐怖、パニック、予感の辻褄が合った時の恐怖~ 自律神経過多 パニックは恐怖じゃなくて交感神経が働いただけの興奮状態とも言える~ 国による恐怖感の違い~ 悲観的な人は恐怖を予期しやすい？~ 個人のレベルに合わせた恐怖感~ 身体情動モデル 体の変化が心に影響を与える~ ソマティックマーカー仮設~ 近接学~ 神経密度 神経マップ~ 社会的脳の発達~ Gaze Aversion~ 嫌なものからは感覚器の向きをずらして刺激を避ける~ 内受容感覚を意識すると精神の状態が良くなる~ ~ ARお化け屋敷 恐怖 同じ建物で違うコンテンツ~ DeepFace 感情値のみに絞ると1秒に1回以上~ 心電図 交感神経 計算~ 視覚だけでなく音も合わせて温度~ 指向性スピーカー~ リサーチクエスチョン~ ~ RQ:観客により大きい恐怖感を与えるARお化け屋敷~ 仮説:湿度の変化、音量の大きさが恐怖心に影響するのではないか~ x1:湿度の大きさ → y1:恐怖感 y2:不気味さ~ x2:音量の大きさ → y3:緊張感 y4:迫力~ ~ 制御パラメータ：お化けの発生頻度△、暗さ○、音の急激な変化△、不穏な音の継続○~ 怖さの種類：日本のホラー、不気味さ、不安~ ~ お化けがみえるまでの引っ張る時間、暗さ、音~ ~ デバイス心拍(神牧さんのものの逆利用、不自然な心拍)~ ~ 入力：その人の恐怖（心拍、表情）~ 出力：引っ張る時間、暗さ、音、デバイス心拍~ ~ *プレプレ卒論 [#l1d9e767] 1. 概要~ 生理計測を用いた恐怖映像視聴時の被験者の感情分析とその映像の特徴の分析を試みている。この研究は人間の持つ恐怖心を工学的に分析することを目標としており、これにより、恐怖を題材にしたエンターテイメント作品を作る際により臨場感のあるものを制作できるようになると思われる。今学期行ったのは、表情認識を使った感情の分析で、静止画像については表情認識に成功したが、カメラを通したリアルタイムでの感情分析についてはまだ上手くいっていないため、今後はこれを成功させること、また表情認識以外の感情分析について模索していきたいと考えている。~ ~ 2. 背景~ 研究の目標の一つである、恐怖映像の特徴の分析については関連した研究は他に行われていないため、恐怖心の推計を行った研究について記述する。一つ行われているのは、VR映像視聴時の恐怖心の動きを脳波計で計測した研究である。恐怖心を誘発する映像をVRゴーグルを装着し視聴しながら脳波計を利用し、得られた脳波の周波数成分から２種類の特徴量を用いてSVM(Support Vector Machine)を適用し恐怖心を推計するという研究が行われている。また、仮想空間内のCGエージェントが恐怖映像視聴時に感情に与える影響についての研究も行われている。この研究ではVR空間内のCGエージェントを配置し、被験者に仮想ディスプレイにうつされる恐怖映像を視聴させたときに、そのCGエージェントが存在することによって感情にどのような差異が生まれるのかを検証した研究である。一つ目の研究から分かったのは、脳波計を用いて恐怖感情を推計する手法は未だ開拓途中であり、現段階ではそれほど高い精度は期待できないということである。二つ目の研究から分かったのは、恐怖心を和らげるための研究は盛んに行われているが、恐怖心を喚起させたり、あるいはさらに増幅させるための研究はほとんど行われていないということである。恐怖心の推計を行った研究も数が少なく、恐怖映像の特徴を分析する研究に至っては関連した先行研究が他にまったく見当たらない。そのため、研究の方向性を定めることについては困難な点が多くあるが、そのぶん研究の新奇性については、先人が思いつきはしたものの価値がなかったため誰も行わなかった、ということでない場合であれば、非常に価値のあるものであると思われる。~ ~ 3. 提案システム~ 本研究は、被験者に恐怖映像を視聴させ、その間の被験者の恐怖心の動きを計測し記録するというものである。研究の最終目的はその視聴させた映像のどういった特徴により恐怖を感じたか、その特徴を分析するというものであるが、これに類した先行研究は他に行われていない。また、感情分析の手法については、表情認識、生理計測などさまざまな手法を試みて、総合的に分析することを考えている。脳波計を用いた推定は行われているが、これは精度がまだ発展途上のため、他の手法を利用する。~ ~ 4. 提案方法~ 表情分析については、Web APIを利用し、PCに接続されたWEBカメラから取得した被験者の表情から、恐怖感情の数値を推定する。生理計測については皮膚電位を測るセンサをArduinoを用いて制作することを考えている。そうして得られた恐怖感情の数値を、折れ線グラフに描写するプログラムを設計する。用意したディスプレイで恐怖映像を流す間、被験者の正面にカメラを設置し、皮膚電位センサを装着した状態で映像を視聴させるといった形になる。 5. 提案システムの今後の課題 表情分析の際に使用するAPIについては、fpsや研究利用に際してのセキュリティ面での安全性を考えたときにまだ最適なものを見つけかねている状態である。また生理計測に利用するセンサの制作についてはまだまったく手をつけていない。さらに、感情分析に複数の手法を用いる際、どのようにして総合的に分析するのか（もっとも精度が高いと思われるものを採用するか、または複数のものを合わせて利用できる式を考えるのか）についてまだ未定である。~ ~ 6. 研究の展望~ どういった演出を施せばより恐怖感を煽れるのかがわかると同時に、経験的に積み上げていくだけでは思いつかなかったような、全く新しい演出が見つかる可能性もあるため、エンターテイメント向けの映像作品の制作者にとってたいへん有用な研究となると思われる。この研究のテーマを思いついたきっかけとなったのは伊藤計劃の『虐殺器官』という小説で、これは言葉に含まれる一定の文法が虐殺を引き起こすことを描いたSF小説であるが、このように、無意識下に刷り込まれたものによって人間の感情を操作するようなもの、無意識下で恐怖心に作用するような文法を見つけたいと考えている。~ ~ * 文献ノート [#k60eb404] （自分が日々読む、論文や書籍の記録を取る。[[GoogleDocsのSheets機能:http://sheets.google.com]]を活用し、閲覧可能にしておいてリンクをここに貼るのもOK。このテキストはコピーした先では書かなくてOK） |著者 |タイトル |発表場所や出版社 |掲載ページ 23〜56など（もしくは全体ページ数） |発行年| 内容の簡潔なまとめ| 内容の詳細メモ| 自分の研究との関連性のメモ| |高井菜々子 宮下芳明 |仮想空間内の CG エージェントが恐怖映像視聴時の感情に 与える影響 |情報処理学会インタラクション2017 |135~140 |2017| 内容の簡潔なまとめ| 内容の詳細メモ| 自分の研究との関連性のメモ| |徳久悟 稲蔭正彦 |エンタテイメントシステムにおける楽しさをデザインするためのインタラクションモデルに関する考察 |情報処理学会論文誌vol.48 |1097~1112 |2007| 内容の簡潔なまとめ| 内容の詳細メモ| 自分の研究との関連性のメモ| |森貞ほか |脳波計を使用したVR映像が誘発する恐怖心の推定の試み |情報処理学会82回全国大会 |4-573~4-574 |2020| 内容の簡潔なまとめ| 内容の詳細メモ| 自分の研究との関連性のメモ| ~ [[スプレッドシートのリンク:https://docs.google.com/spreadsheets/d/1zs0p_ppP2On4YF5-S9hJ9ZiipQAGtWRNWjmxI2hu0gg/edit?usp=sharing]] ~ ~ ~ ~ ~ ~ #hr [[21_Matsushima]]に戻る
タイムスタンプを変更しない
* 研究の概要 [#w6de4ca1] （一番簡単に研究のことを自己紹介できるまとめ場所。このテキストはコピーした先では書かなくてOK） ~ ~ 恐怖感情が喚起される映像作品を分析して、その映像のどういった部分に反応しているのか、またどうアレンジすればより恐怖感を得られるかについて研究したい ** 研究タイトル [#j4132eea] （最も伝わりやすい研究の魅力の詰まった５０字以内のタイトル。） ~ ~ 生理計測を用いた恐怖映像視聴時の被験者の感情分析とその映像の特徴の分析~ →生理計測を用いて被験者の心理状態によって出力が変化するARお化け屋敷の開発 **研究キーワード [#pfe3873a] （研究の特色の伝わるキーワード。６〜１０くらい） -感情分析 --それに関係する追加キーワード -表情認識 --それに関係する追加キーワード -脳波計測 -機械学習 -恐怖 -不安 **研究は何を目指すものか（目標） [#o293498d] 真に人間の根幹に迫るホラー作品を追求する **この研究がうまくいけば何が実現するのか（将来、可能性、応用など） [#if72b70f] 前人未踏のまったくあたらしいホラー作品が生まれる **この研究の新規性・新奇性 [#j560a5f5] 恐怖映像の特徴の分析はこれまでの行われていないため、この研究が初めての試みとなる **この研究の有用性 [#v4581b34] エンターテイメント作品の制作において視聴者に恐怖感を喚起させるものを作りたいと考えた際に、機械学習を用いて定量的な分析を試みたこの研究は参考になると思われる **目指すシステムの形（どういう入力でどういう出力があるか。何ができるか。） [#g862eeab] **システムのターゲットユーザ [#wd1e2254] 娯楽のための映像作品の制作者 **システムの活用シーン [#iddfed73] 娯楽のための映像作品を制作するシーン **冬休み課題について [#j8e03772] 時計を作る課題：https://openprocessing.org/sketch/1064702 自分の興味分野に関連して何か作る課題についてですが、Processingを使って建物を3Dモデルで作ろうとしました。P3Dという描画エンジンを使うかOpenGLというライブラリを使うと3Dモデルを作成できるということを調べ、後者に比べ前者は比較的単純なコードで表現できそうだったのでそちらを使用し作ろうとしました。しかし円柱を描くための関数がいくら調べても出てこず、それならばやはりOpenGLの方を使おうと思い調べてみましたが、これもまた球と直方体しか表現する関数がないようで、想定していた建物を描画するためには既存の関数を使わず、１から自分でコードを書かなければいけないことがわかりました。Processingについての文法知識も乏しく、プログラミングにも慣れておらず、以前難航しています。無理そうなら別のものを作ろうと思います。 **春休み課題について [#s7992e37] https://d.kuku.lu/c1b6d7971 https://d.kuku.lu/5e618fea1 Pythonを使ってYahooのトップページから新着記事のタイトルとURLを取得し、ファイルに書き出すプログラムを作成しました。研究テーマの方向性があまり定まっていないので、なるべく汎用性の高いスキルを身につけるためにスクレイピングの勉強をしました。 **スケルトン [#q89d626b] https://docs.google.com/document/d/1zlwEHxLo_k3nH6YA4z3fsm8E7sQTA-5SJxDfgO_k69c/edit?usp=sharing **実験計画書 [#mcb3fc92] https://docs.google.com/document/d/1HfmKP3GlyMcu1vBHzPpJzuaUAbO9SN1i634pssuMi0I/edit?usp=sharing *技術動向 [#za0515fd] Emotion API: Microsoft社が開発している感情分析のためのAPI。人の顔が写された画像を取り込むと、その表情から平常状態、怒り、軽蔑、嫌気、恐怖、幸福、悲しみ、驚きの8種類の感情のスコアをそれぞれ出力する。 ~ ~ Open CV: 画像処理・画像解析および機械学習等の機能を持ったライブラリ ~ ~ scikit-learn:機械学習のアルゴリズムがたくさん入ったライブラリ。チートシートに沿って適切なアルゴリズムを容易に選択できる。 * 研究トピック（議題）整頓 [#wc86f10c] （概要よりももう少し詳しく、いくつかのトピックを箇条書きして、たまに書き直す部分。このテキストはコピーした先では書かなくてOK） * 研究ノート [#l209c850] （自分が日々とる、ゼミのログ、ランチミーティングで気になったことのメモなどを書く。このテキストはコピーした先では書かなくてOK）~ 不気味の谷 ~ 一人で見るか複数人で見るか ~ 計測する要素:明度、声の抑揚、セリフの言葉遣い、効果音、映像の演出 どういう恐怖か~ 予感的な恐怖、パニック、予感の辻褄が合った時の恐怖~ 自律神経過多 パニックは恐怖じゃなくて交感神経が働いただけの興奮状態とも言える~ 国による恐怖感の違い~ 悲観的な人は恐怖を予期しやすい？~ 個人のレベルに合わせた恐怖感~ 身体情動モデル 体の変化が心に影響を与える~ ソマティックマーカー仮設~ 近接学~ 神経密度 神経マップ~ 社会的脳の発達~ Gaze Aversion~ 嫌なものからは感覚器の向きをずらして刺激を避ける~ 内受容感覚を意識すると精神の状態が良くなる~ ~ ARお化け屋敷 恐怖 同じ建物で違うコンテンツ~ DeepFace 感情値のみに絞ると1秒に1回以上~ 心電図 交感神経 計算~ 視覚だけでなく音も合わせて温度~ 指向性スピーカー~ リサーチクエスチョン~ ~ RQ:観客により大きい恐怖感を与えるARお化け屋敷~ 仮説:湿度の変化、音量の大きさが恐怖心に影響するのではないか~ x1:湿度の大きさ → y1:恐怖感 y2:不気味さ~ x2:音量の大きさ → y3:緊張感 y4:迫力~ ~ 制御パラメータ：お化けの発生頻度△、暗さ○、音の急激な変化△、不穏な音の継続○~ 怖さの種類：日本のホラー、不気味さ、不安~ ~ お化けがみえるまでの引っ張る時間、暗さ、音~ ~ デバイス心拍(神牧さんのものの逆利用、不自然な心拍)~ ~ 入力：その人の恐怖（心拍、表情）~ 出力：引っ張る時間、暗さ、音、デバイス心拍~ ~ *プレプレ卒論 [#l1d9e767] 1. 概要~ 生理計測を用いた恐怖映像視聴時の被験者の感情分析とその映像の特徴の分析を試みている。この研究は人間の持つ恐怖心を工学的に分析することを目標としており、これにより、恐怖を題材にしたエンターテイメント作品を作る際により臨場感のあるものを制作できるようになると思われる。今学期行ったのは、表情認識を使った感情の分析で、静止画像については表情認識に成功したが、カメラを通したリアルタイムでの感情分析についてはまだ上手くいっていないため、今後はこれを成功させること、また表情認識以外の感情分析について模索していきたいと考えている。~ ~ 2. 背景~ 研究の目標の一つである、恐怖映像の特徴の分析については関連した研究は他に行われていないため、恐怖心の推計を行った研究について記述する。一つ行われているのは、VR映像視聴時の恐怖心の動きを脳波計で計測した研究である。恐怖心を誘発する映像をVRゴーグルを装着し視聴しながら脳波計を利用し、得られた脳波の周波数成分から２種類の特徴量を用いてSVM(Support Vector Machine)を適用し恐怖心を推計するという研究が行われている。また、仮想空間内のCGエージェントが恐怖映像視聴時に感情に与える影響についての研究も行われている。この研究ではVR空間内のCGエージェントを配置し、被験者に仮想ディスプレイにうつされる恐怖映像を視聴させたときに、そのCGエージェントが存在することによって感情にどのような差異が生まれるのかを検証した研究である。一つ目の研究から分かったのは、脳波計を用いて恐怖感情を推計する手法は未だ開拓途中であり、現段階ではそれほど高い精度は期待できないということである。二つ目の研究から分かったのは、恐怖心を和らげるための研究は盛んに行われているが、恐怖心を喚起させたり、あるいはさらに増幅させるための研究はほとんど行われていないということである。恐怖心の推計を行った研究も数が少なく、恐怖映像の特徴を分析する研究に至っては関連した先行研究が他にまったく見当たらない。そのため、研究の方向性を定めることについては困難な点が多くあるが、そのぶん研究の新奇性については、先人が思いつきはしたものの価値がなかったため誰も行わなかった、ということでない場合であれば、非常に価値のあるものであると思われる。~ ~ 3. 提案システム~ 本研究は、被験者に恐怖映像を視聴させ、その間の被験者の恐怖心の動きを計測し記録するというものである。研究の最終目的はその視聴させた映像のどういった特徴により恐怖を感じたか、その特徴を分析するというものであるが、これに類した先行研究は他に行われていない。また、感情分析の手法については、表情認識、生理計測などさまざまな手法を試みて、総合的に分析することを考えている。脳波計を用いた推定は行われているが、これは精度がまだ発展途上のため、他の手法を利用する。~ ~ 4. 提案方法~ 表情分析については、Web APIを利用し、PCに接続されたWEBカメラから取得した被験者の表情から、恐怖感情の数値を推定する。生理計測については皮膚電位を測るセンサをArduinoを用いて制作することを考えている。そうして得られた恐怖感情の数値を、折れ線グラフに描写するプログラムを設計する。用意したディスプレイで恐怖映像を流す間、被験者の正面にカメラを設置し、皮膚電位センサを装着した状態で映像を視聴させるといった形になる。 5. 提案システムの今後の課題 表情分析の際に使用するAPIについては、fpsや研究利用に際してのセキュリティ面での安全性を考えたときにまだ最適なものを見つけかねている状態である。また生理計測に利用するセンサの制作についてはまだまったく手をつけていない。さらに、感情分析に複数の手法を用いる際、どのようにして総合的に分析するのか（もっとも精度が高いと思われるものを採用するか、または複数のものを合わせて利用できる式を考えるのか）についてまだ未定である。~ ~ 6. 研究の展望~ どういった演出を施せばより恐怖感を煽れるのかがわかると同時に、経験的に積み上げていくだけでは思いつかなかったような、全く新しい演出が見つかる可能性もあるため、エンターテイメント向けの映像作品の制作者にとってたいへん有用な研究となると思われる。この研究のテーマを思いついたきっかけとなったのは伊藤計劃の『虐殺器官』という小説で、これは言葉に含まれる一定の文法が虐殺を引き起こすことを描いたSF小説であるが、このように、無意識下に刷り込まれたものによって人間の感情を操作するようなもの、無意識下で恐怖心に作用するような文法を見つけたいと考えている。~ ~ * 文献ノート [#k60eb404] （自分が日々読む、論文や書籍の記録を取る。[[GoogleDocsのSheets機能:http://sheets.google.com]]を活用し、閲覧可能にしておいてリンクをここに貼るのもOK。このテキストはコピーした先では書かなくてOK） |著者 |タイトル |発表場所や出版社 |掲載ページ 23〜56など（もしくは全体ページ数） |発行年| 内容の簡潔なまとめ| 内容の詳細メモ| 自分の研究との関連性のメモ| |高井菜々子 宮下芳明 |仮想空間内の CG エージェントが恐怖映像視聴時の感情に 与える影響 |情報処理学会インタラクション2017 |135~140 |2017| 内容の簡潔なまとめ| 内容の詳細メモ| 自分の研究との関連性のメモ| |徳久悟 稲蔭正彦 |エンタテイメントシステムにおける楽しさをデザインするためのインタラクションモデルに関する考察 |情報処理学会論文誌vol.48 |1097~1112 |2007| 内容の簡潔なまとめ| 内容の詳細メモ| 自分の研究との関連性のメモ| |森貞ほか |脳波計を使用したVR映像が誘発する恐怖心の推定の試み |情報処理学会82回全国大会 |4-573~4-574 |2020| 内容の簡潔なまとめ| 内容の詳細メモ| 自分の研究との関連性のメモ| ~ [[スプレッドシートのリンク:https://docs.google.com/spreadsheets/d/1zs0p_ppP2On4YF5-S9hJ9ZiipQAGtWRNWjmxI2hu0gg/edit?usp=sharing]] ~ ~ ~ ~ ~ ~ #hr [[21_Matsushima]]に戻る
テキスト整形のルールを表示する
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
