21_Moriyama_Note の履歴(No.20)

プログラミングツールおすすめリスト (随時検索していく)
processing（画像と簡単な音も扱える基本的プログラム。課題はここで）
arduino（電子工作プログラミング。）
pd-extended （音楽プログラミング・音。簡単）
python（長期的に便利）
ARToolkit（プログラミングツールというより上記と組み合わせて使う）
Face++ (顔表情や顔向きなどが取れる)
OpenPose (人の姿勢や位置がとれる)
音声合成認識系　Kaldi http://kaldi-asr.org/doc/index.html
日本語音声認識　Julius
他にも、カメラから視線を取るためのライブラリなどあります。yonelabo slackの#eye-tracking参照。
デバイスおすすめリスト
kinect（距離測カメラ＋人間の体や顔の位置を把握できる）
microsoft realsense （kinectに類似）
leap（距離測測カメラ＋手の位置を図って細かに計測できる）
arduino（上のarduinoプログラミングソフトとセットで利用、電子工作）
脳波計（難易度普通）
視線計測装置（難易度高い）
HMD（オキュラス，持ち出し不可）
Vive eye pro (HMD+視線検出）

FaceAPI:表情から感情分析、機械学習で画像を取り込む。1000画像*30000トランザクション/月　無料
sckit-learn:機械学習のPythonライブラリ
face API.js 顔のランドマーク変位　(梅田さんの研究で使用？)
NTT Troom エヴァンゲリオンの会議
ラボット:オフィスコミュニケーション
Captive Neuro lab:解析を総合的に扱える
ActionUnitについて
サイト名:iMotions-
URL:https://imotions.com/blog/facial-action-coding-system/
・メインアクションユニット：顔の筋肉
・頭の動きのアクションユニット：頭の動き
・眼球運動アクションユニット：目の向き
アクションユニットの組み合わせから感情も取ることができる。
FACS分析：感情がどれだけ強く表示されるかを測定する強度の尺度で評価

PDF:顔の特徴点を用いた表情解析システム白井研究室 T214070　前田高志
URL:https://slidesplayer.net/slide/16628890/

Tobiiについて
サイト名:Tobii Pro SDK(視線データ分析アプリ)
URL:https://www.tobiipro.com/ja/product-listing/tobii-pro-sdk/
・.NET Python Matlab C Unity言語等で利用可能

Tobiiでアイトラッキングの実装方法

サイト名:Tobii Eye Trackerを利用した視線の認識 | mLAB
URL:https://mukai-lab.info/pages/tech/eyetracker/eyetracker1/

サイト名:アイトラッカー(Tobii. Pupil Invisible用)解析ソフト「NeuroLab」 | IMU センサー福祉機器ものづくりのクレアクト
URL:https://www.creact.co.jp/item/measure/neuro/neurolab/neurolab_top

・アイトラッカーからの視線情報、皮膚電位による覚醒度、カメラ画像からの表情分析、脳波計による脳波活動を、1つのソフトウェアで同期計測し、総合的な解析を可能にしたプラットフォーム「CAPTIVE NeuroLab」

張さんが睡眠快適化誘導のようなものをやってる
サイト名:脳波の手習いシリーズ
URL:https://naraamt.or.jp/Academic/kensyuukai/2005/kirei/nouha_normal/nouha_normal.html
内容:様々な脳波を紹介している。

恐怖に関して論文
title:Evaluations of Involuntary Cross-modal Expressions on the Skin of a Communication Robot
著者:Xiaoshun Meng, Naoto Yoshida and Tomoko Yonezawa
URL:http://www.res.kutc.kansai-u.ac.jp/~yone/research/pdf_folder_private/201510URAI_meng.pdf

title:仮想空間内の CG エージェントが恐怖映像視聴時の感情に与える影響
著者:高井菜々子宮下芳明
URL:http://www.interaction-ipsj.org/proceedings/2017/data/pdf/1-6F-07.pdf

title:生命維持にかかわる生理現象を介した人間–ロボットのコミュニケーションと身体情動モデルの設計
著者:吉田直人
URL:file:///C:/Users/user/Downloads/KU-0010-20180331-10.pdf

title:The Behavior Markup Language: Recent Developments and Challenges
著者:Hannes VilhjálmssonNathan CantelmoJustine CassellNicolas E. ChafaiMichael KippStefan KoppMaurizio ManciniStacy MarsellaAndrew N. MarshallCatherine PelachaudZsofi RuttkayKristinn R. ThórissonHerwin van WelbergenRick J. van der Werf
URL:https://link.springer.com/chapter/10.1007/978-3-540-74997-4_10

title:会話システムのアーキテクチャと構成法著者:西田豊明 URL:https://www.ii.ist.i.kyoto-u.ac.jp/wordpress/wp-content/uploads/2012/10/ci-pub-2013-4c.pdf

title:映像品質評価法 – 1.映像品質の主観評価法_1.5.代表的な主観評価法_(1)ACR法 (Absolute Category Rating) 著者:NTT URL:https://www.rd.ntt/nt/qos/technology/visual/01_5_1.html

title:Toward Representing Agent Behaviors Modified by Personality and Emotion
著者:Jan Allbeck and Norman Badler Center for Human Modeling and Simulation Computer and Information Science University of Pennsylvania
URL:file:///E:/%E3%82%BC%E3%83%9F/pdf/Toward%20Representing%20Agent%20Behaviors%20Modified%20....pdf

title:脳と身体の予測的符号化とその不全 ―守谷・国里・杉浦論文へのコメント―
著者:大平英樹
URL:https://www.jstage.jst.go.jp/article/sjpr/62/1/62_132/_pdf/-char/ja

title:「夢をコントロール」する有効な方法が判明：研究結果 | WIRED.jp
著者:アキヤマサナエ URL:https://wired.jp/2017/11/10/lucid-dream/

米澤先生のお言葉「いろんな生体情報と行動計測や主観評価などがある中で、どういう実験では何を計測したらいいかわかる様なものってないかなーと思っています。
そして、各計測データの
・信頼性
・重み付け
がそれぞれ出てくると面白いと思っています。
重み付けとは：　主観評価での評価が５０％、生体情報が１０％、行動計測が４０％とか。
例えば、音楽聴取時の感情変動をとるには、主観評価４０％とか生体情報６０％とかかもしれません。
これを知るためには、過去の文献を検索し、それを分析することで、集計し、どのくらいの研究で何を使ったかというデータが得られます。
また、数値の差の大きさ（平均の差）や、安定度（分散）を見ます。
MOS(平均オピニオン評点)だと5段階だとほぼ数値的に信頼度が下がってしまうけど7段階ならいけるとか、
生理計測は心電だとこのくらい細かな情報だけど、脳波はこのくらいブレてしまう、、とか。
これも結構ちゃんと調べてまとめつつ、実際に計測尺度を比較する実験などを行うと良かったりします！！
このへんはかんまきくんにもめちゃ関係あるね

→生体情報、行動計測、主観評価の重みづけの違いによる信頼性を追求

発想法

発散的フェイズ
- 沢山案を出す
収束的フェイズ
- AかBならBと選択肢を絞る

KJ法(ゴールを決めない)

視覚化(キーワードをたくさん上げる)→グループ化

＋ブレスト
- 否定しない
- 奇抜な発想もあり
- 参加者の様々な視点

MindMap
- 中心にメインテーマ
- つながりがないところをつなげてみる。

2021/06/03 ポスター発表　助言
- 身体刺激→脳を活性化させる。落ち込んでいる→不活化状態(ストレスを受けつけない状態化)　この状態のときに身体刺激を送ることによって神経を集中させて悩みやネガティブ感情を薄める。(タッピング療法)
  脳への刺激量と質のシミュレーションモデルを確立する。（脳内、触り方の隠れパラメータを探る）
  ツボ押し、梅干しの種ｸﾞﾘｸﾞﾘ：強さや周期、温度等のパラメータを設定　人によって良いと感じる刺激は異なる。（お灸とツボ押しの違いは主体があるかどうか）
  身体情動モデル：体の状態⇔情動（目が濡れている→悲しいカモ）
  ソマティックマーカ仮説:意思決定に具合が悪い、調子が良いという状態が反映される。
  肩、手先→友人OK　お腹→親OK　性的→恋人OK　パーソナルスペースが関係性によって異なる。
  試作品は棒でツボを押す等でよい。（てこの原理　小さな力で大きな力を作る | からくりすと http://karakurist.jp/?p=1819）

語尾、表情、口角これらにギャップがあると真実味を損なう。

マッサージ＆ツボ押し
・刺激の種類（周期、強さ、感触）
・ものづくりの知識
・ラズベリーパイ

感情分析
・生理計測
・感情心理学
・視線
・心拍
・脳波
　・HOT2000について（使用した研究あり）:https://neu-brains.co.jp/solution/nirs/hot-2000/ ・皮膚電位＋発汗(ストレス計測)
　・SPN2000について：http://www.skinos.co.jp/product/product03/ ・脈血流
・怒り
・ストレス
title:ストレス評価のための感情による生理反応に関する研究
URL:https://kyutech.repo.nii.ac.jp/?action=repository_action_common_download&item_id=3623&item_no=1&attribute_id=16&file_no=1

物理的ストレッサー(Noise、Viblation)
化学的テキストレッサー(Exhaust gas, Smoke exhaust)
生物的ストレッサー(Virus, Bacteria)
心理的ストレッサー(anger, Anxiety)
stresser　+　Personality/environment　→　emotional　+　Chronic disease/Age/Gender　→　 Physiological reaction
緊張(distress) ← 心地よい感情(Comfortable)　　⇒　　適度なストレッサーとなり活動エネルギーを与えるユーストレス(eustress)に
心地よい感情は人の置かれている状況によって異なるので、Physiological reactionの計測によってよりよく感じる箇所を更新し続ける。

・悲しみ

プロトタイプ
生体情報→①感情の種類・度合い/刺激→②表の作成→③刺激の実行→(④反応を検知・適切な表の更新)　←　ループ

触る箇所→反応→学習

title:プルチックの感情の輪｜人間の感情は色で分類すると関連性がわかる？ - Web活用術。 URL:https://swingroot.com/plutchik-emotion/

プルチックの感情の輪
- 攻撃(aggressiveness)
- 警戒(vigilance) > 期待(anticipation) > 関心(interest)
  - 楽観(optimism)
- 恍惚(ecstasy) > 喜び(joy) > 平穏(serenity)
  - 愛(love)
- 敬愛(adoration) > 信頼(trust) > 容認(acceptance)
  - 服従(submission)
- 恐怖(terror) > 恐れ(fear) > 不安(apprehension)
  - 畏怖(awe)
- 驚嘆(amazement) > 驚き(surprise) > 放心(distraction)
  - 拒絶(disapproval)
- 悲嘆(grief) > 悲しみ(sadness) > 哀愁(pensiveness)
  - 後悔(remorse)
- 強い嫌悪(loathing) > 嫌悪(disgust) > うんざい(boredom)
  - 軽蔑(contempt)
- 激怒(rage) > 怒り(anger) > 苛立ち(annoyance)
  - 攻撃(aggressiveness)

夏休み　水曜日10:30- 院生ＭＴＧ
　　　　　　　12:10- ランチミーティング
　　　　金曜日12:10- ランチミーティング

夏課題　→　プロトタイプ　+　α

prototype
刺激マップを作る。
機械学習で評価モデルを作成する
整理計測を追加していく

→8月末にデモ大会（院の中で）

4年生ゼミ
実験プロセス

比較する条件(仮説)
実験システム・コンテンツ＋順序考査の計画(カウンタバランス)
- ラテン方格法
  - 実施順パターンを決定
  - 6条件ならば何人の被験者が必要か(人数の倍数)
同意書
アンケートの準備

Arduino(C/C++) → pySerial → python

コンデンサは直流を通さず交流のみ通す→ノイズ低減

モータ　-　モータドライバ　-　ラズベリーパイ (そのままつなぐとパワーが足りなすぎる。)

PWM(Pulse Width Modulation)で回転を制御する。
ONとOFFの比で、ONが多いほど早くなる。

↑

夏プレプレ卒論~†

【概要】
・人間の生体情報から学習し、負の感情やストレスを緩和する最大限の身体刺激位置、強度を探索しながらマッサージやツボ押し等でアプローチを行う。
・人間の感じる負のストレスをマッサージやツボ押し等で少しでも軽減させる。
・感情の起伏が穏やかにさせることで、争いが起こりづらくなる。
・実現化のためのプロセスを粗方説明できるようなプログラムの作成。音声処理とスペクトル分析。カメラによる画像取り込み。強化学習を組み込んでいくにあたってのQ学習、DeepQNetwork(ＤＱＮ)の理解。Q学習を適応させるためのパラメータの設定。
・表情認識を元に強化学習を行い、必要な刺激を求める。

【背景】
昨今の日本社会では、縦社会という構造や、コロナ禍によりストレスを抱え、自殺や鬱病を患ってしまう人間が非常に多くなっているという現状がある。人間の生理情報というのは人間が意図して変化させることは難しく、緊張すると発汗や鼓動が早くなり、眠いと瞼が重くなり、お腹がすくと唾液の分泌量が増える。これは障害の有無に関係なく誰しも人間全員に当てはまるので、これらを利活用したシステムというのはユニバーサルなもので、幅広く活用することが可能である。そこで、そういった生体パラメータに焦点を当ててたシステムの開発、幅広い人のストレスを緩和、プレゼンテーションが苦手な日本の国民性に合った精神ケアが可能なシステムの開発を目指す。

【関連研究】
・ユーザの抱きしめ動作に基づき関係性が変動する糸駆動ぬいぐるみロボット, Natsumi Murakami, http://www.res.kutc.kansai-u.ac.jp/~yone/research/pdf_graduate_thesis/202103g_MURAKAMI_Natsumi.pdf
　・ロボットとの物理的接触によるインタラクションを行い、精神状態の改善を目指す。

・Haptic interaction design for physical contact between a wearable robot and the user, Hirotake Yamazoe, Tomoko Yonezawa, http://www.res.kutc.kansai-u.ac.jp/~yone/research/pdf_folder_private/201707HCII.pdf
　・ロボットと人との様々な物理的インタラクション方法の考察。

・視覚・触覚提示による接触存在感を用いた高齢者睡眠支援エージェントの効果, Yaze Zhang, Xin Wan, Tomoko Yonezawa, http://www.res.kutc.kansai-u.ac.jp/~yone/research/pdf_folder_private/202009IPSJKansai_zhang.pdf
　・物理的接触が睡眠時の身体状態へどう影響するかの考察。

・心電計測に基づく急激な身体感情状態の変化の推定とフィードバックの検討, Naoki Kanmaki, Tomoko Yonezawa, https://drive.google.com/file/d/1JKjpxSqPBFVfVC2sioMrZOHAXuzLahxD/view| 　・心電計測で人間の生体情報を分析する。

上3つは物理的接触によるインタラクションの考察という点で類似していて、4つ目は生理計測のうち心電というパラメータの考察という点で類似している。

【提案システム】
私の研究の特徴は、マッサージやツボ押しという身体への物理的刺激アプローチを、心電や、脳波、発汗等々の生理反応によって評価を行い、より評価の高い刺激位置や強さを散策し、改善、更新していくことで、ユーザにあったストレス改善システムへと成長していくというものである。取得する情報は、ユニバーサルな情報であるので、誰でも使用することができ、刺激位置の感じ方はユーザによって異なるという点を学習によって補っていくという点が特徴的である。

【提案方法】
入力 : 脳波、発汗、表情、心拍
出力 : マッサージ、ツボ押し(物理的刺激)
・使用ツール、ソフト

	OpenBCI(生体信号測定)~
	Python(学習や画像認識等ライブラリが豊富)~

・使用ハード

	Raspberry Pi(生理情報を元に選ばれた物理刺激を判断し、皮膚へアウトプットするための基盤)~
	SPN-01(皮膚電位を計測するため)~

Webカメラ(表情を認識するため)
脳波計(脳波を計測するため)

・見た目

	棒が皮膚に触れていて、生理計測デバイスや表情を観察するカメラによって取得された情報をRaspberryPi内で処理し、そこからの指示を基に棒が皮膚を刺激するように動く。~

【提案手法などの図表・写真】

【提案システムの今後の課題】
・まだ完成していない点

	・生理情報(脳波、表情、心拍、発汗)を扱いやすいデータに処理する。~
	・RaspbberyPiを使用した物理刺激を行うデバイスの作成~
	・学習によってデータを区別する。~

・これから変更していくべき点
・入力データが多いのでうまく扱えない可能性があり、データを上手く選択していく必要がある。
・物理刺激を行う方法に関して、影響の現れやすい方法に関しても考察していく必要がある。

【研究の展望】
・想定シーン
・緊張で何も考えられなくなってしまうプレゼンテーションで、上がってしまう人の緊張を緩和することができる。
・ゲーム中に負け続けてしまい、頭に血が上ってしまいストレスを抱えてしまうとき。
・DVやいじめで毎日辛い人。
・夜の気持ちが沈む時間帯
・これからやりたいこと
学習を上手く行いたいと思い試行錯誤を行っていたが、インプット用のデータを扱えるようになってからの方が効率が良いのではないかと感じたので、まず初めに表情データから扱いやすいデータに変換してから行おうと思う。

論文調査 title:低周波漸増型装置を用いた居眠り運転防止システム URL:https://www.ieice.org/publications/conference-FIT-DVDs/FIT2008/pdf/M/M_055.pdf

title:健康な女子大学生における生理的及び心理的側面に及ぼすタイマッサージの効果 URL:https://yamanashi.repo.nii.ac.jp/?action=repository_uri&item_id=3636&file_id=31&file_no=1

title:1.在宅ケアにおける家族介護者のストレス分析と支援システムの設計山本勝,三輪政樹,永井昌寛生産システム工学科 (1995年9月1日受理) URL:https://nitech.repo.nii.ac.jp/?action=repository_action_common_download&item_id=2162&item_no=1&attribute_id=12&file_no=1

title:2. 触角刺激の心理・生理データ計測とフィードバックに関する基礎研究吉村隆彦,澤井政宏,久保洋 (2009-03) URL:https://muroran-it.repo.nii.ac.jp/?action=repository_action_common_download&item_id=5274&item_no=1&attribute_id=24&file_no=1

title:3. 生理量フィードバックマッサーシ手法の開発藤原義久,冷水一也,堀邦彦,菊本誠,源野広和,安田昌司,久米正夫,高馬俊樹三洋電機株式会社メカトロニクス研究所三洋電機株式会社ホームアプライアンスカンパニー回 URL:https://www.jstage.jst.go.jp/article/jje1965/37/Supplement/37_Supplement_502/_pdf/-char/ja

title:4.セルフマッサージによる心理・生理的効果互恵子,両角亮子,吉田倫幸 URL:https://www.jstage.jst.go.jp/article/sccj1979/25/1/25_1_9/_pdf/-char/ja

title:5.健康な成人女性に対するハンドマッサージの生理的・心理的反応の検討大川百合子東サトエ URL:https://miyazaki-u.repo.nii.ac.jp/?action=repository_uri&item_id=3797&file_id=22&file_no=1

title:6.鍼刺激効果の多元生体情報による一評価法福元剛智,田中治雄,加納慎一郎,大庭茂男,二見亮弘星宮望佐々木和郎 URL:https://www.jstage.jst.go.jp/article/jsmbe1963/38/3/38_3_251/_pdf/-char/ja

title:7.足浴・指圧の生理的効果 : 皮膚表面温度と心拍変動による評価齋野貴史 URL:https://core.ac.uk/download/pdf/67693018.pdf

title:8.ストレス評価のための感情による生理反応に関する研究曽我知絵 URL:https://core.ac.uk/download/pdf/147425461.pdf

title:9.手指への指圧によるリラクゼーション効果の検討田村幸恵,鈴木玲子 URL:https://www.jstage.jst.go.jp/article/spujhcs/3/0/3_39/_pdf/-char/ja

title:10.低周波漸増型装置を用いた居眠り運転防止システムの研究足立智也,宮地泰造 URL:https://www.ieice.org/publications/conference-FIT-DVDs/FIT2008/pdf/M/M_055.pdf

title:11.副交感神経活動度に基づく呼吸周期フィードバック制御によるリラクゼーション手法の研究中尾龍治 URL:https://chuo-u.repo.nii.ac.jp/?action=repository_action_common_download&item_id=7730&item_no=1&attribute_id=22&file_no=1

↑

文献ノート†

https://docs.google.com/spreadsheets/d/1uROQFAOmVg8hVta3Y1Rmh67VHIx89YMS-xuA4n_gyjc/edit?usp=sharing

21_Sampleに戻る