![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
#author("2022-05-26T13:25:06+09:00","","") #author("2022-05-26T15:42:45+09:00","","") * 研究の概要 [#w6de4ca1] オンラインでの会話の際に、発言に対する意欲を表情や発話の予備動作から測定し、意欲に応じたスピードで自分の手の分身が中央の発言ボタンに向かって伸びていく。また、発言の回数（ボタンを押した回数）が多いと赤くなり、少ないと透明になることで、発言の抑制、促進を行う。 ** 研究タイトル [#j4132eea] オンラインコミュニケーションにおけるスムーズな話者交代の実現及び、全員の会話への参加の促進。 **研究キーワード [#pfe3873a] -遠隔コミュニケーション --テレワーク、オンライン授業 -話者交代 --発話衝突低減 -表情、動体、傾き検出 -会話への参加度 -発言の促進、抑制 - **研究は何を目指すものか（目標） [#o293498d] 円滑なオンラインコミュニケーションの実現を目指し、なるべく会話の参加者全員が自分の意見を言える環境を作る。 **この研究がうまくいけば何が実現するのか（将来、可能性、応用など） [#if72b70f] 発言したかったが、タイミングを逃してしまい、言えなかったという事態を防ぐことが可能になり、活発な議論を生む。 **この研究の新規性・新奇性 [#j560a5f5] オンラインでの発話衝突低減を目指した研究は存在するが、今回は自分の手が伸びるという演出を行うため、自分から発言をしにいくとあう主体性があるように思わせる点や、発言回数を可視化することで、発言の促進や抑制を行う点に新規性があると考える。 **この研究の有用性 [#v4581b34] オンラインでのコミュニケーションでは会話のテンポがつかみにくいため、システムで発言をするキッカケを作ることで円滑なコミュニケーションを実現する。 **目指すシステムの形（どういう入力でどういう出力があるか。何ができるか。） [#g862eeab] カメラから顔表情や会話の予備動作（遠隔会議における発話衝突低減手法を参照）から発言への意欲を入力し、意欲に応じたスピードで発言権を付与する。 **システムのターゲットユーザ [#wd1e2254] ３人以上の複数人での会話をオンラインで行う人全般。現在想定しているのは、ある程度、お互いを知っている人同士のグループ。 **システムの活用シーン [#iddfed73] 日常会話や、グループでのディスカッション、会議など。 * 研究トピック（議題）整頓 [#wc86f10c] （概要よりももう少し詳しく、いくつかのトピックを箇条書きして、たまに書き直す部分。このテキストはコピーした先では書かなくてOK） *冬課題 [#ccecdeba] スペースキーを自分の心拍に合わせて押してもらうことで心拍数のデータを取得し、心拍間隔と平均心拍間隔をコンソールに出力するプログラムを作りました。 https://openprocessing.org/sketch/1167368 *春課題 [#v58dc7d6] 冬課題のプログラムに手を加え、押したときに波紋が広がるようにしました。また、心拍間隔が短いと波紋がオレンジになり、長いと青くなるようにしました。本当は集めたデータをフーリエ変換し、自律神経の状態を測りたかったのですが、そこまでできませんでした。 https://openprocessing.org/sketch/1167377 * 研究ノート [#l209c850] **ソフトウェア調査 [#wad07f32] ・Processing : ビジュアルデザインが行いやすいソフト。JavaをベースにしているためJavaの知識があるとコードが非常に書きやすい。ライブラリを用いることで様々なことができる。画像処理用ライブラリOpenCVは今後使う可能性あり。&br; ・OpenCV : インテルが開発した画像処理・画像解析・機械学習等の機能を持つオープンソースライブラリ。C,C++,Java,Python等で使用可能。 &br; ・face api : Microsoft Azureが提供している顔認識ソフトウェア。画像から感情を分析することができる。 &br; ・face-api.js : 顔や顔のランドマークを検出・認識できるJavaScriptモジュール。TensorFlow.jsを利用する。GitHubからダウンロードできる。 &br; ・OpenFace ： 顔検出、ランドマーク検出、頭の姿勢推定、表情変化の認識、視線推定などをリアルタイムで行えるもの。顔の動作を計測することで表情を分析する。 ・TensorFlow : Google が開発した機械学習のソフトウェアライブラリ。iOSやAndoroidなどの環境でも動作するため分散学習が行える。ビッグデータも扱うことができる。高いハードウェアの性能が要求される。 Python,C言語,C++で使用できる。 ・Node.js : JavaScriptはブラウザで動作するが、Node.jsはサーバーで動作させるサーバーサイドやデスクトップで活用できる、、らしいのだがいまいちどちらがどう良いのかは不明。face-api.jsを検索する過程ででてきた言葉。face-api.jsのサイトはそれほど多くないためゼミの先輩や先生に尋ねてみるのも一つの手段。 &br; ・GitHub : 世界中の人が自分のプログラムやコードを保存し公開できるウェブサービス。 &br; * 文献ノート [#k60eb404] 過去の卒業論文&br; ・2019年 細川直樹「ユーザの性格特性に応じた改善要求を行うエージェントの一提案」&br; http://www.res.kutc.kansai-u.ac.jp/~yone/research/pdf_graduate_thesis/202003g_HOSOKAWA_Naoki.pdf&br; ・2018年 宮内剛「授業環境下の非積極的参加生への聴覚触覚刺激による誘目手法の検討」&br; http://www.res.kutc.kansai-u.ac.jp/~yone/research/pdf_graduate_thesis/201803g_MIYAUCHI_Tsuyoshi.pdf &br; ・2014年 藤原邦彦「幹事やマネージャーとなる集団内エージェントの適切な態度の表出のための内部状態モデルの設計」&br; http://www.res.kutc.kansai-u.ac.jp/~yone/research/pdf_graduate_thesis/201503g_FUJIWARA_Kunihiko.pdf &br; 参考になる論文 &br; ・遠隔会議における発話衝突低減手法 &br; ・座席配置替えが遠隔ビデオコミュニケーションに及ぼす影響について &br; ・注視情報の提示が話者交代に与える影響の実験的検証 &br; https://www.jstage.jst.go.jp/article/jsmemecj/2017/0/2017_G1600106/_article/-char/ja https://docs.google.com/spreadsheets/d/1Bp_19fB6kGLvtn9NXBQGCLR9J3sXtBkLnEcn8KBLOp4/edit *実験計画書 [#q5d16104] https://docs.google.com/document/d/10H_EKkivP2jm5SookhUKBK88XCE1hy_RY8wF6QoyTMc/edit *ゼミログ [#v2f6f1cb] https://docs.google.com/document/d/1UZtEMXLA-Y44e0C2_pwE1zHFm9dien3S/edit ~ ~ ~ ~ ~ ~ #hr [[21_Sample]]に戻る
