#author("2022-05-26T16:11:59+09:00","","")
#author("2022-05-26T16:12:40+09:00","","")
* 研究の概要 [#w6de4ca1]
看護・介護分野で患者等に働きかけるエージェント・ロボット~

** 研究計画書 [#kfad7574]
-[[研究計画書ver0.5>https://]]
-[[研究イメージ図>https://]]未掲載
-[[発表ppt>https://]]未掲載
-[[概要最終PDF>https://]]未掲載
-[[研究計画書ver0.5>https://docs.google.com/document/d/1N1KESaVz4gVxmBMyQk2_dZmoTyQM9f4w5lmT8v251L4/edit?usp=sharing]]
-[[研究イメージ図>https://]]※未掲載
-[[発表ppt>https://]]※未掲載
-[[概要最終PDF>https://]]※未掲載

** 実験計画書 [#m40c1dda]
-[[実験計画書Ver1>https://docs.google.com/document/d/1qt12r3ps_b2rQx2YVSaoTaF97xtj61yg/edit?usp=sharing&ouid=107866285149158114521&rtpof=true&sd=true]]
-[[実験計画書Ver2>https://docs.google.com/document/d/1qqU_Drzlwzo7GWRleLk6VLAdj0Wx4ULw/edit?usp=sharing&ouid=107866285149158114521&rtpof=true&sd=true]]

** 研究タイトル [#j4132eea]
入院病児に対するエージェント・ロボットによる痛み・苦しみ・悲しみ軽減の提案~

**研究キーワード [#pfe3873a]
（研究の特色の伝わるキーワード。６〜１０くらい）
-マルチモーダルインターフェイス
--音声・映像・言語・画像・その他
-生活・看護支援
--コミュニケーション・業務効率の向上
-メンタルヘルスケア
-深層学習
-IoT
-人間の心理

**研究は何を目指すものか（目標） [#o293498d]
入院病児が感じる痛みや辛さ、孤独感などに対してエージェンどを用いて寄り添うことで、心理的にプラスに働いたり、ネガティブな思考を減らすことができるのではないかと考える。ユーザの痛みや苦しみに反応してシステムが随時動作する。~

**この研究がうまくいけば何が実現するのか（将来、可能性、応用など） [#if72b70f]
看護師や介護士への負担軽減や、患者や要介護者のメンタルヘルスケア、コミュニケーションに困っている人への支援などの実現~

**この研究の新規性・新奇性 [#j560a5f5]
患者の痛みや悲しみに対して軽減をしようと試みるところ~

**この研究の有用性 [#v4581b34]
実際に入院病児の多くが、病気に関連した痛みや、孤独からくる悲しみ等を感じる機会が多々あると考え、それらを少しでも軽減するところ~

**目指すシステムの形（どういう入力でどういう出力があるか。何ができるか。） [#g862eeab]
[入力]顔表情(喜び・悲しみ・苦しみ)・声・呼吸・感情(寂しさ・孤独)~
[処理]システムでユーザの状況を判断・痛みや苦しみ度合いを測定し、エージェントのモデルに入力し、エージェントの感じた感情によって動作に変化を加える~
[出力]エージェントの顔・声・動作、ロボットの動作・自己開示など~

**システムのターゲットユーザ [#wd1e2254]
入院病児及びその親族
**システムの活用シーン [#iddfed73]
病院や福祉施設・訪問看護の家・終末医療など

**2020冬休み課題 [#gb7f4a62]
【時計作成】~
現在時刻をアナログ・デジタルの両方で表示してくれるプログラムになります~
https://www.openprocessing.org/sketch/1060522 ~
~
~
【簡単な顔認識プログラム】
OpenCVを利用し、簡単な顔認識のプログラムを作成しました~
カメラ上に顔が映り、OpenCVにて認識されると緑色の枠で囲うとても簡易的なプログラムになります。~
※カメラを使用する関係で、Openprocessing上では正常に起動しない可能性が高いです(自己PCの場合、OpenCVとVideoのプラグインが必要です)~
https://www.openprocessing.org/sketch/1060533

--どちらもよく頑張りました！！特にOpenCVの利用までこぎつけたのは素晴らしい。よねざわ

**2020春休み課題 [#n5df7ae8]
【音声認識 & テキスト化】~
Google の Speech-to-Text API を使った音声認識及び、テキスト化されるプログラムの作成を行いました ~
※基本的には、Google社の提供している通りに実施したので、厳密には作成というのか曖昧 ~
ローカル環境の設定及び、標準では英語の認識になっていたため、日本語に変更した程度になります ~
いくつかのサンプルデータを録音・使用すると、雑音や言語とは関係のない音により、正常に認識できないところもあり、実際に活用する際には、プログラムを通す前にノイズカットなどをする必要性を感じました。また、実際に使うとなると、ストリーミング入力になるので今後さらに模索していきたいです。~
実行例などはpptx資料に記載しています~

［pptx 資料・実行コマンド・JSONファイル・サンプル音声データ]~
https://kutc-my.sharepoint.com/:f:/g/personal/k806451_kansai-u_ac_jp/EolmR9S03dBJjSNpRTTHdAMBhrzkTx22VmSSafwQ-6fdZw?e=2yBk6x ~
※Onedrive にて共有しております~

[実行結果の例]~
#ref(実行結果.png,left,nowrap,添付ファイルの画像,65%)

[今後の研究テーマのイメージ]~
・顔認識や音声認識・自然言語処理を組み合わせた生活支援エージェントの作成？ARとの活用？~
・ただ、現状「これがしたい」といった研究テーマの決定が出来ていないのが正直なところです~
↓↓↓~
・機械学習の積極的な活用のための、Pythonの勉強~
・本課題を取り組むにあたって、CUI関係の知識不足を感じたのでそれの勉強~
・可能であれば、コンテスト等への取り組み~

**2021春休み課題 [#t49244c6]
・研究計画書の作成~
Docs Link : https://docs.google.com/document/d/1pXOWJ2XuexrT4iRKZkWcccd8znw095_l/edit?usp=sharing&ouid=107866285149158114521&rtpof=true&sd=true
~
~
・Tacotron2を用いた機械学習(転移学習)による、音声合成のサンプルの作成~
※最低100個程度のサンプルから、求める音声合成を作成可能であり親族との類似度などのデータによって調整することや、親しみを持ちやすい合成音声などを導き出したい~
音声Link :https://drive.google.com/drive/folders/179c_peTkJnYxsoaXNX_ROOTK9PBXtfW2?usp=sharing ~
~
・エージェントの表現方法を2D(Pygame)から3D(Unity)に変更。プログラムの調整や、エージェントの喜怒哀楽の表現などをプログラムで出来るように調整した~
動画Link :~
~
* 研究トピック（議題）整頓 [#wc86f10c]
（概要よりももう少し詳しく、いくつかのトピックを箇条書きして、たまに書き直す部分。このテキストはコピーした先では書かなくてOK）

* 研究ノート [#l209c850]
**機器類を軽くまとめたもの [#f64c4c0c]
Processing…視覚的な表現が他の言語に比べ行いやすく、JAVA言語をベースにしているため、プログラミング言語としても書きやすい。オープンソースで開発されており、無料で利用できる~
Arduino…マイコンなどの電子工作に使用するプログラミング言語で、C/C++言語をベースにしているため、プログラミングの知識があれば容易に理解できる~
Pd-extended…音響合成等をメインにしたビジュアルプログラミング言語であるが、拡張版では世界中の開発者により様々な拡張機能を追加することできる~
Python…機械学習や自動データ処理、スクレイピングやその他アプリ製作など何でもできる万能的なプログラミング言語であるが、AI系に特に用いられている傾向~
ARToolkit…カメラの座標系を算出することで、現実空間にAR空間を容易に構築するための計測システム。他の言語と組み合わせることで効果を発揮する~
Face++…人種や性別、年齢や顔の点データの検出などにより、正確な顔認識を実現するための顔認識プラットフォーム。APIを用いて他の言語と組み合わせることができる~
Openpose…指の関節や顔の細かな検出など、画像認識を行うことのできるアルゴリズム~
~
Kinect…MicrosoftのXbox 360用の機器だが、モーションキャプチャデバイスとして必要十分なセンサなどが搭載されており、USBで接続すればPC上でデータを獲得できる~
Microsoft realsense…距離画像センサーの一種。3次元カメラの一種ともいえる~
Leap…手の動きなどを認識してくれるカメラの1種~
Arduino…マイコンなどの電子工作を行う際に使用する機器。プログラミング言語と組み合わせて使用する~
脳波計…脳から出る微弱な電気信号を記録できる機器。脳の神経的な情報を得ることができる~
視線計測装置…複数台のカメラを用いて、被験者の動きや視線方向、瞼の開きなどを計測できる機器~
HMD…VRの表示装置の総称。娯楽用のコンテンツや仮想空間での技術習得など様々な分野で注目されている~
Vive eye pro…HMDの一種で、高精度なアイトラッキング技術を搭載している。視覚系のVRシュミレーションなどに主に用いられる~
~
**興味がある・読んできた卒研リスト [#hc5d94a5]
張　雅沢様, マン キン様,米澤 朋子様,視覚・触覚提示による接触存在感をもちいた高齢者睡眠支援エージェントの効果, 2021/5/13閲覧~
http://www.res.kutc.kansai-u.ac.jp/~yone/research/pdf_folder_private/202009IPSJKansai_zhang.pdf ~
⇒エージェントからの愛する，尊重する，慰める感覚はユーザに一定の効果を与えることができる~
~
細川 直樹様, ユーザの性格特性に応じた改善要求を行うエージェントの一提案, 2021/5/13閲覧~
http://www.res.kutc.kansai-u.ac.jp/~yone/research/pdf_graduate_thesis/202003g_abst_HOSOKAWA_Naoki.pdf ~
⇒顔の表情やユーザの性格による発言内容の変化はエージェントに対する親近感を与える要因になりえる~
~
西澤 健治様,高齢者の継続的室内歩行訓練に向けたマルチタスク訓練コンテンツ, 2021/5/13閲覧~
http://www.res.kutc.kansai-u.ac.jp/~yone/research/pdf_graduate_thesis/202003g_abst_NISHIZAWA_Kenji.pdf ~
⇒エージェントに歩行訓練の機能を搭載する際に使えると感じた(概要というより感想)~
~
伊藤 直也様,ユーザの気分や好奇心のニーズに合わせたSNS上の繋がり最適化手法の検討, 2021/5/13閲覧~
http://www.res.kutc.kansai-u.ac.jp/~yone/research/pdf_graduate_thesis/202003m_abst_ITOH_Naoya.pdf ~
伊藤 直也様,米澤 朋子様, 気分障害に適したTwitter上コミュニケーションの最適化手法の検討, 2021/5/13閲覧~
http://www.res.kutc.kansai-u.ac.jp/~yone/research/pdf_folder_private/201903HCS_itoh.pdf ~
⇒気分障害のレベルによってつながりたいユーザのターゲットやツイート回数などに変化がみられること~
~
植田浩章様, SNS 上コミュニケーションで情報集約・発言促進する介在型エージェントによる心的負荷軽減の検討, 2021/5/13閲覧 ~
http://www.res.kutc.kansai-u.ac.jp/~yone/research/pdf_graduate_thesis/201703m_abst_UEDA_Hiroaki.pdf ~
⇒エージェントが介在することによるSNSコミュニケーション支援はユーザ負担をある程度軽減することができる~
~
**技術動向調査 (2021/05/19更新) [#vf6b1fa3]
Pythonについて…~
できること…機械学習・Webサイト作成(Django, Flask, web2Pyなどのフレームワークの活用)・ゲーム作成(Pygame, Cocos2dなどのライブラリの活用)・ブロックチェーン開発・クローリングやスクレイピング・データ分析~
~
できないこと(推奨しないこと)…スマホ・デスクトップアプリ開発(Kotlin、Java、Swift、C#などの方が優秀)・高速処理を求められる開発全般~
~
実行環境について…Google Colaboratory, Anaconda, Minicondaなどがあるが、ローカル環境でPythonを実行することやライブラリの管理などの観点からAnacondaが推奨されている~
※クラウド環境の方が良い場合もあるので、一概には言えないのと、Anacondaは既にある既存の環境がマスクによって一部使えなくなることがある~
~
機械学習ライブラリ…Numpy, pandas, matplotlib, SciPy, scikit-learnなどの分析系、TensorFlow, Keras, PyTorch, Chainerなどの深層学習系、Mecab, Janome, GINZAなどの自然言語処理系、OpenCV, pillow, scikit-imageなどの画像処理系、speech recognition, pyaudio, Juliusなどの音声認識系などがある~
~
C++について…~
出来ること…コンピュータを高速処理する必要のある作業・Webアプリケーション開発(ChromeのプラグインやUnreal-Engineなど)・ロボット技術の開発など~
~
概要…C言語を拡張したプログラミング言語で、C言語にオブジェクト指向を加えたものである。C++の種類としては、Borland C++とVisual C++があり、歴史も長く他言語の基礎になっている。~
~
機械学習ライブラリ…dlib, NNablaなどの深層学習系, OpenCV, LTI-Libなどの画像認識系など・・・~
~
一見すると、Pythonの方がライブラリも豊富に見えるが、ライブラリやAPIの多くが、C++などの高速処理可能な言語で作成されていたりするため、どちらが適切かは一概には言えず、作りたいものによるだろう。~
~


* 文献ノート [#k60eb404]
文献ノート 内容及び書類URL : https://kutc-my.sharepoint.com/:f:/g/personal/k806451_kansai-u_ac_jp/Elf4NxTHYzZFtVmagdxkDAMBVNmj6hMImAYbfF3A6uwzsA?e=Yots9Q
~
//|著者 |タイトル |発表場所や出版社 |掲載ページ　23〜56など（もしくは全体ページ数） |発行年| 内容の簡潔なまとめ| 内容の詳細メモ| 自分の研究との関連性のメモ|

~
~
~
~
~
~
#hr

[[21_Ohsawa]]に戻る
トップ   編集 差分 履歴 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS