![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
看護・介護分野で患者等に働きかけるエージェント
マルチモーダルと人工知能を組み合わせた 看護・介護支援(ヘルスケア)エージェントの提案
（研究の特色の伝わるキーワード。６〜１０くらい）
看護や介護分野において、看護師や介護士の業務をサポートするシステムは多数存在するが、患者へのアプローチはいまだに人が行っている。患者へのエージェントを用いたアプローチにより、看護師や介護士の負担を軽減できる研究としたい。
看護師や介護士への負担軽減や、患者や要介護者のメンタルヘルスケア、コミュニケーションに困っている人への支援などの実現
患者へアプローチすることによる、看護師や介護士への支援
今後さらに普及するであろうIoT機器などとの連携の行いやすさ
[入力]ユーザからの文字・音声入力もしくは、音声や映像・時間や管理者からの自動認識
[処理]データベースを参照したり、アルゴリズムを用いた回答の検討
[出力]適切な回答や感想の回答・呼び出しなどの行動を自動で行う。また、コミュニケーションとして敢えてミス回答をしたり、ボケてみるシステムも組み込む
全ての患者・要介護者及びこれらをサポートする全ての人
病院や福祉施設・訪問看護の家・終末医療など
【時計作成】
現在時刻をアナログ・デジタルの両方で表示してくれるプログラムになります
https://www.openprocessing.org/sketch/1060522
【簡単な顔認識プログラム】
OpenCVを利用し、簡単な顔認識のプログラムを作成しました
カメラ上に顔が映り、OpenCVにて認識されると緑色の枠で囲うとても簡易的なプログラムになります。
※カメラを使用する関係で、Openprocessing上では正常に起動しない可能性が高いです(自己PCの場合、OpenCVとVideoのプラグインが必要です)
https://www.openprocessing.org/sketch/1060533
【音声認識 & テキスト化】
Google の Speech-to-Text API を使った音声認識及び、テキスト化されるプログラムの作成を行いました
※基本的には、Google社の提供している通りに実施したので、厳密には作成というのか曖昧
ローカル環境の設定及び、標準では英語の認識になっていたため、日本語に変更した程度になります
いくつかのサンプルデータを録音・使用すると、雑音や言語とは関係のない音により、正常に認識できないところもあり、実際に活用する際には、プログラムを通す前にノイズカットなどをする必要性を感じました。また、実際に使うとなると、ストリーミング入力になるので今後さらに模索していきたいです。
実行例などはpptx資料に記載しています
［pptx 資料・実行コマンド・JSONファイル・サンプル音声データ]
https://kutc-my.sharepoint.com/:f:/g/personal/k806451_kansai-u_ac_jp/EolmR9S03dBJjSNpRTTHdAMBhrzkTx22VmSSafwQ-6fdZw?e=2yBk6x
※Onedrive にて共有しております
[実行結果の例]
[今後の研究テーマのイメージ]
・顔認識や音声認識・自然言語処理を組み合わせた生活支援エージェントの作成？ARとの活用？
・ただ、現状「これがしたい」といった研究テーマの決定が出来ていないのが正直なところです
↓↓↓
・機械学習の積極的な活用のための、Pythonの勉強
・本課題を取り組むにあたって、CUI関係の知識不足を感じたのでそれの勉強
・可能であれば、コンテスト等への取り組み
（概要よりももう少し詳しく、いくつかのトピックを箇条書きして、たまに書き直す部分。このテキストはコピーした先では書かなくてOK）
Processing…視覚的な表現が他の言語に比べ行いやすく、JAVA言語をベースにしているため、プログラミング言語としても書きやすい。オープンソースで開発されており、無料で利用できる
Arduino…マイコンなどの電子工作に使用するプログラミング言語で、C/C++言語をベースにしているため、プログラミングの知識があれば容易に理解できる
Pd-extended…音響合成等をメインにしたビジュアルプログラミング言語であるが、拡張版では世界中の開発者により様々な拡張機能を追加することできる
Python…機械学習や自動データ処理、スクレイピングやその他アプリ製作など何でもできる万能的なプログラミング言語であるが、AI系に特に用いられている傾向
ARToolkit…カメラの座標系を算出することで、現実空間にAR空間を容易に構築するための計測システム。他の言語と組み合わせることで効果を発揮する
Face++…人種や性別、年齢や顔の点データの検出などにより、正確な顔認識を実現するための顔認識プラットフォーム。APIを用いて他の言語と組み合わせることができる
Openpose…指の関節や顔の細かな検出など、画像認識を行うことのできるアルゴリズム
Kinect…MicrosoftのXbox 360用の機器だが、モーションキャプチャデバイスとして必要十分なセンサなどが搭載されており、USBで接続すればPC上でデータを獲得できる
Microsoft realsense…距離画像センサーの一種。3次元カメラの一種ともいえる
Leap…手の動きなどを認識してくれるカメラの1種
Arduino…マイコンなどの電子工作を行う際に使用する機器。プログラミング言語と組み合わせて使用する
脳波計…脳から出る微弱な電気信号を記録できる機器。脳の神経的な情報を得ることができる
視線計測装置…複数台のカメラを用いて、被験者の動きや視線方向、瞼の開きなどを計測できる機器
HMD…VRの表示装置の総称。娯楽用のコンテンツや仮想空間での技術習得など様々な分野で注目されている
Vive eye pro…HMDの一種で、高精度なアイトラッキング技術を搭載している。視覚系のVRシュミレーションなどに主に用いられる
張 雅沢様, マン キン様,米澤 朋子様,視覚・触覚提示による接触存在感をもちいた高齢者睡眠支援エージェントの効果, 2021/5/13閲覧
http://www.res.kutc.kansai-u.ac.jp/~yone/research/pdf_folder_private/202009IPSJKansai_zhang.pdf
⇒エージェントからの愛する，尊重する，慰める感覚はユーザに一定の効果を与えることができる
細川 直樹様, ユーザの性格特性に応じた改善要求を行うエージェントの一提案, 2021/5/13閲覧
http://www.res.kutc.kansai-u.ac.jp/~yone/research/pdf_graduate_thesis/202003g_abst_HOSOKAWA_Naoki.pdf
⇒顔の表情やユーザの性格による発言内容の変化はエージェントに対する親近感を与える要因になりえる
西澤 健治様,高齢者の継続的室内歩行訓練に向けたマルチタスク訓練コンテンツ, 2021/5/13閲覧
http://www.res.kutc.kansai-u.ac.jp/~yone/research/pdf_graduate_thesis/202003g_abst_NISHIZAWA_Kenji.pdf
⇒エージェントに歩行訓練の機能を搭載する際に使えると感じた(概要というより感想)
伊藤 直也様,ユーザの気分や好奇心のニーズに合わせたSNS上の繋がり最適化手法の検討, 2021/5/13閲覧
http://www.res.kutc.kansai-u.ac.jp/~yone/research/pdf_graduate_thesis/202003m_abst_ITOH_Naoya.pdf
伊藤 直也様,米澤 朋子様, 気分障害に適したTwitter上コミュニケーションの最適化手法の検討, 2021/5/13閲覧
http://www.res.kutc.kansai-u.ac.jp/~yone/research/pdf_folder_private/201903HCS_itoh.pdf
⇒気分障害のレベルによってつながりたいユーザのターゲットやツイート回数などに変化がみられること
植田浩章様, SNS 上コミュニケーションで情報集約・発言促進する介在型エージェントによる心的負荷軽減の検討, 2021/5/13閲覧
http://www.res.kutc.kansai-u.ac.jp/~yone/research/pdf_graduate_thesis/201703m_abst_UEDA_Hiroaki.pdf
⇒エージェントが介在することによるSNSコミュニケーション支援はユーザ負担をある程度軽減することができる
Pythonについて…
できること…機械学習・Webサイト作成(Django, Flask, web2Pyなどのフレームワークの活用)・ゲーム作成(Pygame, Cocos2dなどのライブラリの活用)・ブロックチェーン開発・クローリングやスクレイピング・データ分析
できないこと(推奨しないこと)…スマホ・デスクトップアプリ開発(Kotlin、Java、Swift、C#などの方が優秀)・高速処理を求められる開発全般
実行環境について…Google Colaboratory, Anaconda, Minicondaなどがあるが、ローカル環境でPythonを実行することやライブラリの管理などの観点からAnacondaが推奨されている
※クラウド環境の方が良い場合もあるので、一概には言えないのと、Anacondaは既にある既存の環境がマスクによって一部使えなくなることがある
機械学習ライブラリ…Numpy, pandas, matplotlib, SciPy, scikit-learnなどの分析系、TensorFlow, Keras, PyTorch, Chainerなどの深層学習系、Mecab, Janome, GINZAなどの自然言語処理系、OpenCV, pillow, scikit-imageなどの画像処理系、speech recognition, pyaudio, Juliusなどの音声認識系などがある
C++について…
出来ること…コンピュータを高速処理する必要のある作業・Webアプリケーション開発(ChromeのプラグインやUnreal-Engineなど)・ロボット技術の開発など
概要…C言語を拡張したプログラミング言語で、C言語にオブジェクト指向を加えたものである。C++の種類としては、Borland C++とVisual C++があり、歴史も長く他言語の基礎になっている。
機械学習ライブラリ…dlib, NNablaなどの深層学習系, OpenCV, LTI-Libなどの画像認識系など・・・
一見すると、Pythonの方がライブラリも豊富に見えるが、ライブラリやAPIの多くが、C++などの高速処理可能な言語で作成されていたりするため、どちらが適切かは一概には言えず、作りたいものによるだろう。
文献ノート URL : https://docs.google.com/spreadsheets/d/11hH6MVDIoChR3pKBHKa11rjNsbUr8wjmKPQYqKDS__4/edit?usp=sharing
21_Ohsawaに戻る
