![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
#author("2021-06-09T20:58:17+09:00","","") #author("2021-06-10T01:42:35+09:00","","") [[Members]] **米澤ゼミ log [#l272c0af] *5/14 [#t99b92c1] 余さん ・NPCに感情をつけたい （先生）顔で変えるのか、イントラクションを変えるのか出口を考える →住本くんと近い ひょうさん ・認知所の人が昔の人と会えるものを作る（AR） 流れ ①アンケート②CGモデル③老人を連れて体験 意義―離れていても寂しくない （先生）思い出ビデオ →昔の写真を見せながら、その時のお話を聞く（傾聴） 写真を使ったCGを使う 戸高さん ・教育システムにおける積極的参加の促進 →テレビで使われている仕組みを授業に取り組む （例）挙手の際に、クイズ音を発生させる →音についても学ぶ （例）発表者に照明をあてる （先生）積極参加させるには… →VR・ARを使う 作品を作るのではなく、新しい作品の枠組みを考える。 國分さん ・ゲームをおもしろくするために →VRゲームをもっとリアルにする ・ユーザーの感情を分析する（心拍数や汗の量など） （先生）脳波計を使って、データを解析。 （やらなければならないこと） 表情認識（ほかの人と協力） ディープラーニング ～流れ～ 妄想→プロトタイプ・試作→ 重要な要素の洗い出し（大事）｛新規制、特徴｝→ 試作の追加・やりなおし→ 要素の有効性を検証していく（実験）｛統計的に解析｝ 次までの課題 ・本か論文を読むこと ・ZOOMアカウントをｋ―番のアカウントにしておくこと ・ブレイクアウトルームでのメンバーとslacksで会話（メンションをつける） ・ブレイクアウトルームで話し合ったことをそれぞれ各自でDM *5/21 [#f5374451] ・ひょうさん 現在は、アンケートの政策をしている。 →（先輩）論文（先行研究）を見つけよう ・自分 Juliusの使い方を聞き、今後実践 ・張さん 高齢者の睡眠支援 ハグをして相手を落ち着かせるシステム（高齢者やこども） ・ブイ君 タクシードライバーが言語を学んで、観光地などを説明できるようにする。 高齢者が簡単に学びやすい環境を作りたい 音声認識で簡単な会話を可能にしたい。 ・マンさん 認知症高齢者支援 マルチモデルイントラクションを使う（見る、話す、立つなど） （課題→みんな 論文を一つ見つけてくる） 中国とベトナムの話を聞く（犬の鳴き声など） ブレイクアウトルームの名前 → 高齢者支援エージェント 今回のまとめ ・研究の進捗状況の報告 ひょうさん→アンケート制作 自分→使用するシステムの検索 ブイ君→研究内容のブラシュアップ *5/28 [#n3f80c6f] ～自分の研究課題の分析～ 自分（松山）の研究 ・音声は、鸚鵡返し →Juliusをマンさんに教えてもらう ・表情は、「あ、い、う、え、お」の検知を行う （先生からのアドバイス） ・自作自演をして、話題を作る（鳥が鳴いているふりをする・昔の写真を表示するなど） ・音楽療法を調べてみる→タイピングのBGMに使う・ゲームの開始や終わりに音楽を流す ・活発度を挙げる仕組み ・知らないものに対する刺激をするより、知っているものに対して刺激をする ひょうさんの研究 ・認知症者の生活の質を高めたい ・ARの画像と音声を勉強している →音声はどれを使うか未定（本を読んでいる「よくわかるAR入門」） ・音声は、会話のような形式を目標 ・論文紹介 ～認知症障害と認知症への工学的支援：その成果と展望～ 認知症に対して、音楽療法や思い出ビデオなどについて書かれた論文 →やろうとしていることに似ている研究 モウさん（大学院）の研究 ・手の鳥肌や震え、汗（発汗）を組み合わせてロボットに組み込んだら人間がどんな反応を するか（恐怖、緊張など） →ロボットが震えや発汗をして、それを人間が触ることにより人間がロボットの感情を 認識できるようにする *6/4 [#a9e4878b] ～各自の研究計画～ ・丹野 動因低減説 駆け引き→⑴ゲーム分類⑵フレームワーク化⑶ゲーム分析④要素抽出 ゲーム分析 → 1.NARRATOLOGY ２．LUDOLOGY 具体的なゲームの分析 １ ゲーム分類 ２ そのジャンルで生まれる駆け引き ３ フレームワーク化（駆け引きの要素抽出） ・国分 VRのNPC ユーザーの心理状況を増やして、NPCの応答をより具体的にする 人の感情の認識は人間でも難しい→機会はもっと難しい 分析方法 目や鼻などパーツごとにポイントを置き、その点を結んだ図形の面積によってどの感情かを区別する 今学期中 機械学習を使ったプログラムの作成 論文をたくさん読む ・余さん 感情モデル エージェントの作り方 感情認知はまず、相手の感情を認識する ・はぜきさん 会場すべてをステージに！ 演出方法 ・噴水のようなものに投影 ・ミストに投影 ・ホログラム ・３Dファントムなど ・石田さん 音楽療法 仮説 音楽による非言語コミュニケーションにおいて、共感とは他者とのイメージを補間のうむによって生じるものなのか 他者とリズムの間を共有することによって共感が生じるのか ・岩崎さん VRにおける視野の活用 ユーザーが実際に見ている景色の、向けている視野以外をぼかし、集中力を上げる 西野さん ・音楽を可視化したMVを制作するシステム 面白さ 新しい音楽の楽しみを提案する 芝恭平さん ・聴覚以外での音楽の実現 耳が聞こえない分、視覚や触覚から音楽を感じてもらう 小児向けに簡単な音楽教育 戸高さん ・テロップや効果音の演出がテレビの面白さを引き立てる →学校の授業にテレビ演出を取り入れれば生徒は楽しめるはず ＊対象は、小・中学生 視覚的に見える演出があると面白みが増す *6/11/20 [#d8bef752] 岡田さん ・VRを用いた不登校児童支援システム 「再登校のリハビリ」 具体例 ・教室をうつす ・顔をカボチャに変えて再現する ・裸眼立体視 佐藤さん ・人の感情についての研究 対話型と解析型がある マルチモーダル解析 ロボットに応用出来たらと考えている こうしまさん ・もう一人の自分 → 前回までの物とは変えている 自己暗示システム ・リップシンク ブイ君 ・車内で会話学習と会話支援システム ドライバーが運転しながら後ろの人と会話しやすくする 前の席と後ろの席の間にバーチャルカメラを設置 ・お客さんがいる時といない時でシステムを変える 自分 鸚鵡返しは「～だね」というように、より会話しているようにする 将来的にSiriとの連動が見込めることを含んで発表を考える １）話題の種をまく ２）しゃべらせる（認識する） ３）オウム返しにする（共感的に．．．「ね」をつけるとか） 昔の知り合いに会えるとかの種は、ひょうさん@Zhe FENG(Tetsu HYOU) と連携 ひょうさんと使うシステムを同じにする Juliusで合成音声ができるか調べる すみもとさん 人とAIとの関係 ステップ ⑴AIを調べる ⑵AIの作り方、プログラミング言語を使ってキャラを作る ⑶音と感情について検討 感情の作り方をモデル化する ～連絡～ ⑴前回今回の発表に関して、相互評価する （名前・プレゼンのわかりやすさ・面白い内容・有用だと思う・技術に期待） 五点満点×４項目×人数（自分もいれる） ⑵前回・今回で自分が指摘された内容を整頓して送る （フィードバックされたことを思い出してやる） ⑶フォーマットを送るので自分の研究をまとめて再度記入 ⑷進歩計画をたてる プレゼンの方法：反転学習してもらいます （ジャパンネットたかた風・客観的に（人の物のように） 6/18/20 オンライン合宿なるものを行う 6/27朝１０：００集合 6/28１６：３０zoom集合 大学の機材使いたい場合は言ってもらってもいい F棟３０５，３０６の二部屋使える *7/9 [#ha8ed84a] 高槻祭でのゼミ紹介 ・今やっている研究の紹介 →パワーポイントのスライド1枚で30秒 動画を提出 ・TGLからのインターンの募集 興味ある人は先生に連絡 脳波 OpenBCI Millis() 2020年9月24日 ・オフィスアワー 10/1（木）、 10/6（火）, 10/8（木）, 10/14（木） （昼休み） Zoom 部屋 [932 5884 2251] パスワード [317194] ⇒オンライン・オフライン来た人にフォーム入力 ～フォーム ・ HP ・紹介ビデオ～ -やること- 春学期までの課題のデモ作成 ・教卓制御 ・係りの実行 （合宿・合同プロジェクト 時折… ） ・研究ノートの作成 （ever note / one note / scrabox） 来週 夏休みの後半の研究成果発表 発表３分 ＋ 質疑2分 西野さん テキストラーニング 光嶋さん ３DCGでオブジェクト作成 石田さん 新しくエージェントを作成（表情） 佐藤さん 人の感情についての論文を読む 岡田さん 資格とインターン ブイさん 戸高さん 仕掛け学について調べる。本を読んでいる 丹野さん システムを作成 櫨木さん 論文を読んだ。 しばさん コンテストの作成。 余さん ネットでいろいろ調べた 岩崎さん 資格の勉強 VRについて 国分さん カメラから視線を検出の勉強 ひょうさん processingの研究 ～今あるグループ～ ・音楽・音響（石田さん・住本君・西野君・芝君・竹村さん） ・高齢者支援エージェント（松山・ひょうさん・万さん・張さん） ・実空間音響AR（櫨木君・戸高君・岩崎君） ・エージェント（岡田君・光嶋さん・佐藤君・ブイ君・余君・王さん・モウさん・かたかわさん） ・機械学習（丹生君・余君） ・eye tracker(岩崎君) →slackのチーム作り （課題 エージェントチーム作成） ～勉強会について～ ・脳・生理信号の勉強会 ・Eye tracker勉強会 ｛客観 評価｝ ・音声・音処理の勉強会 *2020年10月1日 研究発表（夏休み後半） [#jd64d57b] ・岩崎 － vivi Pro eyeによる試作を作成 ・国分 － コンテストに専念（openpose・FaceAPI） ・光嶋 ― 扇情的な鏡と研究が類似 →いかに変化をつけるか… 分身エージェントを作る （内容）①目が光っている ②口角を挙げる ③顔色が良い →facecrackerを使用予定 情動伝染 ― 表情により感情が移ること ・櫨木 － 水やミストではなく、まずはアクリル板に投影を目指す さらに、アクリル板にスピーカーからの音をあてる ・芝 — プログラミングの勉強・参考論文を読む・聴覚障害者へのシステム作り ・岡田 － processingで教室を再現 ・石田 － 興奮エージェントの作成 ・松山 － unityの使用を検討・先輩に花火のunityを作った人がいる ・ブイ － コンテストの参加・論文を読む ・佐藤 － 論文を読んで、人の感情について勉強・パーソナルスペース ・丹野 － ゲームシステムは作れたが、可変には至っていない ・戸高 － 仕掛け学について学ぶ ・西野 － テキストマイニング（文章から有益な情報を取り出す）について勉強 ・住本 ― 感情円環モデル（音の印象をモデルのグラフの中に位置づける）について学ぶ ・余 － アンケートを行った・システムの作成 ・ひょう － 仮説を立てて、物事を考える *2020年10月8日 [#eef360ec] ・線表を描く ・各自で研究を進めること →ゼミは研究の内容を深める場（雑談など） *2020年10月15日 [#mce5ada0] ・マルチタスク（体を動かしながら、考えるもの） →（例）足踏みしながらタイピングなど 名古屋大で考えられている （課題）システム構成予定のフロー図作成 *2020年10月21日 （院ゼミ） [#d3392491] ・（松村さん）音声感情認識→パラ言語情報も認識可能に… →音声認識の認識制度は何を持っての数字か？ →音声認識の精度に関しては難しい →音声感情認識は難しい ・（竹村さん）音楽によってリズムの取り方が変わる ・（梅田さん）ラッセルの円環モデル →sineを使って座標を出し、そこから喜び、悲しみ、怒り、驚きを％で表示する ・（王さん）感情エージェント ・（張さん）動き方の部分はプログラミングで修正 ・（マンさん）論文作成中 →エージェントの対話の部分を作成中 ・触り方の順番による心情の変化（張さん） （自分の研究） ・RPG要素を取り入れるのはいいと考える ・足踏みも取り入れ可能 ・歩く動作＋現実の要素を反映する形に ・裸眼立体視を取り入れる可能性があるからその勉強が必要 *2020年10月22日 （フロー図発表） [#pf06c523] ・佐藤 － face++は表情だけでなく、年齢なども認識できる ・自分 － タイピングは、別で考えたほうが良いのでは？ → 相談 タイミングに合わせて写真と取るなどの少しのタスクもあったほうが… 名古屋大の研究が活用できるのでは！ *2020年11月11日 （院ゼミ） [#t201e5b6] 猛さん ロボットの手を握るやり方 手の生理現象のみ HAI、関西支部 HCS 手を握る × 生理現象 の実験？？ 猛さん→ロボットが手を握るような研究をしている →活用の兆しがある 張さん キネクト？を勉強中 *2020年11月18日 （院ゼミ） [#o3c66f30] マンさん － 会話を中心に展開・発案内容の語彙をうまく認識できるAPIを探している 会話内容のカテゴリー - 仲良くなるためもの 介護内容の説明 日常会話式○○ → キャンディー URL http://cocolomi.net/candy/ 認知症のトレーニング（自分） + 日常会話（万さん）で協力してやってみる p5jsが使いやすい Skackで万さん、ひょうさんと会話して研究の協力 （自分） タイピングでは認知症の指の運動では不十分化も… →指とその他のマルチタスクについて老人ホームで行っているものなどを見て、適切な指の運動を考える （タイピングではないものを考える方向で） 12月2日になにかある（4時から） [#r277ea7e] *2020年11月19日 [#e36373ad] ・体制について、もう少し考える ・Wikipediaに研究の進捗を記入 （12月1日まで） ・プレゼミの参加お願い（11月26日 オリエンテーション） （12月3日 プレゼミ 昼休み） ・12月上旬にオンライン合宿を計画予定 ・HAI 2020 https://dl.acm.org/doi/proceedings/10.1145/3406499 http://hai-conference.net/hai2020/ 今後の予定 ～11月末 進捗～ ～12月になったら行うこと～ 調査 論文⑩ 文献（本）②～③ メディア（HP,Youtubeなど） （書くこと） ・書誌情報 エクセルにまとめる →著者・タイトル・発表メディア（書籍の場合は出版社）・発表の詳細 年（月日）・自分が見た年月日 ・感想 →研究の面白いと感じたところ・自分の研究との関係性 ・研究をグループ化して似ている文献をまとまる （備考） ・Bibtexの情報を得る→論文を書く際に使う ・KOALA（本）で検索可能 ない場合はAmazon ・google scholorで検索 （一般化したキーワードで入力） →キーワードが出ない場合はグループで相談 ・大学でアクセスすることで無料になるものもある ・大学のあるVPNアクセスを申請する ・研究費で読みたい本を購入する ・国会図書館で複写 発表するのは1月の頭に行う予定です！ 光嶋さん － もう一人の自分で健康向上 最初は、顔を認識して、ほほに色を付けて、透明度を下げて Face－APIをproceswing 佐藤さん － face-APIを使っているが、ビジュアルコードスタジオで開いている ひょうさん － *2020年11月25日 （院ゼミ） [#t1b03b0d] メモをしっかりと取ろう！！ マンさん — 対話の音声を作った 今は、オウム返しでの会話を作っている 最終的には、一週間などの期間で会話内容を作成予定 P5js speech libraryの音声合成を使用している 話し方のトーンを取りたい 発話内容 ― 日常会話や変化の伴うもの（天気など） → 一日のスケジュールに乗っ取った会話 気分や昔の話、レクリエーションの話、または昔から変わらないもの（不変なものやテレビの内容）など不規則に起きる会話。昔の映画、音楽の話など 最近のニュース （認知の症状・気分によって会話の内容を変化させる） →スケジュール以外の会話(突発的なもの) どのように高齢者過ごしてほしいかを考えて会話内容を考える ケア トレーニングをリストの中に入れてもいいかも ゼミのプロジェクトミーティングで学部生も話をするかも… →自分の研究をしっかり説明できるように 北岸さん － 1人対多人数講義におけるコミュニケーション促進 視覚聴覚ARによる場の制御 ・講義中の聴衆の場を変える効果音・BGM・参加費 ・山名さん（特定の人に声を届けるコミュニケーションをさせる） →多人数/個別の話の切り替え ・田中さん（講師分身エージェント） →講師がパラレルにコミュニケーションできる 今考えているシステムは、BGMと効果音 マンさんとの連携に関して、しっかり説明できるようにしておく →先週の先生との話の内容をしっかりと考える *2020年11月26日 ゼミ [#o84c2f69] ～研究の進捗～ -かける○→表情の検知のシステムは終了。エージェント作成に移行する -じゅんき→心電図から緊張度を取るのはできた。それを、prosessingやUnityに繋げる方法を模索中。エージェントは、表情を検知してエージェントに反映の予定 -光嶋さん→カメラが使えるようになった →顔認識可能。目と口の位置の入手に取り掛かかる。エージェントは自分（鏡のようなもの） -ひょうさん→Unityを勉強 → Unityで人を作る。エージェントをUnity （トピック） ・飛行機人間になる→言われるままではなく、自分で考えて行動できるように！！ ・オリエンテーションの読みなおし（yone wike） ・Wikipediaの改定（成績のもとにする） （研究発表） 住本さん→pdと効果音を集めたファイルをつないで感情円環モデルを作成。 これからは、環境音以外の音を取り入れてみる （論文） 論文調査→googole Scholar で検索（略語を入れずに） アマゾンでほしい本を探して、Koalaで検索 ・英語の分は、翻訳を使って解決しよう！ ・最初に、冒頭の説明、概要を読み、その後論文の最後の文、章を読む。 次に、各章の説明→だいたいの構成を把握 ・同じ研究をしている人がいたら アウト ・近い研究を探して、参考にしていこう ・“”を使うことで単語をより詳しく検索できる （進路について） 必要なインターンシップにだけ参加しよう *2020年12月3日 [#ub7079d2] ・Wikipediaのゼミを更新 →新規の研究ノートの作成・プロフィール欄に顔写真の掲示 ・ゼミ合宿 ・冬課題の目標 ・後期終了時の目標 ・読んだ論文のスライドを作成 （一枚で大丈夫。パワポ） （課題） ・Wikipediaの編集（研究ノートと顔画像） ・文献を読む（週に2つペース） ・読んだ文献をパワポにまとめる *12月10日 （進捗目標・論文報告） [#q58b1416] -石田さん リズムをとるエージェント。うなずき -芝君 MMDを動かす。初音ミクのようなエージェントで実装 -戸高君 クリッカーについて ひょうさん 3D Max。Unityでは人間が作れない → 3D MAXに移行 ゼミ合宿 土曜日の昼と日曜日の3時に行う。今回は、週末中に終わったことは発表しない。 次回のゼミで何が進んだかどのくらいできたかを発表する *12月17日 （進捗発表） [#v2e02226] -～先生からのアドバイス～ -音楽認知トレーニングプログラムの提案 指・足・手の動作 -マルチタスクは、認知×認知タスク・認知×運動タスクなどいろいろある →ドラムの動きは効果的なためそこを深く見て行ってもいいかも… -難しすぎてもダメ、表情を読み取って研究の内容を変えていく 今後の進め方 -指の運動→ピアノを中心に考えていく。ただし、マルチタスクをするうえでタイピングも使えるから、タイピングの可能性も捨てずに、ピアノで考えていく -音声→音声サポートを中心に（次は、ピアノをしましょう）など… -表情→顔を使って遊ぶプログラムを作りつつ、マルチタスクにおける表情の変化を読み取れるようにもできるようにする -音楽→BGMとして音楽を流せるようにするのは変わらない。プラスで、足を使ったリズム取りなど小さくではあるが体を使ったものを作れるようにする（周りから拍手の音、足踏みの音を取れるようにする） *12月24日 （進捗報告） [#re2f7ef9] 12月24日（進捗報告） -光嶋さん プロセッシングを中心に作っていく。表情を取るものとしては、OpenCVを使っている → 顔と目を同時に検出できるが精度が低い 今後は、頬の色を載せる・部分的な色の変更を可能にする 論文 -Face Trackerによる自己の笑顔増強コンテンツ→笑顔の数値を三段階で評価しているも の→Face Trackerでも表情変化（笑顔や悲しみなど）が可能かも… -光嶋さんの研究ノートをチェック -ひょうさん → Unityで人を作成中 AR画像についての勉強 *1月14日 （進捗報告）2/2に成果発表をする [#aafc8d3f] -ほかの人の発表を聴く → お互いの問題点を理解する -一人20分くらいの発表 -秋学期の進捗を報告しつつ、全体を説明 -今のうちにお互いの研究を話し合う -レポートを作成する -レポートを書く -HI学会研究会フォーマット（A4 4枚くらい） -4回生の研究の概要をチェック → 書き方をチェック -2/12前に提出 -TexWorks 春課題をきちんと先生に相談する -2/20までに相談完了する -ワードかLATEF → 上記一式ファイル -https://www.his.gr.jp/meeting/download.html *1/23 [#dc0e14e5] -事後調査（実験の前と後での変化を調査）をしてはどうか… →先生や先輩に相談 -ご飯前にやってる 口腔体操 → つばを出すようにし、食事をしやすくし、誤嚥予防をしている -足踏み 指を動かしたり、肩を回す 椅子に座って体操 じゃんけん、棒体操（新聞を丸めたものを使って、体を動かす） -声かけしてやらなければいけないから、大変 *2月2日 (1年間の進捗報告) [#zd741071] -光嶋さん 口の場所を取得する -岩崎さん 視線をとれるようになった -岡田さん 心電計測（Arduino）、数値が取れるようになった →まだ、波が荒い。Unityとの連携もまだできていない。教室モデルの作成。KINECTに触れる。 -石田さん リズムマシンの設置 スパーコライダーを勉強 -佐藤さん OpenCV、裸眼立体視 -国分さん Face++を使えるようになった -表情種類（Face++・OpenFace・OpenPose） *2月11日 (面談) [#r9642c0d] -ひょうさん － 高齢者の孤独解消エージェント。記憶・コミュニケーション・思い出ビデオ・写真＞エージェントメディアにする -自分 － 自分の高齢者の健康とリハビリの日常化。認知トレーニング（マルチタスク）。感情電線・表情模倣（名古屋大学） 音声対話 → 基礎要素になる→トレーニングという位置付けにはならない 足踏みトレーニング ＋ 指トレーニング （ゲーム化）西澤さんの研究 -～ひょうさんと繋がるところを考えてそこを詰めていく～ 例（思い出の人がトレーニングをポジィティブな感情な感情でやっている） ・孤独を解消する認知トレーニングの研究 ・寂しい人は負の面しか見えてない→寂しくない人は視野が広いため寂しさをあまり感じない →新しいことに目を向けさせたり、認知能力を高めることで、外界への興味を広げたり 視野範囲を広げて、結果日常孤独が解消していく -気持ちがうまくいくと、トレーニングができる -体力や認知能力が上がると、気持ちも満たされる →孤独解消方法を見つける →気持ちの持って行き方を探す -ピアノをしながら何か別のタスク（画面上など）→２タスクor ４タスクのマルチトレーニングコンテンツ決めていく -キーボードを使うとすると難しくなる→もしキーボードを使うならユーザー層を考える 案）ダンス・ダンスレボリューションみたいな感じのピアノと足踏みのミュージックゲームマルチタスクのコンテンツ -運動認知融合タスクかマルチタスクにするかを先生に報告する→足踏みメインなのか指トレメインなのかその両方なのか -BGMでテンポを流し、それによって足踏みをさせる BGMでテンポを流し、それによって足踏みをさせる *6月3日 [#jfb45561] -福迫くん ー 身体的リハビリをゲーム感覚で行う → 継続的に続けられるトレーニングシステムを作りたい -（例）カメラで動きを読み取って体を読み取って、 -（ウェルビーイング） カウンセリングしながらトレーニング -「ウェルビーイング」（well-being）とは、身体的・精神的・社会的に良好な状態にあることを意味する概念 -話を聞いてくれながらトレーニングをする（ELIZA） -モチベーションを維持させながら他の目的も達成されるシステムを作る -話ながら運動させる → 気持ちを落ち着かせながらトレーニングをする -“ノルマ”という概念でトレーニングをすることは、マイナスになる 会話しながらだと行いやすいのでは… -○トレーニングをメインにさせないようにする努力
