![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
余さん ・NPCに感情をつけたい （先生）顔で変えるのか、イントラクションを変えるのか出口を考える →住本くんと近い
ひょうさん ・認知所の人が昔の人と会えるものを作る（AR） 流れ ①アンケート②CGモデル③老人を連れて体験 意義―離れていても寂しくない （先生）思い出ビデオ →昔の写真を見せながら、その時のお話を聞く（傾聴） 写真を使ったCGを使う
戸高さん ・教育システムにおける積極的参加の促進 →テレビで使われている仕組みを授業に取り組む （例）挙手の際に、クイズ音を発生させる →音についても学ぶ （例）発表者に照明をあてる （先生）積極参加させるには… →VR・ARを使う 作品を作るのではなく、新しい作品の枠組みを考える。
國分さん ・ゲームをおもしろくするために →VRゲームをもっとリアルにする ・ユーザーの感情を分析する（心拍数や汗の量など） （先生）脳波計を使って、データを解析。 （やらなければならないこと） 表情認識（ほかの人と協力） ディープラーニング
～流れ～ 妄想→プロトタイプ・試作→ 重要な要素の洗い出し（大事）｛新規制、特徴｝→ 試作の追加・やりなおし→ 要素の有効性を検証していく（実験）｛統計的に解析｝
次までの課題 ・本か論文を読むこと ・ZOOMアカウントをｋ―番のアカウントにしておくこと ・ブレイクアウトルームでのメンバーとslacksで会話（メンションをつける） ・ブレイクアウトルームで話し合ったことをそれぞれ各自でDM
・ひょうさん 現在は、アンケートの政策をしている。 →（先輩）論文（先行研究）を見つけよう
・自分 Juliusの使い方を聞き、今後実践
・張さん 高齢者の睡眠支援 ハグをして相手を落ち着かせるシステム（高齢者やこども）
・ブイ君 タクシードライバーが言語を学んで、観光地などを説明できるようにする。 高齢者が簡単に学びやすい環境を作りたい 音声認識で簡単な会話を可能にしたい。
・マンさん 認知症高齢者支援 マルチモデルイントラクションを使う（見る、話す、立つなど） （課題→みんな 論文を一つ見つけてくる）
中国とベトナムの話を聞く（犬の鳴き声など）
ブレイクアウトルームの名前 → 高齢者支援エージェント
今回のまとめ ・研究の進捗状況の報告 ひょうさん→アンケート制作 自分→使用するシステムの検索 ブイ君→研究内容のブラシュアップ
～自分の研究課題の分析～ 自分（松山）の研究 ・音声は、鸚鵡返し →Juliusをマンさんに教えてもらう ・表情は、「あ、い、う、え、お」の検知を行う （先生からのアドバイス） ・自作自演をして、話題を作る（鳥が鳴いているふりをする・昔の写真を表示するなど） ・音楽療法を調べてみる→タイピングのBGMに使う・ゲームの開始や終わりに音楽を流す ・活発度を挙げる仕組み ・知らないものに対する刺激をするより、知っているものに対して刺激をする
ひょうさんの研究 ・認知症者の生活の質を高めたい ・ARの画像と音声を勉強している →音声はどれを使うか未定（本を読んでいる「よくわかるAR入門」） ・音声は、会話のような形式を目標 ・論文紹介 ～認知症障害と認知症への工学的支援：その成果と展望～ 認知症に対して、音楽療法や思い出ビデオなどについて書かれた論文 →やろうとしていることに似ている研究
モウさん（大学院）の研究 ・手の鳥肌や震え、汗（発汗）を組み合わせてロボットに組み込んだら人間がどんな反応を するか（恐怖、緊張など） →ロボットが震えや発汗をして、それを人間が触ることにより人間がロボットの感情を 認識できるようにする
～各自の研究計画～ ・丹野 動因低減説 駆け引き→⑴ゲーム分類⑵フレームワーク化⑶ゲーム分析④要素抽出
ゲーム分析 → 1.NARRATOLOGY ２．LUDOLOGY
具体的なゲームの分析 １ ゲーム分類 ２ そのジャンルで生まれる駆け引き ３ フレームワーク化（駆け引きの要素抽出）
・国分 VRのNPC ユーザーの心理状況を増やして、NPCの応答をより具体的にする 人の感情の認識は人間でも難しい→機会はもっと難しい 分析方法 目や鼻などパーツごとにポイントを置き、その点を結んだ図形の面積によってどの感情かを区別する
今学期中 機械学習を使ったプログラムの作成 論文をたくさん読む
・余さん 感情モデル エージェントの作り方 感情認知はまず、相手の感情を認識する
・はぜきさん 会場すべてをステージに！ 演出方法 ・噴水のようなものに投影 ・ミストに投影 ・ホログラム ・３Dファントムなど ・石田さん 音楽療法 仮説 音楽による非言語コミュニケーションにおいて、共感とは他者とのイメージを補間のうむによって生じるものなのか 他者とリズムの間を共有することによって共感が生じるのか
・岩崎さん VRにおける視野の活用 ユーザーが実際に見ている景色の、向けている視野以外をぼかし、集中力を上げる
西野さん ・音楽を可視化したMVを制作するシステム 面白さ 新しい音楽の楽しみを提案する
芝恭平さん ・聴覚以外での音楽の実現 耳が聞こえない分、視覚や触覚から音楽を感じてもらう 小児向けに簡単な音楽教育
戸高さん ・テロップや効果音の演出がテレビの面白さを引き立てる →学校の授業にテレビ演出を取り入れれば生徒は楽しめるはず ＊対象は、小・中学生
視覚的に見える演出があると面白みが増す
岡田さん ・VRを用いた不登校児童支援システム 「再登校のリハビリ」
具体例 ・教室をうつす ・顔をカボチャに変えて再現する ・裸眼立体視
佐藤さん ・人の感情についての研究 対話型と解析型がある マルチモーダル解析 ロボットに応用出来たらと考えている
こうしまさん ・もう一人の自分 → 前回までの物とは変えている 自己暗示システム ・リップシンク
ブイ君 ・車内で会話学習と会話支援システム ドライバーが運転しながら後ろの人と会話しやすくする 前の席と後ろの席の間にバーチャルカメラを設置
・お客さんがいる時といない時でシステムを変える
自分 鸚鵡返しは「～だね」というように、より会話しているようにする 将来的にSiriとの連動が見込めることを含んで発表を考える
１）話題の種をまく ２）しゃべらせる（認識する） ３）オウム返しにする（共感的に．．．「ね」をつけるとか） 昔の知り合いに会えるとかの種は、ひょうさん@Zhe FENG(Tetsu HYOU) と連携
ひょうさんと使うシステムを同じにする Juliusで合成音声ができるか調べる
すみもとさん 人とAIとの関係 ステップ ⑴AIを調べる ⑵AIの作り方、プログラミング言語を使ってキャラを作る ⑶音と感情について検討
感情の作り方をモデル化する
～連絡～ ⑴前回今回の発表に関して、相互評価する （名前・プレゼンのわかりやすさ・面白い内容・有用だと思う・技術に期待） 五点満点×４項目×人数（自分もいれる） ⑵前回・今回で自分が指摘された内容を整頓して送る （フィードバックされたことを思い出してやる） ⑶フォーマットを送るので自分の研究をまとめて再度記入 ⑷進歩計画をたてる
プレゼンの方法：反転学習してもらいます （ジャパンネットたかた風・客観的に（人の物のように）
6/18/20 オンライン合宿なるものを行う 6/27朝１０：００集合 6/28１６：３０zoom集合 大学の機材使いたい場合は言ってもらってもいい F棟３０５，３０６の二部屋使える
高槻祭でのゼミ紹介 ・今やっている研究の紹介 →パワーポイントのスライド1枚で30秒 動画を提出
・TGLからのインターンの募集 興味ある人は先生に連絡
脳波 OpenBCI Millis() 2020年9月24日 ・オフィスアワー 10/1（木）、 10/6（火）, 10/8（木）, 10/14（木） （昼休み） Zoom 部屋 [932 5884 2251] パスワード [317194] ⇒オンライン・オフライン来た人にフォーム入力 ～フォーム ・ HP ・紹介ビデオ～
・教卓制御 ・係りの実行 （合宿・合同プロジェクト 時折… ）
・研究ノートの作成 （ever note / one note / scrabox）
来週 夏休みの後半の研究成果発表 発表３分 ＋ 質疑2分
西野さん テキストラーニング 光嶋さん ３DCGでオブジェクト作成 石田さん 新しくエージェントを作成（表情） 佐藤さん 人の感情についての論文を読む 岡田さん 資格とインターン ブイさん 戸高さん 仕掛け学について調べる。本を読んでいる 丹野さん システムを作成 櫨木さん 論文を読んだ。 しばさん コンテストの作成。 余さん ネットでいろいろ調べた 岩崎さん 資格の勉強 VRについて 国分さん カメラから視線を検出の勉強 ひょうさん processingの研究
～今あるグループ～ ・音楽・音響（石田さん・住本君・西野君・芝君・竹村さん） ・高齢者支援エージェント（松山・ひょうさん・万さん・張さん） ・実空間音響AR（櫨木君・戸高君・岩崎君） ・エージェント（岡田君・光嶋さん・佐藤君・ブイ君・余君・王さん・モウさん・かたかわさん） ・機械学習（丹生君・余君） ・eye tracker(岩崎君)
→slackのチーム作り （課題 エージェントチーム作成）
～勉強会について～ ・脳・生理信号の勉強会 ・Eye tracker勉強会 ｛客観 評価｝ ・音声・音処理の勉強会
・岩崎 － vivi Pro eyeによる試作を作成 ・国分 － コンテストに専念（openpose・FaceAPI） ・光嶋 ― 扇情的な鏡と研究が類似 →いかに変化をつけるか… 分身エージェントを作る （内容）①目が光っている ②口角を挙げる ③顔色が良い →facecrackerを使用予定 情動伝染 ― 表情により感情が移ること ・櫨木 － 水やミストではなく、まずはアクリル板に投影を目指す さらに、アクリル板にスピーカーからの音をあてる ・芝 — プログラミングの勉強・参考論文を読む・聴覚障害者へのシステム作り ・岡田 － processingで教室を再現 ・石田 － 興奮エージェントの作成 ・松山 － unityの使用を検討・先輩に花火のunityを作った人がいる ・ブイ － コンテストの参加・論文を読む ・佐藤 － 論文を読んで、人の感情について勉強・パーソナルスペース ・丹野 － ゲームシステムは作れたが、可変には至っていない ・戸高 － 仕掛け学について学ぶ ・西野 － テキストマイニング（文章から有益な情報を取り出す）について勉強 ・住本 ― 感情円環モデル（音の印象をモデルのグラフの中に位置づける）について学ぶ ・余 － アンケートを行った・システムの作成 ・ひょう －
仮説を立てて、物事を考える
・線表を描く ・各自で研究を進めること →ゼミは研究の内容を深める場（雑談など）
・マルチタスク（体を動かしながら、考えるもの） →（例）足踏みしながらタイピングなど 名古屋大で考えられている
（課題）システム構成予定のフロー図作成
・（松村さん）音声感情認識→パラ言語情報も認識可能に… →音声認識の認識制度は何を持っての数字か？ →音声認識の精度に関しては難しい →音声感情認識は難しい
・（竹村さん）音楽によってリズムの取り方が変わる
・（梅田さん）ラッセルの円環モデル →sineを使って座標を出し、そこから喜び、悲しみ、怒り、驚きを％で表示する
・（王さん）感情エージェント
・（張さん）動き方の部分はプログラミングで修正
・（マンさん）論文作成中 →エージェントの対話の部分を作成中 ・触り方の順番による心情の変化（張さん）
（自分の研究） ・RPG要素を取り入れるのはいいと考える ・足踏みも取り入れ可能 ・歩く動作＋現実の要素を反映する形に ・裸眼立体視を取り入れる可能性があるからその勉強が必要
・佐藤 － face++は表情だけでなく、年齢なども認識できる ・自分 － タイピングは、別で考えたほうが良いのでは？ → 相談 タイミングに合わせて写真と取るなどの少しのタスクもあったほうが… 名古屋大の研究が活用できるのでは！
猛さん ロボットの手を握るやり方 手の生理現象のみ HAI、関西支部 HCS 手を握る × 生理現象 の実験？？
猛さん→ロボットが手を握るような研究をしている →活用の兆しがある
張さん キネクト？を勉強中
マンさん － 会話を中心に展開・発案内容の語彙をうまく認識できるAPIを探している 会話内容のカテゴリー - 仲良くなるためもの 介護内容の説明 日常会話式○○ → キャンディー URL http://cocolomi.net/candy/
認知症のトレーニング（自分） + 日常会話（万さん）で協力してやってみる p5jsが使いやすい Skackで万さん、ひょうさんと会話して研究の協力
（自分） タイピングでは認知症の指の運動では不十分化も… →指とその他のマルチタスクについて老人ホームで行っているものなどを見て、適切な指の運動を考える （タイピングではないものを考える方向で）
12月2日になにかある（4時から） [#r277ea7e]
・体制について、もう少し考える ・Wikipediaに研究の進捗を記入 （12月1日まで） ・プレゼミの参加お願い（11月26日 オリエンテーション） （12月3日 プレゼミ 昼休み） ・12月上旬にオンライン合宿を計画予定 ・HAI 2020 https://dl.acm.org/doi/proceedings/10.1145/3406499
http://hai-conference.net/hai2020/
今後の予定 ～11月末 進捗～ ～12月になったら行うこと～ 調査 論文⑩ 文献（本）②～③ メディア（HP,Youtubeなど）
（書くこと） ・書誌情報 エクセルにまとめる →著者・タイトル・発表メディア（書籍の場合は出版社）・発表の詳細 年（月日）・自分が見た年月日
・感想 →研究の面白いと感じたところ・自分の研究との関係性
・研究をグループ化して似ている文献をまとまる （備考） ・Bibtexの情報を得る→論文を書く際に使う
・KOALA（本）で検索可能 ない場合はAmazon ・google scholorで検索 （一般化したキーワードで入力） →キーワードが出ない場合はグループで相談 ・大学でアクセスすることで無料になるものもある ・大学のあるVPNアクセスを申請する ・研究費で読みたい本を購入する ・国会図書館で複写
発表するのは1月の頭に行う予定です！
光嶋さん － もう一人の自分で健康向上 最初は、顔を認識して、ほほに色を付けて、透明度を下げて Face－APIをproceswing
佐藤さん － face-APIを使っているが、ビジュアルコードスタジオで開いている
ひょうさん －
メモをしっかりと取ろう！！ マンさん — 対話の音声を作った 今は、オウム返しでの会話を作っている 最終的には、一週間などの期間で会話内容を作成予定 P5js speech libraryの音声合成を使用している 話し方のトーンを取りたい 発話内容 ― 日常会話や変化の伴うもの（天気など） → 一日のスケジュールに乗っ取った会話
気分や昔の話、レクリエーションの話、または昔から変わらないもの（不変なものやテレビの内容）など不規則に起きる会話。昔の映画、音楽の話など
最近のニュース （認知の症状・気分によって会話の内容を変化させる） →スケジュール以外の会話(突発的なもの)
どのように高齢者過ごしてほしいかを考えて会話内容を考える ケア トレーニングをリストの中に入れてもいいかも ゼミのプロジェクトミーティングで学部生も話をするかも… →自分の研究をしっかり説明できるように
北岸さん － 1人対多人数講義におけるコミュニケーション促進 視覚聴覚ARによる場の制御 ・講義中の聴衆の場を変える効果音・BGM・参加費 ・山名さん（特定の人に声を届けるコミュニケーションをさせる） →多人数/個別の話の切り替え ・田中さん（講師分身エージェント） →講師がパラレルにコミュニケーションできる
今考えているシステムは、BGMと効果音
マンさんとの連携に関して、しっかり説明できるようにしておく →先週の先生との話の内容をしっかりと考える
～研究の進捗～
（研究発表） 住本さん→pdと効果音を集めたファイルをつないで感情円環モデルを作成。 これからは、環境音以外の音を取り入れてみる （論文） 論文調査→googole Scholar で検索（略語を入れずに） アマゾンでほしい本を探して、Koalaで検索 ・英語の分は、翻訳を使って解決しよう！
・最初に、冒頭の説明、概要を読み、その後論文の最後の文、章を読む。 次に、各章の説明→だいたいの構成を把握 ・同じ研究をしている人がいたら アウト ・近い研究を探して、参考にしていこう ・“”を使うことで単語をより詳しく検索できる
（進路について） 必要なインターンシップにだけ参加しよう
・Wikipediaのゼミを更新 →新規の研究ノートの作成・プロフィール欄に顔写真の掲示
・ゼミ合宿 ・冬課題の目標 ・後期終了時の目標
・読んだ論文のスライドを作成 （一枚で大丈夫。パワポ）
（課題） ・Wikipediaの編集（研究ノートと顔画像） ・文献を読む（週に2つペース） ・読んだ文献をパワポにまとめる
ひょうさん 3D Max
Unityでは人間が作れない → 3D MAXに移行
ゼミ合宿 土曜日の昼と日曜日の3時に行う。今回は、週末中に終わったことは発表しない。 次回のゼミで何が進んだかどのくらいできたかを発表する
今後の進め方
