![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
5/14 ゼミログ ・余くんの発表 NPCのサブキャラに感情を持たせる 住本君のNPCの表情の研究と分野が似ている
・k番のアカウントを作る
・ひょうさんの発表 認知症の研究、おばあさんの実体験、ARの利用 スケジュールは①アンケートを取る②CGモデルを作る③老人を連れて体験sるう 意義：寄り添う人が必要 似た研究「思い出ビデオを作る」がある。→昔の写真を集めていつどこをインタビューてい 松山君とも似ている
・戸高君の発表 テーマ：教育システムにおける積極的参加の促進 テレビの演出なども加えたい、受け身型授業では楽しみを生むのは難しい、積極的な態勢にするには授業を面白くする必要がある。バラエティ番組みたいな 照明を当てたり、ボタンを押した時の音を採用したり
・国分君の発表 ゲームをより面白くするために NPCの複雑な返答が出来るように ユーザの感情を分析する⇒汗や、表情などの解析 これが出来れば自然な会話や飽きさせないようなゲームが作れる
ブレイクアウトルーム
次までの課題：本を読んでくるか、論文を読んでくるか（自分の研究に関係する） K版のアカウントを作る（Zoom）
・研究テーマのだいたいの進め方 妄想⇒プロトタイピング試作⇒（新規性、特長）重要な要素の洗い出し⇒施策の追加・やりなおし⇒要素の有効性を検証していく（統計的に解析）
5/21 ログ ・院生の王さんと光嶋さんとブレイクアウトルーム（途中から佐藤君参加）
王さんの研究の話 モニターに映像を映して、ユーザーに体験してもらう。いずれは大きなデバイスをつかいたいが、卒論レベルだとそのスケールで考える必要はないかも。
主観的評価（アンケートでユーザーに答えてもらう）、客観的評価 VRつかうときのプログラミング言語は、ユーザーがパソコンで使うならCシャープ、携帯端末で使うならJavaを使う。
修士論文は大学論文のレベルよりも高度で膨大な量が必要となる。
四回生の春には卒論の参考文献を探す作業をしないと早めに手を付けるべき。 就活を同時進行はつらくなるから、早めに色々と行動すべき。 四回だと合宿がある。王さんが合宿はどんなものか説明してくれた。 王さんのとっていた実習を、経験に意識の持ち方を教えてもらった。
人の心理解析とエージェント（メンバー：岡田光嶋佐藤）
今日やること 他人の研究を他己分析、アドバイスをしあって、メモして、自分の研究を客観的に説明できるようになる
ティン ・ベトナムと日本では卒論の形式が違う。 ・ティンの日本生活について雑談。 ・日本語学校の話も聞いた。 ＜研究テーマ＞タクシーの運転主に注目、お客さんとの会話支援プロトコルを視覚化してみたい。お客さんとコミュニケーション取るときに顔が見れるといいんじゃないか。 ・位置関係をデザインする。リラックス度合 ＜米澤先生の参考意見＞ 子育てする母親が運転するときに子供とコンタクト取りたいけど、取れない。
＜岡田研究テーマ＞ ・エージェントを作るサイトはProcessing でもUnityでも ・佐藤君のシステムで本音を探る→岡田の研究の不登校児を生む以前の予防につながるのではないか。 ・位置関係をデザインする。リラックス度合
光嶋研究テーマ うつ病患者のシステムについて もう一人の自分、をテーマに考えてたら限界を感じていたので今回の佐藤君のやりたいこととせんせいのアドバイスでテーマが思いついた。先輩に一人同じような研究をしている人がいるので安心。
佐藤研究テーマ 真意。本音。光嶋さん、岡田君と近くて、自分の真意を知る？？ 生理計測（心拍数から嘘が見抜ける） カウンセリングによる真意の導出 対話的に真意を知る アドバイス：真意 × 行動から真意を理解したい マルチモーダル処理 対話系・解析系 どっちでも面白そう パーソナルスペースに入られた時の反応 応用→・ロボットが相手の受容を理解する ・障害のある人が相手の受容を理解する
6月１１日 研究テーマ発表
＜岡田発表＞
＜佐藤くん発表＞ ヒトの感情について マルチモーダルを利用する、岡田の不登校児童支援にもいかせるかも
＜光嶋さん発表＞ 元気な自分が寄り添ってくれたり、ひっぱったりすることで元気をくれることで、
＜ブイくん発表＞ 車内で会話学習と会話支援システム 目的：ドライバーが運転しながら、後ろの人との会話を取りやすくする。 バーチャル画面で自分の顔を表して、「お客さんがいない時：英語を学習する」 「後ろの画面にドライバーの顔が映る」：疑似対面コミュニケーション これらの二つの間の段階に、選択肢で行っていく段階があってもいいかも。 運転手と後ろの席の人が
＜松山君＞ タイピング・音声認識・表情認識＋（話題を作る）
音声認識 Julius 表情認識 face APL.js 音楽療法を取り入れていこうと思う ＜ひょうさん＞ 認知症の老人システム AR技術を利用し、認知症を患った老人の自尊心回復するため
＜すみもとくん＞ AIと感情
ログ
オンライン合宿なるものを行う 6/27朝１０：００集合 6/28１６：３０zoom集合 大学の機材使いたい場合は言ってもらってもいい F棟３０５，３０６の二部屋使える
一番やれそうなことは何か ゲシュタルト崩壊が起きないように話し合う スケジューリングの大切さ、次の授業までに何が出来るようになるかが大事。自分の研究の一番魅力があるものの簡単なものを実装してみる。 10か日かけて、ゆっくりもいいが、纏めて頑張る日を設ける 大きすぎず、小さすぎない目標を立てる練習をこの10日間でスケジューリング練習。 目標を分解して、目標の詳細を決める。 自分が作っていくことには何がひつようなのか。
ブレイクアウトルーム（松山岡田佐藤光嶋ブイ馮チョウ） 認知症の予防タイピング系 Julius 音声認識 ワンちゃんついて FaceIPS 上回生の梅田さんが表情系はやってるから、相談できるかも
6/25 ログ 二日後の土日のオンラインゼミ合宿で各々が進めていくことに
＜米澤先生が岡田にアドバイス＞ ・現実を反映させるものがあればさらに面白い。現実世界に半分のテレビ、仮想世界にもう半分のテレビがある。 ・鏡だけれど、繋がっている空間 ・自分の視点にあった映像が映し出される（ユーザーのA地点の映像、B時点での映像が、ユーザーが動くことで、バーチャルカメラがそれどれをその時々に映し出す⇒立体だと実感できる） ・顔の位置検出、裸眼立体視サンプルプログラムをもらう（マンさん、吉田さん） ・描く→Unity 検出→Processing ・FaceAPI（マンさん、梅田さんFaceAPIの説明 マンさんのはWindowだけ 梅田さんはなんでも
GoogleDriveで共有 Processing とFaceAPIのつなげるプログラミング 口角を検出 表情はまだかな かあを方向をゆっくりにすれば、エラーが起きづらい
P5jsもある ）
7月9日 ゼミログ 5月のキャンパス祭がオンラインになった ↓ 来週の火曜日までに、各々の研究の30秒ぐらいの動画、パワポをLMSに提出する。 テージーエル、三日間、インターンを紹介してくれた。行ってみたいかも
7月16日 ログ （ブレイクアウトルーム）
＜岡田＞ Unityの使い方を参考書 6種類の情報が手に入る。表情。王さんは出力がどこに出ているかはまだ分からない。 王さんがスラックに貼ってくださった。
＜光嶋＞ もう一人の自分をつくりたい。 表情を詳しくしたい 梅田さんのFaceAPIをいじりたいが、レポートとかで手を付けられずにいる
＜佐藤＞ 先生に相談したらヒューマンエージェントインタラクションの授業が参考になると聞いたので、ブレイクアウトルームにいたマンさんに資料をいただけるか相談
＜丹野＞ Unityの情報を共有できるかも。
米ゼミ ９月２４日
・オフィスアワー 10/1、６（火曜日）、8、１４（水曜） Zoom、この教室 ID 93258842252,317194 Zoomに来てくれた人と、教室来た人をフォーム入力 ＜やること＞ 春までの課題のデモ ・教卓制御（HDMI、プロジェクター） ・自分の係の実行 ⇒親睦会、（合宿）などの企画、計画 （合宿、合同プロジェクト）
・研究ノートのすすめ ⇒四回生になって、忙しくなっても何もしないことが無いようする
・10/1は夏後半の進捗（発表は三分質疑二分）
脳・生理信号の勉強会（αβ波、緊張、自律神経） 類似勉強会；eye tracker ⇒画面の中の視線を時系列で記録できる、作ったものを実験で評価できる、客観評価 実空間音響AR ⇒教室の立体的な話している空間を実現⇒緊張や自律神経を計測⇒レベルごとに設けて、評価 （大衆にトラウマを持っているかも） 教室のがやがや空間
10月1日 ＜自分の研究＞ ・少ない人で慣れてきたら、次のステップに大勢の人がいる授業空間や、体育館も作ってみてはいいのでは？
・苦手な人の位置 →教室の出口にいるとき →逃げられない状態 →ランダムに動いてる →危険度センサーが高くなるとかぼちゃ出すとか →人のパーソナルスペース（密接距離、個体距離、社会距離、公衆距離それぞれ決まってる）
・友人の位置 →近いと安心センサー
・FPSでより、現実的
・脳波 →緊張、自律神経など計測
・Vivi pro eye →視線の履歴、瞬き →瞬きが増えると緊張状態
・実空間音響AR →大きな音、話し声、密集した場所が苦手かも？ →レベルごとに慣れていく作業
10月15日 ゼミ
自分の書いた線表、マッピングについて発表して意見もらう会
＜自分の研究＞ 目標→心拍数、動揺に応じてモードを切り替える。 これから→キーでモードを変更できるように ・モード、ユーザーの心情→エージェントの表情に反映
＜先生からのアドバイス＞ ・じぶんとの「距離」を重視 ・例：①近くに苦手エージェント、遠くに友人エージェント→心細い ②近くに友人エージェント、遠くに苦手エージェント→落ち着く ・とりあえず「キー」でモードを変更できるようにして、そのあとに「心拍数」などを使っていこう
10月29日
システムフロー図修正版を発表 ＜アドバイス＞ ・「脳波計測」「心拍計測」は身体的なこと、「カメラ」から取得する情報は物理的なことなので、別々に考えていくのもいいかもね（竹村さん） ・教室内エージェントの「動き」についてはこれから考えていくってことですね（米澤先生）
＜自分＞ ・直近は、Unityの「Slider」を使って、難易度変更や緊張度ゲージをUIで表示したい ・教室空間を作る
11月5日 10月進捗報告
＜アドバイス＞ いい感じで自分が没入している感が表せてる（先生） 目標をハードにセッティングする
＜かんまきさん＞ ・心電で緊張度を計測 ・動きながらでも計測可能 ・必要物 ① arduino ② 張るやつ ③ コード ④ 機械
・身体に貼ったら数字として返してくれる ・「Switch science」というサイトでセンサーは互換性のあるやつで代替可能かも、米澤先生にまず聞いてみる ・数値読み取ってそれをProcessingで値を参照できる ・「キネクト」で「視線」を検出
＜これからやること＞ ・Unityのスライダーをユーザーの位置と対応付けて、バーが動くようにする ・かんまきさんに紹介してもらったやつを、竹村さんと先生にレンタルできるか聞いてみる ・翔に聞く。ｐ５ｊｓも？
１． 体制について 同期に聞いて、先輩に聞いて、先生に聞く。 同期とかで情報共有 ２． スケジュールとTODOの更新 Wiki更新 ３． プレゼミのサポート参加 11/26 オリエン 12/3 プレゼミスタート（昼休み）
４． オンライン合宿
＜調査＞ 論文なり、文献（本）を読む
＜記録を残していく（自分の研究、論文情報）＞ ・書誌情報 excel 著者 タイトル 発表のメディア（Youtube等）、○○出版社、発表の詳細、情報を取得した日時、感想（研究の面白み、自分の研究への関係がどうあるか）、１０個くらい読んだらGroup化してみる、月に10本を目標に論文探す
・VPN設定をして、無料論文を探せるものは探していく
本を探すときは「KOALA」 Google scholar 日本語で検索してそれを英語で探してくれる。（一般化した）キーワードを入力
12月3日 Wikiについて 各自読んできた論文を発表
＜やること＞ Wikiの編集 ・マスクありマスクなし写真を載せる ・目標をそれぞれ書く ・論文の読んできたやつをWikiに更新 ・
＜来週＞ 11月の進捗 論文をパワポを使って発表
12月10日 ゼミログ
＜１１月進捗＞ 石田さん、芝君、戸高君の11月進捗発表。 先生は別室でZoom参加
＜各自作業＞ エージェントグループの会話で、光嶋さんが「３DSマックス」を提案。 →３ｄオブジェクトの移動が簡単にできるソフト →Unityと連携も可能、「３DSマックス」で作ったエージェントとその動きをUnityに持ってきて動かすことが出来る。
＜自分の研究＞ 〇発見→LeapMotionが使えそう。 堅川さんがLeapMotionを扱っているため教えてもらうことに。 備品をレンタルできた。
12月17日
11月進捗 オンライン、オフライン ＜自分の研究について＞ LeapMotionが必要ない。エージェントに向けて手を振る、などのアクションをしたいのであればKinectを利用したほうがいろいろな文献が載っていていいかも
12月24日 ログ
＜11月進捗報告、オンライン合宿成果＞
＜余くん＞ コミュニケーションの「非言語」に注目したい 行動の処理、対戦行為における感情表出 シーンの画面の色→入力 色によって感情を決める？ ＜光嶋さん＞ リアルタイムのビデオで顔を検出 ProcessingとOpenCVと使って顔認識→先輩の協力でクリア ブイくんと話を進めている 現時点では顔と目を同時に検出して囲んでいる ・興味ある論文↓
＜こくぶくん＞ Face＋＋を動かせるようにした Webサイトでサンプルコードを取得 先生「年齢性別の予想も出せる」 感情の数値を検出 顔から表情を検出とは別に、顔の表面温度を利用 Python
＜ひょうさん＞ ３DSMAX → 人のモデル → Unity AR画像についての勉強 論文↓ ・記憶障害と認知症への工学的支援 ・認知症者との遠隔対話履歴を用いた思い出ビデオの作成支援 ・高齢者の心を支えるICTシステムの開発
＜西野＞ 前回の作成物の改良 ボタンを付ける（成功）
＜丹野＞ ゲームシステムのデータのバックアップを取る 参考文献調査 Wiki記述 Unity使う上でバックアップは取ったほうがいい →UnityHubでやれるらしい
＜先生の伝言＞ 情報はSlackで共有 使えるツールを一つ増やすのが良い
OB説明会の案内
２月２日→三回生成果発表会 ２月後半→四回生成果発表会
・2/2 発表 自分の研究の特徴 一人２０分やったこと発表 秋学期やったこと 一月進んだこと 三回生でslack議論進めていく
・レポート （ワード、ラテフ（こっち）） 四回生のやつを参考にする HI学会研究会フォーマット A4を４枚ぐらい スラックのリソースをピックアップしていく 2/12ごろが成績（その前にレポート締切）
春課題は進路に応じて構成するので相談してください 2/20までに春課題の設定、相談完了のこと
自分で相談を完了、自分から先生に
LateX TexWorksをダウンロード
2/2 一年のまとめ発表会
神牧さんともっと相談などしてもよいのでは？ 岩崎君の研究の「かすみ」も利用できるのでは？
＜神牧さんと関係＞ 心電（自律神経だけでなく興奮）→ふるまいを変えていく 入力→出力 ペルソナ（特定のユーザに絞る）
＜岩崎君との関係＞ ViveProEyeを利用している岩崎君 例） ・緊張度に応じて、周りを見えなくする ・半分ぼやかす ・友人エージェントだけ表示する ・半透明化 →心的ストレス 減少
＜活かせそうなこと＞ 入力→出力を意識 「枠組み」を作ってみる （シーンやエージェントが）スムーズに連続的に状況が変化していく 相手と自分の状況に応じてシーンを変化 苦手エージェントと、友人エージェントの状況毎の割合 まずは「if-then」でOK のちに関数などでスムーズに状況が変化していく（連続性）
参考 Expressioncamera
