![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
5/14 ゼミログ ・余くんの発表 NPCのサブキャラに感情を持たせる 住本君のNPCの表情の研究と分野が似ている
・k番のアカウントを作る
・ひょうさんの発表 認知症の研究、おばあさんの実体験、ARの利用 スケジュールは①アンケートを取る②CGモデルを作る③老人を連れて体験sるう 意義：寄り添う人が必要 似た研究「思い出ビデオを作る」がある。→昔の写真を集めていつどこをインタビューてい 松山君とも似ている
・戸高君の発表 テーマ：教育システムにおける積極的参加の促進 テレビの演出なども加えたい、受け身型授業では楽しみを生むのは難しい、積極的な態勢にするには授業を面白くする必要がある。バラエティ番組みたいな 照明を当てたり、ボタンを押した時の音を採用したり
・国分君の発表 ゲームをより面白くするために NPCの複雑な返答が出来るように ユーザの感情を分析する⇒汗や、表情などの解析 これが出来れば自然な会話や飽きさせないようなゲームが作れる
ブレイクアウトルーム
次までの課題：本を読んでくるか、論文を読んでくるか（自分の研究に関係する） K版のアカウントを作る（Zoom）
・研究テーマのだいたいの進め方 妄想⇒プロトタイピング試作⇒（新規性、特長）重要な要素の洗い出し⇒施策の追加・やりなおし⇒要素の有効性を検証していく（統計的に解析）
5/21 ログ ・院生の王さんと光嶋さんとブレイクアウトルーム（途中から佐藤君参加）
王さんの研究の話 モニターに映像を映して、ユーザーに体験してもらう。いずれは大きなデバイスをつかいたいが、卒論レベルだとそのスケールで考える必要はないかも。
主観的評価（アンケートでユーザーに答えてもらう）、客観的評価 VRつかうときのプログラミング言語は、ユーザーがパソコンで使うならCシャープ、携帯端末で使うならJavaを使う。
修士論文は大学論文のレベルよりも高度で膨大な量が必要となる。
四回生の春には卒論の参考文献を探す作業をしないと早めに手を付けるべき。 就活を同時進行はつらくなるから、早めに色々と行動すべき。 四回だと合宿がある。王さんが合宿はどんなものか説明してくれた。 王さんのとっていた実習を、経験に意識の持ち方を教えてもらった。
人の心理解析とエージェント（メンバー：岡田光嶋佐藤）
今日やること 他人の研究を他己分析、アドバイスをしあって、メモして、自分の研究を客観的に説明できるようになる
ティン ・ベトナムと日本では卒論の形式が違う。 ・ティンの日本生活について雑談。 ・日本語学校の話も聞いた。 ＜研究テーマ＞タクシーの運転主に注目、お客さんとの会話支援プロトコルを視覚化してみたい。お客さんとコミュニケーション取るときに顔が見れるといいんじゃないか。 ・位置関係をデザインする。リラックス度合 ＜米澤先生の参考意見＞ 子育てする母親が運転するときに子供とコンタクト取りたいけど、取れない。
＜岡田研究テーマ＞ ・エージェントを作るサイトはProcessing でもUnityでも ・佐藤君のシステムで本音を探る→岡田の研究の不登校児を生む以前の予防につながるのではないか。 ・位置関係をデザインする。リラックス度合
光嶋研究テーマ うつ病患者のシステムについて もう一人の自分、をテーマに考えてたら限界を感じていたので今回の佐藤君のやりたいこととせんせいのアドバイスでテーマが思いついた。先輩に一人同じような研究をしている人がいるので安心。
佐藤研究テーマ 真意。本音。光嶋さん、岡田君と近くて、自分の真意を知る？？ 生理計測（心拍数から嘘が見抜ける） カウンセリングによる真意の導出 対話的に真意を知る アドバイス：真意 × 行動から真意を理解したい マルチモーダル処理 対話系・解析系 どっちでも面白そう パーソナルスペースに入られた時の反応 応用→・ロボットが相手の受容を理解する ・障害のある人が相手の受容を理解する
6/4 ログ 今日のログです。 6/4 丹野君 コンピュータゲームの面白さと担保している要因は何か →危機的状況の回避が刺激的、自己投影 コンピュータゲームと駆け引きの関係性とは（これがメイン） →駆け引きとは、相手と自分とのやりとり、利益と損失 研究方法 →ゲーム分類、フレームワーク化（ゲームの共通項を見出してシンプルに考える）、要素抽出 格闘ゲーム→瞬時のプレーヤーや対戦相手の状況から予測し合う＝駆け引き 分析するゲームを増やす、50のジャンルのゲームの分析をし終える こくぶ君 VRゲーム、NPC ユーザーから取得できるデータ 顔表情から取得 人間の情報を取得して機械学習を使って感情によって変わる顔のパーツの動きを数値化し推定 め、はな、口の３つを結んだ面積によって分析していく 今後は機械学習の勉強、論文 余さん エージェント作成 感情推定 プレイヤーの感情を推測する はぜき君 ライブやショーの演出 会場全てで演出する方法を考える どこの席からでも演出の迫力を伝える 空中に映像を投影、立体音響を組み合わせる、参加型ライブ 水、ミストへの投影、ホログラムの利用、３Dファントム 今後→ プログラミングの弁よう、アニメーション、プロジェクションマッピング、人はどんなものに臨場感を感じるのか、水を使ったプロジェクションマッピング 石田 共感のモデル化 共感→リズムの共有＋リズムのタイミングの共有 岩崎君 ゲーム中の周辺視野→その処理を現実に応用、集中力を上げる 方法 ユーザの目付近につけてみている景色が写っているカメラ映像をVRに 周辺視野をぼかす カメラとヘドマウントの連携 視線の取り入れ Vrの加工 装着していない時の集中力との差を調べる 適当なぼやかし具合を調べる 西野君 音楽を可視化したMV制作のシステム 音要素を目に見える形に変換して映像化 新しい音楽の楽しみ方、音楽制作に参加、自分の思う音楽のイメージを表現、視覚から聴覚聴覚から視覚 有用性→エンターテイメント、音楽検索に利用、聴覚障害者 今後、音の要素を検出するシステム しば君 視覚や触角から音楽を感じる 手や足の動きに応じて画面内にしるしみたいなものが出る 今後 フーリエ解析 →音階の色彩化、絵を描いたような感覚で音楽を楽しむ、リトミック 戸高君 テロップや効果音の演出を授業に 早押しボタンを使った授業→誰が応え得るのかわからない→３D音響を使って解決 授業を音で制御→相談時の音、復習の音 音の環境作り＋視覚情報 近い研究の人との違いを明確にしてみること 自分が何を強調していけばいいか見えてくる
今日のログです。 6/11 6/15から図書館開く 提出資料はslackに岡田くん VRを用いた不登校児の支援システム 再登校のリハビリ支援 自宅の壁に投影 →教室、友達、家から登校していく友達、苦手な人は投影しない 段階１：人の顔を別のものに置き換え 段階２：親しい友達のみ 今学期は壁面投影世界、裸眼立体視について勉強 →いくつかの段階に応じてエージェントにも段階を、親友エージェント、ちょっと友達エージェント、親しさ係数佐藤くん 人の感情 深層真意について分析 分析方法→会話型、解析型、マルチモーダル解析（人間の五感を使って複数の計測を同時に行う） 応用先はロボット、ロボットに相手の需要は何なのかを理解できるようにする 今学期は深層真意、人の感情の分析方法や解析方法を勉強、プログラミング学習 →人とロボットの距離、人がロボットに近づきすぎた時ロボットはどんな反応をするか、光嶋さん もう1人の自分に相談、アドバイス 対象：自己肯定感の低い人、ネガテイブな人 自己暗示システム、理想と現実の間ぐらいの自分 未来に向けての自分のアドバイスをためておく 相手の話を聞きながら自分い少し近く見せる 落ち込んでいるときに、少し明るい表情、まばたき、聞いてもらってる感を出す 今学期：表情検知システム →気分が下がっているときに、少し気分が上がる状態を見せたり、ちょっと明るい時の自分で話しかける →過去の自分の写真（いろんな感情）のものを撮り貯めておくブイくん タクシーの車内で会話学習と会話支援システム ドライバーが運転しながら後ろの人との会話を取りやすくする 後ろに座っている人の画像を位置関係をデザインして設置 お客さんがいない時、英会話を学ぶステージにする お客さんがいるとき、疑似体験コミュニケーション 対面感を持たせてコミュニケーションor過去に録った録音を流す（観光案内）松山くん 認知予防プログラム タイピング、音声認識、表情認識 昔の画像を表示、相手の気をひく取り組み（それについて会話をしったくなる仕組み） 音声認識Julius、表情認識faceAPI 音楽療法を取り入れる。→タイピングBGMなど 今学期はJuliusを使えるように、juliusでおうむ返しができるように、表情認識でゲームができるように →「～ね」のおうむ返し、Siriと連携が将来的にあれば技術がつながるヒョウさん 認知症を患った自尊心回復 ARを使ってシステム開発で生活の質を高める スケジュールは アンケート→CGモデルの作成（会話形式の音声をつける）→体験 システム作成にあたって利用するソフトはprocessing 音声をつける手段を探す CGモデルでは昔の知り合いに会えるもの（音声合成とCG） →アンケートは中国と日本の両方でとってみては？ →アンケートではメディアとエピソードを集める、それとは別のアンケートもとる住本くん AIと感情 人とAIとの関係をはロボットにAIを取り込むことで人らしい行動をしたり表情をしたり 研究のためのステップ AIキャラクターの作成、音に反応するシステム、音と感情の評価 →音声同士のコミュニケーション、ユーザーの入力も音声 →利用シーンを考える今日やること 前回今回のみんなの発表に関して総合評価 名前・プレゼンのわかりやすさ・面白い内容かどうか・有用かどうか・技術に期待できるかどうか5点満点×4項目×人数（自分含む）を米澤先生へ 前回今回自分が指摘された内容を整頓して米澤先生へ フォーマットに自分の研究を再度記入 進捗計画を立てる スライドを先生に送る
6月１１日 研究テーマ発表
＜岡田発表＞
＜佐藤くん発表＞ ヒトの感情について マルチモーダルを利用する、岡田の不登校児童支援にもいかせるかも
＜光嶋さん発表＞ 元気な自分が寄り添ってくれたり、ひっぱったりすることで元気をくれることで、
＜ブイくん発表＞ 車内で会話学習と会話支援システム 目的：ドライバーが運転しながら、後ろの人との会話を取りやすくする。 バーチャル画面で自分の顔を表して、「お客さんがいない時：英語を学習する」 「後ろの画面にドライバーの顔が映る」：疑似対面コミュニケーション これらの二つの間の段階に、選択肢で行っていく段階があってもいいかも。 運転手と後ろの席の人が
＜松山君＞ タイピング・音声認識・表情認識＋（話題を作る）
音声認識 Julius 表情認識 face APL.js 音楽療法を取り入れていこうと思う ＜ひょうさん＞ 認知症の老人システム AR技術を利用し、認知症を患った老人の自尊心回復するため
＜すみもとくん＞ AIと感情
ログ
オンライン合宿なるものを行う 6/27朝１０：００集合 6/28１６：３０zoom集合 大学の機材使いたい場合は言ってもらってもいい F棟３０５，３０６の二部屋使える
一番やれそうなことは何か ゲシュタルト崩壊が起きないように話し合う スケジューリングの大切さ、次の授業までに何が出来るようになるかが大事。自分の研究の一番魅力があるものの簡単なものを実装してみる。 10か日かけて、ゆっくりもいいが、纏めて頑張る日を設ける 大きすぎず、小さすぎない目標を立てる練習をこの10日間でスケジューリング練習。 目標を分解して、目標の詳細を決める。 自分が作っていくことには何がひつようなのか。
ブレイクアウトルーム（松山岡田佐藤光嶋ブイ馮チョウ） 認知症の予防タイピング系 Julius 音声認識 ワンちゃんついて FaceIPS 上回生の梅田さんが表情系はやってるから、相談できるかも
6/25 ログ 二日後の土日のオンラインゼミ合宿で各々が進めていくことに
＜米澤先生が岡田にアドバイス＞ ・現実を反映させるものがあればさらに面白い。現実世界に半分のテレビ、仮想世界にもう半分のテレビがある。 ・鏡だけれど、繋がっている空間 ・自分の視点にあった映像が映し出される（ユーザーのA地点の映像、B時点での映像が、ユーザーが動くことで、バーチャルカメラがそれどれをその時々に映し出す⇒立体だと実感できる） ・顔の位置検出、裸眼立体視サンプルプログラムをもらう（マンさん、吉田さん） ・描く→Unity 検出→Processing ・FaceAPI（マンさん、梅田さんFaceAPIの説明 マンさんのはWindowだけ 梅田さんはなんでも
GoogleDriveで共有 Processing とFaceAPIのつなげるプログラミング 口角を検出 表情はまだかな かあを方向をゆっくりにすれば、エラーが起きづらい
P5jsもある ）
7月9日 ゼミログ 5月のキャンパス祭がオンラインになった ↓ 来週の火曜日までに、各々の研究の30秒ぐらいの動画、パワポをLMSに提出する。 テージーエル、三日間、インターンを紹介してくれた。行ってみたいかも
7月16日 ログ （ブレイクアウトルーム）
＜岡田＞ Unityの使い方を参考書 6種類の情報が手に入る。表情。王さんは出力がどこに出ているかはまだ分からない。 王さんがスラックに貼ってくださった。
＜光嶋＞ もう一人の自分をつくりたい。 表情を詳しくしたい 梅田さんのFaceAPIをいじりたいが、レポートとかで手を付けられずにいる
＜佐藤＞ 先生に相談したらヒューマンエージェントインタラクションの授業が参考になると聞いたので、ブレイクアウトルームにいたマンさんに資料をいただけるか相談
＜丹野＞ Unityの情報を共有できるかも。
米ゼミ ９月２４日
・オフィスアワー 10/1、６（火曜日）、8、１４（水曜） Zoom、この教室 ID 93258842252,317194 Zoomに来てくれた人と、教室来た人をフォーム入力 ＜やること＞ 春までの課題のデモ ・教卓制御（HDMI、プロジェクター） ・自分の係の実行 ⇒親睦会、（合宿）などの企画、計画 （合宿、合同プロジェクト）
・研究ノートのすすめ ⇒四回生になって、忙しくなっても何もしないことが無いようする
・10/1は夏後半の進捗（発表は三分質疑二分）
脳・生理信号の勉強会（αβ波、緊張、自律神経） 類似勉強会；eye tracker ⇒画面の中の視線を時系列で記録できる、作ったものを実験で評価できる、客観評価 実空間音響AR ⇒教室の立体的な話している空間を実現⇒緊張や自律神経を計測⇒レベルごとに設けて、評価 （大衆にトラウマを持っているかも） 教室のがやがや空間
10月1日 ＜自分の研究＞ ・少ない人で慣れてきたら、次のステップに大勢の人がいる授業空間や、体育館も作ってみてはいいのでは？
・苦手な人の位置 →教室の出口にいるとき →逃げられない状態 →ランダムに動いてる →危険度センサーが高くなるとかぼちゃ出すとか →人のパーソナルスペース（密接距離、個体距離、社会距離、公衆距離それぞれ決まってる）
・友人の位置 →近いと安心センサー
・FPSでより、現実的
・脳波 →緊張、自律神経など計測
・Vivi pro eye →視線の履歴、瞬き →瞬きが増えると緊張状態
・実空間音響AR →大きな音、話し声、密集した場所が苦手かも？ →レベルごとに慣れていく作業
10月15日 ゼミ
自分の書いた線表、マッピングについて発表して意見もらう会
＜自分の研究＞ 目標→心拍数、動揺に応じてモードを切り替える。 これから→キーでモードを変更できるように ・モード、ユーザーの心情→エージェントの表情に反映
＜先生からのアドバイス＞ ・じぶんとの「距離」を重視 ・例：①近くに苦手エージェント、遠くに友人エージェント→心細い ②近くに友人エージェント、遠くに苦手エージェント→落ち着く ・とりあえず「キー」でモードを変更できるようにして、そのあとに「心拍数」などを使っていこう
10月29日
システムフロー図修正版を発表 ＜アドバイス＞ ・「脳波計測」「心拍計測」は身体的なこと、「カメラ」から取得する情報は物理的なことなので、別々に考えていくのもいいかもね（竹村さん） ・教室内エージェントの「動き」についてはこれから考えていくってことですね（米澤先生）
＜自分＞ ・直近は、Unityの「Slider」を使って、難易度変更や緊張度ゲージをUIで表示したい ・教室空間を作る
11月5日 10月進捗報告
＜アドバイス＞ いい感じで自分が没入している感が表せてる（先生） 目標をハードにセッティングする
＜かんまきさん＞ ・心電で緊張度を計測 ・動きながらでも計測可能 ・必要物 ① arduino ② 張るやつ ③ コード ④ 機械
・身体に貼ったら数字として返してくれる ・「Switch science」というサイトでセンサーは互換性のあるやつで代替可能かも、米澤先生にまず聞いてみる ・数値読み取ってそれをProcessingで値を参照できる ・「キネクト」で「視線」を検出
＜これからやること＞ ・Unityのスライダーをユーザーの位置と対応付けて、バーが動くようにする ・かんまきさんに紹介してもらったやつを、竹村さんと先生にレンタルできるか聞いてみる ・翔に聞く。ｐ５ｊｓも？
１． 体制について 同期に聞いて、先輩に聞いて、先生に聞く。 同期とかで情報共有 ２． スケジュールとTODOの更新 Wiki更新 ３． プレゼミのサポート参加 11/26 オリエン 12/3 プレゼミスタート（昼休み）
４． オンライン合宿
＜調査＞ 論文なり、文献（本）を読む
＜記録を残していく（自分の研究、論文情報）＞ ・書誌情報 excel 著者 タイトル 発表のメディア（Youtube等）、○○出版社、発表の詳細、情報を取得した日時、感想（研究の面白み、自分の研究への関係がどうあるか）、１０個くらい読んだらGroup化してみる、月に10本を目標に論文探す
・VPN設定をして、無料論文を探せるものは探していく
本を探すときは「KOALA」 Google scholar 日本語で検索してそれを英語で探してくれる。（一般化した）キーワードを入力
12月3日 Wikiについて 各自読んできた論文を発表
＜やること＞ Wikiの編集 ・マスクありマスクなし写真を載せる ・目標をそれぞれ書く ・論文の読んできたやつをWikiに更新 ・
＜来週＞ 11月の進捗 論文をパワポを使って発表
12月10日 ゼミログ
＜１１月進捗＞ 石田さん、芝君、戸高君の11月進捗発表。 先生は別室でZoom参加
＜各自作業＞ エージェントグループの会話で、光嶋さんが「３DSマックス」を提案。 →３ｄオブジェクトの移動が簡単にできるソフト →Unityと連携も可能、「３DSマックス」で作ったエージェントとその動きをUnityに持ってきて動かすことが出来る。
＜自分の研究＞ 〇発見→LeapMotionが使えそう。 堅川さんがLeapMotionを扱っているため教えてもらうことに。 備品をレンタルできた。
