![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
5/14 ゼミログ ・余くんの発表 NPCのサブキャラに感情を持たせる 住本君のNPCの表情の研究と分野が似ている
・k番のアカウントを作る
・ひょうさんの発表 認知症の研究、おばあさんの実体験、ARの利用 スケジュールは①アンケートを取る②CGモデルを作る③老人を連れて体験sるう 意義：寄り添う人が必要 似た研究「思い出ビデオを作る」がある。→昔の写真を集めていつどこをインタビューてい 松山君とも似ている
・戸高君の発表 テーマ：教育システムにおける積極的参加の促進 テレビの演出なども加えたい、受け身型授業では楽しみを生むのは難しい、積極的な態勢にするには授業を面白くする必要がある。バラエティ番組みたいな 照明を当てたり、ボタンを押した時の音を採用したり
・国分君の発表 ゲームをより面白くするために NPCの複雑な返答が出来るように ユーザの感情を分析する⇒汗や、表情などの解析 これが出来れば自然な会話や飽きさせないようなゲームが作れる
ブレイクアウトルーム
次までの課題：本を読んでくるか、論文を読んでくるか（自分の研究に関係する） K版のアカウントを作る（Zoom）
・研究テーマのだいたいの進め方 妄想⇒プロトタイピング試作⇒（新規性、特長）重要な要素の洗い出し⇒施策の追加・やりなおし⇒要素の有効性を検証していく（統計的に解析）
5/21 ログ ・院生の王さんと光嶋さんとブレイクアウトルーム（途中から佐藤君参加）
王さんの研究の話 モニターに映像を映して、ユーザーに体験してもらう。いずれは大きなデバイスをつかいたいが、卒論レベルだとそのスケールで考える必要はないかも。
主観的評価（アンケートでユーザーに答えてもらう）、客観的評価 VRつかうときのプログラミング言語は、ユーザーがパソコンで使うならCシャープ、携帯端末で使うならJavaを使う。
修士論文は大学論文のレベルよりも高度で膨大な量が必要となる。
四回生の春には卒論の参考文献を探す作業をしないと早めに手を付けるべき。 就活を同時進行はつらくなるから、早めに色々と行動すべき。 四回だと合宿がある。王さんが合宿はどんなものか説明してくれた。 王さんのとっていた実習を、経験に意識の持ち方を教えてもらった。
人の心理解析とエージェント（メンバー：岡田光嶋佐藤）
今日やること 他人の研究を他己分析、アドバイスをしあって、メモして、自分の研究を客観的に説明できるようになる
ティン ・ベトナムと日本では卒論の形式が違う。 ・ティンの日本生活について雑談。 ・日本語学校の話も聞いた。 ＜研究テーマ＞タクシーの運転主に注目、お客さんとの会話支援プロトコルを視覚化してみたい。お客さんとコミュニケーション取るときに顔が見れるといいんじゃないか。 ・位置関係をデザインする。リラックス度合 ＜米澤先生の参考意見＞ 子育てする母親が運転するときに子供とコンタクト取りたいけど、取れない。
＜岡田研究テーマ＞ ・エージェントを作るサイトはProcessing でもUnityでも ・佐藤君のシステムで本音を探る→岡田の研究の不登校児を生む以前の予防につながるのではないか。 ・位置関係をデザインする。リラックス度合
光嶋研究テーマ うつ病患者のシステムについて もう一人の自分、をテーマに考えてたら限界を感じていたので今回の佐藤君のやりたいこととせんせいのアドバイスでテーマが思いついた。先輩に一人同じような研究をしている人がいるので安心。
佐藤研究テーマ 真意。本音。光嶋さん、岡田君と近くて、自分の真意を知る？？ 生理計測（心拍数から嘘が見抜ける） カウンセリングによる真意の導出 対話的に真意を知る アドバイス：真意 × 行動から真意を理解したい マルチモーダル処理 対話系・解析系 どっちでも面白そう パーソナルスペースに入られた時の反応 応用→・ロボットが相手の受容を理解する ・障害のある人が相手の受容を理解する
6月１１日 研究テーマ発表
＜岡田発表＞
＜佐藤くん発表＞ ヒトの感情について マルチモーダルを利用する、岡田の不登校児童支援にもいかせるかも
＜光嶋さん発表＞ 元気な自分が寄り添ってくれたり、ひっぱったりすることで元気をくれることで、
＜ブイくん発表＞ 車内で会話学習と会話支援システム 目的：ドライバーが運転しながら、後ろの人との会話を取りやすくする。 バーチャル画面で自分の顔を表して、「お客さんがいない時：英語を学習する」 「後ろの画面にドライバーの顔が映る」：疑似対面コミュニケーション これらの二つの間の段階に、選択肢で行っていく段階があってもいいかも。 運転手と後ろの席の人が
＜松山君＞ タイピング・音声認識・表情認識＋（話題を作る）
音声認識 Julius 表情認識 face APL.js 音楽療法を取り入れていこうと思う ＜ひょうさん＞ 認知症の老人システム AR技術を利用し、認知症を患った老人の自尊心回復するため
＜すみもとくん＞ AIと感情
ログ
オンライン合宿なるものを行う 6/27朝１０：００集合 6/28１６：３０zoom集合 大学の機材使いたい場合は言ってもらってもいい F棟３０５，３０６の二部屋使える
一番やれそうなことは何か ゲシュタルト崩壊が起きないように話し合う スケジューリングの大切さ、次の授業までに何が出来るようになるかが大事。自分の研究の一番魅力があるものの簡単なものを実装してみる。 10か日かけて、ゆっくりもいいが、纏めて頑張る日を設ける 大きすぎず、小さすぎない目標を立てる練習をこの10日間でスケジューリング練習。 目標を分解して、目標の詳細を決める。 自分が作っていくことには何がひつようなのか。
ブレイクアウトルーム（松山岡田佐藤光嶋ブイ馮チョウ） 認知症の予防タイピング系 Julius 音声認識 ワンちゃんついて FaceIPS 上回生の梅田さんが表情系はやってるから、相談できるかも
6/25 ログ 二日後の土日のオンラインゼミ合宿で各々が進めていくことに
＜米澤先生が岡田にアドバイス＞ ・現実を反映させるものがあればさらに面白い。現実世界に半分のテレビ、仮想世界にもう半分のテレビがある。 ・鏡だけれど、繋がっている空間 ・自分の視点にあった映像が映し出される（ユーザーのA地点の映像、B時点での映像が、ユーザーが動くことで、バーチャルカメラがそれどれをその時々に映し出す⇒立体だと実感できる） ・顔の位置検出、裸眼立体視サンプルプログラムをもらう（マンさん、吉田さん） ・描く→Unity 検出→Processing ・FaceAPI（マンさん、梅田さんFaceAPIの説明 マンさんのはWindowだけ 梅田さんはなんでも
GoogleDriveで共有 Processing とFaceAPIのつなげるプログラミング 口角を検出 表情はまだかな かあを方向をゆっくりにすれば、エラーが起きづらい
P5jsもある ）
7月9日 ゼミログ 5月のキャンパス祭がオンラインになった ↓ 来週の火曜日までに、各々の研究の30秒ぐらいの動画、パワポをLMSに提出する。 テージーエル、三日間、インターンを紹介してくれた。行ってみたいかも
7月16日 ログ （ブレイクアウトルーム）
＜岡田＞ Unityの使い方を参考書 6種類の情報が手に入る。表情。王さんは出力がどこに出ているかはまだ分からない。 王さんがスラックに貼ってくださった。
＜光嶋＞ もう一人の自分をつくりたい。 表情を詳しくしたい 梅田さんのFaceAPIをいじりたいが、レポートとかで手を付けられずにいる
＜佐藤＞ 先生に相談したらヒューマンエージェントインタラクションの授業が参考になると聞いたので、ブレイクアウトルームにいたマンさんに資料をいただけるか相談
＜丹野＞ Unityの情報を共有できるかも。
米ゼミ ９月２４日
・オフィスアワー 10/1、６（火曜日）、8、１４（水曜） Zoom、この教室 ID 93258842252,317194 Zoomに来てくれた人と、教室来た人をフォーム入力 ＜やること＞ 春までの課題のデモ ・教卓制御（HDMI、プロジェクター） ・自分の係の実行 ⇒親睦会、（合宿）などの企画、計画 （合宿、合同プロジェクト）
・研究ノートのすすめ ⇒四回生になって、忙しくなっても何もしないことが無いようする
・10/1は夏後半の進捗（発表は三分質疑二分）
脳・生理信号の勉強会（αβ波、緊張、自律神経） 類似勉強会；eye tracker ⇒画面の中の視線を時系列で記録できる、作ったものを実験で評価できる、客観評価 実空間音響AR ⇒教室の立体的な話している空間を実現⇒緊張や自律神経を計測⇒レベルごとに設けて、評価 （大衆にトラウマを持っているかも） 教室のがやがや空間
10月1日 ＜自分の研究＞ ・少ない人で慣れてきたら、次のステップに大勢の人がいる授業空間や、体育館も作ってみてはいいのでは？
・苦手な人の位置 →教室の出口にいるとき →逃げられない状態 →ランダムに動いてる →危険度センサーが高くなるとかぼちゃ出すとか →人のパーソナルスペース（密接距離、個体距離、社会距離、公衆距離それぞれ決まってる）
・友人の位置 →近いと安心センサー
・FPSでより、現実的
・脳波 →緊張、自律神経など計測
・Vivi pro eye →視線の履歴、瞬き →瞬きが増えると緊張状態
・実空間音響AR →大きな音、話し声、密集した場所が苦手かも？ →レベルごとに慣れていく作業
10月15日 ゼミ
自分の書いた線表、マッピングについて発表して意見もらう会
＜自分の研究＞ 目標→心拍数、動揺に応じてモードを切り替える。 これから→キーでモードを変更できるように ・モード、ユーザーの心情→エージェントの表情に反映
＜先生からのアドバイス＞ ・じぶんとの「距離」を重視 ・例：①近くに苦手エージェント、遠くに友人エージェント→心細い ②近くに友人エージェント、遠くに苦手エージェント→落ち着く ・とりあえず「キー」でモードを変更できるようにして、そのあとに「心拍数」などを使っていこう
10月29日
システムフロー図修正版を発表 ＜アドバイス＞ ・「脳波計測」「心拍計測」は身体的なこと、「カメラ」から取得する情報は物理的なことなので、別々に考えていくのもいいかもね（竹村さん） ・教室内エージェントの「動き」についてはこれから考えていくってことですね（米澤先生）
＜自分＞ ・直近は、Unityの「Slider」を使って、難易度変更や緊張度ゲージをUIで表示したい ・教室空間を作る
11月5日 10月進捗報告
＜アドバイス＞ いい感じで自分が没入している感が表せてる（先生） 目標をハードにセッティングする
＜かんまきさん＞ ・心電で緊張度を計測 ・動きながらでも計測可能 ・必要物 ① arduino ② 張るやつ ③ コード ④ 機械
・身体に貼ったら数字として返してくれる ・「Switch science」というサイトでセンサーは互換性のあるやつで代替可能かも、米澤先生にまず聞いてみる ・数値読み取ってそれをProcessingで値を参照できる ・「キネクト」で「視線」を検出
＜これからやること＞ ・Unityのスライダーをユーザーの位置と対応付けて、バーが動くようにする ・かんまきさんに紹介してもらったやつを、竹村さんと先生にレンタルできるか聞いてみる ・翔に聞く。ｐ５ｊｓも？
１． 体制について 同期に聞いて、先輩に聞いて、先生に聞く。 同期とかで情報共有 ２． スケジュールとTODOの更新 Wiki更新 ３． プレゼミのサポート参加 11/26 オリエン 12/3 プレゼミスタート（昼休み）
４． オンライン合宿
＜調査＞ 論文なり、文献（本）を読む
＜記録を残していく（自分の研究、論文情報）＞ ・書誌情報 excel 著者 タイトル 発表のメディア（Youtube等）、○○出版社、発表の詳細、情報を取得した日時、感想（研究の面白み、自分の研究への関係がどうあるか）、１０個くらい読んだらGroup化してみる、月に10本を目標に論文探す
・VPN設定をして、無料論文を探せるものは探していく
本を探すときは「KOALA」 Google scholar 日本語で検索してそれを英語で探してくれる。（一般化した）キーワードを入力
12月3日 Wikiについて 各自読んできた論文を発表
＜やること＞ Wikiの編集 ・マスクありマスクなし写真を載せる ・目標をそれぞれ書く ・論文の読んできたやつをWikiに更新 ・
＜来週＞ 11月の進捗 論文をパワポを使って発表
12月10日 ゼミログ
＜１１月進捗＞ 石田さん、芝君、戸高君の11月進捗発表。 先生は別室でZoom参加
＜各自作業＞ エージェントグループの会話で、光嶋さんが「３DSマックス」を提案。 →３ｄオブジェクトの移動が簡単にできるソフト →Unityと連携も可能、「３DSマックス」で作ったエージェントとその動きをUnityに持ってきて動かすことが出来る。
＜自分の研究＞ 〇発見→LeapMotionが使えそう。 堅川さんがLeapMotionを扱っているため教えてもらうことに。 備品をレンタルできた。
12月17日
11月進捗 オンライン、オフライン ＜自分の研究について＞ LeapMotionが必要ない。エージェントに向けて手を振る、などのアクションをしたいのであればKinectを利用したほうがいろいろな文献が載っていていいかも
12月24日 ログ
＜11月進捗報告、オンライン合宿成果＞
＜余くん＞ コミュニケーションの「非言語」に注目したい 行動の処理、対戦行為における感情表出 シーンの画面の色→入力 色によって感情を決める？ ＜光嶋さん＞ リアルタイムのビデオで顔を検出 ProcessingとOpenCVと使って顔認識→先輩の協力でクリア ブイくんと話を進めている 現時点では顔と目を同時に検出して囲んでいる ・興味ある論文↓
＜こくぶくん＞ Face＋＋を動かせるようにした Webサイトでサンプルコードを取得 先生「年齢性別の予想も出せる」 感情の数値を検出 顔から表情を検出とは別に、顔の表面温度を利用 Python
＜ひょうさん＞ ３DSMAX → 人のモデル → Unity AR画像についての勉強 論文↓ ・記憶障害と認知症への工学的支援 ・認知症者との遠隔対話履歴を用いた思い出ビデオの作成支援 ・高齢者の心を支えるICTシステムの開発
＜西野＞ 前回の作成物の改良 ボタンを付ける（成功）
＜丹野＞ ゲームシステムのデータのバックアップを取る 参考文献調査 Wiki記述 Unity使う上でバックアップは取ったほうがいい →UnityHubでやれるらしい
＜先生の伝言＞ 情報はSlackで共有 使えるツールを一つ増やすのが良い
OB説明会の案内
２月２日→三回生成果発表会 ２月後半→四回生成果発表会
・2/2 発表 自分の研究の特徴 一人２０分やったこと発表 秋学期やったこと 一月進んだこと 三回生でslack議論進めていく
・レポート （ワード、ラテフ（こっち）） 四回生のやつを参考にする HI学会研究会フォーマット A4を４枚ぐらい スラックのリソースをピックアップしていく 2/12ごろが成績（その前にレポート締切）
春課題は進路に応じて構成するので相談してください 2/20までに春課題の設定、相談完了のこと
自分で相談を完了、自分から先生に
LateX TexWorksをダウンロード
2/2 一年のまとめ発表会
神牧さんともっと相談などしてもよいのでは？ 岩崎君の研究の「かすみ」も利用できるのでは？
＜神牧さんと関係＞ 心電（自律神経だけでなく興奮）→ふるまいを変えていく 入力→出力 ペルソナ（特定のユーザに絞る）
＜岩崎君との関係＞ ViveProEyeを利用している岩崎君 例） ・緊張度に応じて、周りを見えなくする ・半分ぼやかす ・友人エージェントだけ表示する ・半透明化 →心的ストレス 減少
＜活かせそうなこと＞ 入力→出力を意識 「枠組み」を作ってみる （シーンやエージェントが）スムーズに連続的に状況が変化していく 相手と自分の状況に応じてシーンを変化 苦手エージェントと、友人エージェントの状況毎の割合 まずは「if-then」でOK のちに関数などでスムーズに状況が変化していく（連続性）
参考 Expressioncamera
・卒論は文章だけでなく、画像、表など ・先輩のWikiを見ながら参考に、上のほうがいいドラフト（論文） ・卒論ドラフトを作る ・位置から文章書くのではなく、外側の骨格から考える（大事） ・読んだ論文をレポートなどに含めてパーツにする
ポスター作成 フローチャート
＜これからのやること＞ ・Wikiの研究ノート① ・ポスター③ ・卒論のドラフトVersion1を準備② はじめに、関連研究、提案システム（手法）、検証、考察、おわりに ・google docsで作成、共有③ ・研究ノートにリンク
＜自分のこと＞ ソケット通信 論文まとめ 研究ノート
春休みの発表 ＜自分＞ ・Arduino、Processing間はシリアル通信だった ・Unity側OSCで受け取り（？） ・9000番とか9040番とか使ってない番号を利用して通信を行う
竹村さんのSlackに参考になりそうなリンクを二つ送ってくださった。
・同一端末内ならIPアドレスはlocalhostでよいから、そこは大丈夫だけど、気を付けるべきはポートナンバーを送信側と受信側でそろえることがまずポイント ・Processing送信、Unity受信になるから 「OSC Unity」「Open Sound Control Unity」
おわりに ・この論文で何を扱ったのまとめ、結果とか ・今後の展望（この研究の先に何が出来るか）
提案システム ・目的が先、概要が後 ・用いる技術→「4.2構成の詳細」 ・4.3動作・動作フロー（実際の動作がどのようになったかの記録） →ちゃんと動いたということをいうために
＜ブレイクアウトルームでポスタードラフト見せあい＞ 参加者 不登校までにはいかなくとも、不登校に陥りやすい人、そうでない人 被験者の中で属性を分けると レベル分け→一人に対してレベ１，２，３，を体験
〇被験者の問題(米澤先生) ドラフトは独自の章を作ってもよい 実際に「聴覚障がい者」「不登校児童生徒」を用意するのは難しい 敵意を感じるか この人といると安心感がある 状況毎で、仲間がいて安心である 違い 安心感を提供するためのバーチャルエージェントのふるまいは何でしょう？ 攻撃的、 リサーチクエスチョンにしていけば 遠隔授業が増えていく中でエージェントの立ち位置や安心感、恐怖感 システムで心の扉を開ける、不安感が減る→不登校児童に繋がるのではないか ↑これを直近のクエスチョンにすればいいんじゃないか
＜実験の計画の話＞ ・Aという要素はBできるか ・０＋A VS ０ →Aの要素が比較できる ・計測事項の検討 ・主観評価による心理的計測→5段愛7段階とかで直感的に答えてもらう
・MOS（Means Opinion Score)法：「」にあてはまる〜あてはまらないを5段階・7段階評価。リッカートスケールとも聞く。 ・今回のセッションで、コミュニケーションの実感がある＞ ・５あてはまる、４ややあてはまる、３どちらともいえない、２ややあてはまらない、１あてはまらない→当てはまる度合を評価する
MOS法の分析 ・分散分析：分散を使って、統計的に平均値の違いの有無を調べる →Aがあるときないとき、差があるのか？？どちらが上か？？ ・ANOVA４（分散分析ができるツール）を使ってほしい →分析後結果からF値とｐ値を取ってくる（Ｆ＝21.714、ｐ＝0.0002****） →ｐ＜0.05なので、有意義である →つまり「Ａがあるほうが良い」と言える →注意点：論文にグラフを利用するときは、上限値下限値を大事にする（ずるで差が大きく見せられたりする） ・効果量（＋α知識） ・多重比較：3個以上を比較 例）Ｂ１のときＡ１Ａ２Ａ３どこに差があるのか→「甘い時には茶色と黒色では差がない」ことが分かる
☆RQから要因を絞り込んで実験で比較する RQ：コンビニから揚げは味が影響するのか？？ 仮説：色と味が影響して、赤くて辛いのがおいしい （仮説：赤辛 茶甘がよい） 要因選択：色要因、味要因 要因内におく水準の検討 剰余変数：本来比較したいことを邪魔する隠れ要因 茶色の色素がまずい これをできるだけ減らそう ※研究倫理の注意：被験者を傷つけない、データを捏造や改ざんしない
・「SD（Semantic Differencial）法」：形容詞対を作る 例）熱い5点 どちらでもない3点 冷たい1点 → 因子分析などの感性評価的なものに使える 30個近い形容詞対を使って因子分析できる、重要なファクターを見つける
計測事項：心理以外、客観測定 ・視線・行動を計測（立ち上がった回数とか） ・生理計測（脳波、脳血流、皮膚電位、心拍や心電）
＜課題＞ 実験計画書フォーマット 仮説を考える 複数→複数の計測事項になる 計測事項を考える 比較条件（要因、各要因の水準）を考えてみる 比較パターン、新規性がちゃんとあるか大事
書いてきた実験計画書をお互いで見合って評価しあう グループ：岩崎、岡田、はぜき、（竹村さん）
・実験材料にProcessingとかを ・実験手続き ・教示内容→何を説明して何を指摘するのか、どうやって進めるかの説明 ・実験するぱしょ→対面実施予定、オンライン実施も視野に入れる ・質問事項に「エージェント」ではなく「キャラクター」を使う。それ以外はエージェントでOK ・質問事項に曖昧な言葉（色んな意味を持つような言葉を使うときは気を付ける） ・「仮説を明らかにするには何を聞けばいいのか」で考える ・キャラクターがそこにいるように感じましたか？ ・意外性→驚きか？新しさか？
メモ ＜仮説＞ ・友人エージェントがいるか、いないか ・友人エージェント、苦手エージェントどちらがユーザの近くにいるか ・友人エージェント、苦手エージェントそれぞれが複数いるとどうか ＜システム実装＞ ・「手を振る」アクションをProcessing→Unityで繋げることはできた ・セリフを表示する用のUIをとりあえず作る、松村さんのシステムが参考になるのでは？ ・次は、「手を振った判定」、「特定のエージェントと近い座標内にいる」が重なった時に、エージェントが話しかけてくる。UIのText。
「手汗センサー」Arduinoで計測もありかも
ブレイクアウトルーム（岩崎岡田、かんまきさん、大林、森山、美馬）
かんまきさんや、岩崎君、後輩3人と研究の方針や近況報告 松村さんのブレイクアウトルームに移動 ・Unity上での音声認識の手順や仕組みを教えてもらう ・KeywordRecognized
＜今月末までに＞ ・ドラフトバージョン２ ・小山田君とかの卒論を参考に、必要な調査や卒論構成をして、内容を丁寧に埋めていく ・実装の完成（デモが出来る程度） ・実験計画書の完成とチェックを受ける×２ ・関連研究の文献本数２５以上にする ・後輩先輩その他先生と相談をして、議論を深め、ドラフトにつなげる。研究の新規性、RQの明確化をする
敵対エージェントの行動 ・つめよられる ・囲まれる ・私物使われてる、席使われてる
親近エージェント ・授業終わりとか、教室に入るときに、ユーザに近寄ってくれる
セリフ ・今日の課題って何？ ・小テストってあった？ ・
状況も決めて伝える必要がある（今は昼休みです。みたいな） 自分以外の人が仲良く 親近エージェントを緑色、敵対エージェントを黄色（黄色信号的な） 中立エージェントを3人で固定 中立エージェントが敵対に見えるかどうか、 帰り際に手を振って「バイバイ」をする体験
・実験を２つに分ける ① 比率、人数比だけ ② 距離感・歩み寄り、正距離（親近エージェント近い、敵対エージェント遠い）、逆距離（正距離の逆）、会話、手を振る
