![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
#author("2020-12-24T14:30:28+09:00","","") #author("2020-12-25T12:59:55+09:00","","") [[20_Buicuongthinh_Note]] **米澤ゼミ log [#l272c0af] *4/23 [#l4972795] +連絡はディレクターに SLACK で先生と連絡する。 +研究の目的をよく考え、卒論のため。 （２９日に大学院ミーティング） VPN接続（ITセンターで申し込み）： Jstage、家で図書館の論文を読む方式。 +この以後のゼミ：個別相談（メイン）。 + コンテストの参加：興味があれば。 *5/14 [#gcf74db2] -ヒョウさん 認知症を患ったお年寄りのために ARを利用して昔の人と出会うシステム お年寄りを連れて体験する 認知症を患ったお年寄りの生活の質を高める →傾聴において思い出ビデオ -戸高君 教育システムにおける積極的参加の促進 能動的教育システム（バラエティ番組のような授業を作る演出） 音の嗜好性を研究して早押し式挙手 学びを支援するメディア -はぜき君の研究枠組みと近い（空間を使ったエンターテイメント） -国分君 ゲームをより面白くするために→緊張感が途切れない飽きないゲーム VRをもっとリアルに→NPC 発汗量、心拍数、顔の表情 →表情認識の学習 *4/6 [#hcf7e543] -丹野君 コンピュータゲームの面白さと担保している要因は何か →危機的状況の回避が刺激的、自己投影 コンピュータゲームと駆け引きの関係性とは（これがメイン） →駆け引きとは、相手と自分とのやりとり、利益と損失 研究方法 →ゲーム分類、フレームワーク化（ゲームの共通項を見出してシンプルに考える）、要素抽出,格闘ゲーム→瞬時のプレーヤーや対戦相手の状況から予測し合う＝駆け引き 分析するゲームを増やす、50のジャンルのゲームの分析をし終える -国分君 VRゲーム、NPC ユーザーから取得できるデータ 顔表情から取得 人間の情報を取得して機械学習を使って感情によって変わる顔のパーツの動きを数値化し推定。目、鼻、口の３つを結んだ面積によって分析していく 今後は機械学習の勉強、論文 -余君 エージェント作成 感情推定 プレイヤーの感情を推測するはぜき君 ライブやショーの演出 会場全てで演出する方法を考える どこの席からでも演出の迫力を伝える 空中に映像を投影、立体音響を組み合わせる、参加型ライブ 水、ミストへの投影、ホログラムの利用、３Dファントム 今後→ プログラミングの弁よう、アニメーション、プロジェクションマッピング、人はどんなものに臨場感を感じるのか、水を使ったプロジェクションマッピング -石田さん 共感のモデル化 共感→リズムの共有＋リズムのタイミングの共有 -岩崎君 ゲーム中の周辺視野→その処理を現実に応用、集中力を上げる方法 ユーザの目付近につけてみている景色が写っているカメラ映像をVRに 周辺視野をぼかす カメラとヘドマウントの連携 視線の取り入れ Vrの加工 装着していない時の集中力との差を調べる 適当なぼやかし具合を調べる -西野君 音楽を可視化したMV制作のシステム 音要素を目に見える形に変換して映像化 新しい音楽の楽しみ方、音楽制作に参加、自分の思う音楽のイメージを表現、視覚から聴覚聴覚から視覚 有用性→エンターテイメント、音楽検索に利用、聴覚障害者 今後、音の要素を検出するシステム -しば君 視覚や触角から音楽を感じる 手や足の動きに応じて画面内にしるしみたいなものが出る 今後 フーリエ解析 →音階の色彩化、絵を描いたような感覚で音楽を楽しむ、リトミック -戸高君 テロップや効果音の演出を授業に 早押しボタンを使った授業→誰が応え得るのかわからない→３D音響を使って解決 授業を音で制御→相談時の音、復習の音 音の環境作り＋視覚情報近い研究の人との違いを明確にしてみること 自分が何を強調していけばいいか見えてくる *6/11 [#pf634f6f] 6/15から図書館開く 提出資料はslackに -岡田君 VRを用いた不登校児の支援システム 再登校のリハビリ支援 自宅の壁に投影 →教室、友達、家から登校していく友達、苦手な人は投影しない 段階１：人の顔を別のものに置き換え 段階２：親しい友達のみ 今学期は壁面投影世界、裸眼立体視について勉強 →いくつかの段階に応じてエージェントにも段階を、親友エージェント、ちょっと友達エージェント、親しさ係数 -佐藤君 人の感情 深層真意について分析 分析方法→会話型、解析型、マルチモーダル解析（人間の五感を使って複数の計測を同時に行う） 応用先はロボット、ロボットに相手の需要は何なのかを理解できるようにする 今学期は深層真意、人の感情の分析方法や解析方法を勉強、プログラミング学習 →人とロボットの距離、人がロボットに近づきすぎた時ロボットはどんな反応をするか、 -光嶋さん もう1人の自分に相談、アドバイス 対象：自己肯定感の低い人、ネガテイブな人 自己暗示システム、理想と現実の間ぐらいの自分 未来に向けての自分のアドバイスをためておく 相手の話を聞きながら自分い少し近く見せる 落ち込んでいるときに、少し明るい表情、まばたき、聞いてもらってる感を出す 今学期：表情検知システム →気分が下がっているときに、少し気分が上がる状態を見せたり、ちょっと明るい時の自分で話しかける →過去の自分の写真（いろんな感情）のものを撮り貯めておく -ブイ タクシーの車内で会話学習と会話支援システム ドライバーが運転しながら後ろの人との会話を取りやすくする 後ろに座っている人の画像を位置関係をデザインして設置 お客さんがいない時、英会話を学ぶステージにする お客さんがいるとき、疑似体験コミュニケーション 対面感を持たせてコミュニケーションor過去に録った録音を流す（観光案内） -松山君 認知予防プログラム タイピング、音声認識、表情認識 昔の画像を表示、相手の気をひく取り組み（それについて会話をしったくなる仕組み） 音声認識Julius、表情認識faceAPI 音楽療法を取り入れる。→タイピングBGMなど 今学期はJuliusを使えるように、juliusでおうむ返しができるように、表情認識でゲームができるように →「～ね」のおうむ返し、Siriと連携が将来的にあれば技術がつながる -ヒョウさん 認知症を患った自尊心回復 ARを使ってシステム開発で生活の質を高める スケジュールは アンケート→CGモデルの作成（会話形式の音声をつける）→体験 システム作成にあたって利用するソフトはprocessing 音声をつける手段を探す CGモデルでは昔の知り合いに会えるもの（音声合成とCG） →アンケートは中国と日本の両方でとってみては？ →アンケートではメディアとエピソードをを集める、それとは別のアンケートもとる -住本君 AIと感情 人とAIとの関係をはロボットにAIを取り込むことで人らしい行動をしたり表情をしたり 研究のためのステップ AIキャラクターの作成、音に反応するシステム、音と感情の評価 →音声同士のコミュニケーション、ユーザーの入力も音声 →利用シーンを考える今日やること 前回今回のみんなの発表に関して総合評価 名前・プレゼンのわかりやすさ・面白い内容かどうか・有用かどうか・技術に期待できるかどうか5点満点×4項目×人数（自分含む）を米澤先生へ 前回今回自分が指摘された内容を整頓して米澤先生へ フォーマットに自分の研究を再度記入 進捗計画を立てる スライドを先生に送る *6/18 [#t86f9d8a] -6/27~6/28オンラインゼミ合宿 -6/27 10:00集合 -6/28 16:30集合 どのくらいのものを作るか目標を決める 今学期中にやることを段階分けしておいてその一部を取り組んでみる H.W;合宿で何をするかわかりやすく説明するために計画を絵にしておく ＜音楽チームブレイクアウトルーム＞ 合宿のスケジューリングについて --岩崎くん：カーソルの中心がクリアに見えて周りがぼけるプログラムを作成 --芝くん：processingを本に沿って学んでいく予定 --はぜきくん：冬・春課題に引き続きprocessingでアニメーションを作ってみる --戸高くん：①なにかの画像を出してそれに関係する音声とテロップを出すプログラム。②画像の切り替えプログラム。画像に応じてテロップと音声をつける。肌色検出 --石田さん：音楽再生もしくはセッションアプリ（processing/androidどちらを使うか検討中） --西野くん：音の要素をどれか検出してみる→pd *7/9 [#fecfd529] 報告連絡相談しっかりしましょう！ 同じソフトウェアを使う人は講習会を開いてみては。。。 ゼミ以外の日に同じ分野に興味がある人同士で相談していけるように！！！ ////////////連絡////////////////////////// --キャン祭→オンラインキャン祭 自分のやっていることを一枚のパワポ（絵）にして紹介ムービー（来週火曜まで→LMSに提出） --GLインターン→開発系 *24/9 [#ff890d53] オフィスアワー 10/1,10/6,10/8,10/14昼休み (zoom→id及びpassわからない人は個別に聞いてください) オンラインオフライン共に来た人はフォーム入力してもらう 春までの課題デモの作成 係の実行 合宿、合同プロジェクト 研究ノートの作成（最低1日1回は見返す） 来週、夏休みの後半進んだことをプレゼン発表３分質疑2分 pcとプロジェクターを接続する方法を各自準備しておくこと *10/29 [#f9d1ac12] 発表後にチーム分けて、コメントをもらったログです：＋（フロー図は一つにまとめる） →普通に合体して、一つのフロー図になれるはずだ。 ＋ 最初お客さんがいるかいないか判定する部分が必要： →このシステムを使ったら、車内にビデオ画面も設置すると思うので、 そのビデオ画面でお客さんがいるいるかどうかを認識してもらうのでは？ また、手動的に起動する。お客さんがいるかどうか運転手がわかるので、 ボタンなどで起動するのは最も簡単なやり方だろう。 *11/5 [#t24c6ad2] -岡田：不登校児支援システム 教室内エージェントを作成、教室モデルはユニティのサンプルを利用、今は緊張度を表すUIスライダーで表現。緊張度を脳波、心拍、視線、表情させるようにする予定岩崎：視線取得、視線先をぼかすシステム VRでの視線取得方法について 今後は現状の制作物に視線取得を組み込んでいく佐藤：表情認識 faceAPI 顔のデータ取得→カメラの取得ができていない p5.jsのフェイストラッカーのサンプルを発見 -余：NPC UE4で簡単なNPCを作成 今後はNPCの顔画像を貼り付ける →NPCではなくない？？ -丹野： ゲームシステム、心理戦理論の勉強 ゲームシステム→プレー中に生じる心理戦をどのように分析するかの解決策を発見（変数に座標軸と時間を入れる） 心理戦→発生条件の仮説意思決定相互関係があり、非協力的かつゼロ和ゲーム、誘導させたい考えと誘導させるための行動や「情報は相互あるいは片方に存在し因果関係が生じている状態 質問紙の内容について -芝： 線表、フロー、リトミックについての文献を読んだ 今後はMMDを参考にエージェントを作成、音の代わりに振動を与えたい、BPMに振動を変える、カメラ認識（両手両足胸頭）を認識させる →BPMをarduino もしくはバーチャルで表現する -光嶋： ジャバスクリプトの勉強、フェイストラッカー 分身エージェントを健康的に見せる、を意識 フェイストラッカーのサンプルを動かしてみた 目の左右の位置、くちの左右の位置を座標上で検出 -石田：音を聞いてエージェントに共感を誘発するシステム エージェントの顔を縦揺れ、横揺れさせる →どのくらいの時間をかけて動くのか統一すべき、縦揺れを考え直した方が良い *11/12 [#g5407497] -はぜき： レイヤ構造について 複数枚の透明ディスプレイ（アクリル板、半透明のなんか）を重ねた時の見え方の検証 →色の検証、円の動きの検証、輪郭etc色々試した →アクリル板でやったらうまく行った 今後はワイヤーフレーム、パラメトリックスピーカーについて取り組んでいく -国分： コンテストで作ったプログラムの説明 -西野： 音源からリズムの検出→bpmにする 音量と周波数を視覚化するシステム 課題 １つの円に情報を収めるのはわかりにくい→円を複数に分けて高音の周波数低音の周波数を円で分ける ProcessingとPureDetaの再生ボタンを１つにまとめる 今後Bpm、もしくはその他リズム感の検出 -松山 感情を代弁するエージェントの試作、unity の勉強 マウスを押すことで表情が変わる、マウスを動かして感情が変わる、マウスの座標で表情が変わるエージェントの作成 今後は faceAPIを起動させる、音声とタイピングを合わせたシステムの作成、unityの勉強を続け、unityで仮想世界を作る -ブイ 前回のフローの見直し 会話コースか学習コースに分ける それぞれのコースで（挨拶、観光案内、会話展開）を練習する -ヒョウ フローの見直し 対話システム→Julius、winSAPI 今後はPCが先に話しかけるシステムを作る戸高 書籍を読んだ フレーミング（物の見方が特定の方向に誘導されること）に注目していきたい ゲインフレームドメッセージ、ロスフレームドメッセージ *11/19 [#q9033f5a] +意見交換の体制～ 今後は先生だけと連絡をとるのではなく、4回生や院生も含めたチームごとに話し合う →盲点や意見の枯渇を防ぐために 一人に相談するのではなく、同期同士・グループ内で意見交換をして、議論を温めてから先輩や先生に相談をする。～ +スケジュールWiki To Doの更新～ 12/1期限～ +プレゼミのサポート・参加～ 11/26 オリエンテーション 12/3～ プレゼミ開始（木・昼） お昼の時間帯はい居てほしい～ +情報共有～ 互いに情報を共有する 面白い文献、などなど 特にグループ内での～ +オンライン合宿～ 12月上旬に開催？？？ *12/10 [#r78d25bf] -石田さん： --前回からの修正点：＋エージェントのうなずきの表現を修正 ＋体の動き --追加実装：＋エージェントの興奮表情の追加 ＋拍子の追加 リズムパターンを持つものも追加する。 リズム視聴時のヒトの感情 リズムによる体の動き追加 -芝君： --既存ファイルに合わせて、MMDを動かす。 --参考論文を読む。 --今後の展開: ---MMDをpythonを使って動かせるようにする ---入力した楽譜情報から、自動的に動かせるようにする --論文紹介 --→先生のコメント：ボリューム：手を伸ばす横幅 音の高さ：手の高さ（ひざから頭の上の方へ） メロディーを感じさせる動きのリトミック リズムを感じさせる動きのリトミック 二人の聴覚障害者が一緒に演奏する -戸高君： --論文紹介: +クリッカーを利用した授業 能動的学習授業: ---従来の授業の受け身による問題点 ---生徒側は楽しくない、受け身の体制が続く ---クリッカー導入により学生がクイズ番組の解答者になるので，集中して理由を聞き入る学生が増える ---今後 競合意識、ゲーミフィケーションを キーワードに加え文献調査を行う --→先生のコメント： ---クイズの出し方と授業中の内容の理解度の確認が異なる。 ---授業の一番最初と一番最後にクイズが出すのは効果がある。 -個別面談： --竹村さんが論文調査について相談に載ってもらった。 ---+「英語学習」、「会話支援」、「語学学習支援」などで検索してみたが、似たような論文を見つけなくて、困っている。 ---→○○ながら、英語学習 ---→母国語で検索してみる ---→観光案内 -合宿 --オンライン合宿＞場所はゼミのZoom つなぐ時間：自由！！ 集まれる人だけで土曜日の昼休み 日曜日の３時ぐらい 今回は週末中に終わったことは発表しない 次回のゼミで何が進んだか、どのくらいできたかを発表する *12/17 [#rd21d1b1] -櫨木君: --論文紹介： ---複数の可動レイヤーを用いた ---三次元像表示技術の現状の展開 ---超指向性スピーカを用いた仮想オブジェクトの実在感向上手法 ---後輪上映像表示技術の実用化に向けた多層空中像表示と多視点 --合宿でやったこと： --45度を肯定する。 --見えたり、見えなかったりすることがある。 --他の人も見てもらって、判断してもらいたい。 --→先生のコメント：複数断面提示法、物体の断面などで>ワイヤーフレームになる。 -松山君: --FACE-APIを使って、顔の認識を可能にする(今の段階ではハッピーの表情しか認識できていない） --音声とタイピングを合わせて、試作品を作る。 --12月の目標： ---論文の探し ---Visual Studio Code をProcessingと繋げる。 ---音楽を取り入れる --論文紹介： ---認知症のステージ進行に応じたケアの特徴 --先生のコメント：音楽認知トレーニングプログラムの提案 指・足・手の動作 -岡田君： --11月の進捗： --表情検知: ---佐藤君と松山君から教えてもらった --心電計測の下準備: ---Arduinoを使う ---Arduino→Processingと連携→Unityと連携→UIでリアルタイムに「緊張度ゲージ」を表現 --論文紹介: ---LeapMotion：赤外線LEDに映された手や指を２基の赤外線カメラで撮影し、画像解析によって、３D空間での手や指の位置を割り出す。（Unitytと互換性が高い） ---シースルーディスプレイを用いた手とCGによる直接インタラクションシステム：Unityで作成した空間をハーフミラーで投影し、LeapMotionを用いて仮想物体を使用するより、簡単に組み立てられるメリット。 ---中学校不登校生徒に対する遠隔教育システムを利用したりメディア教育に関する基礎的研究：デスク型遠隔授業端末で不登校生徒の学業の遅れをサポート、学習異様くの方向による、復帰意欲の向上を図るもの。 -岩崎君： --線表より： ---11月までに：VR上での視線取り込み方を見つける ---12月までに静止画で視線以外をぼかすアプリの制作 ---1月までにVRとカメラの連携 --今後の課題： ---1月までにVRとカメラを連携させ、ぼかしアプリケーションを完成させる。 ---論文を読む（周辺視野、VRではなく、AR・も） --成果： ---VRとカメラの連携 ---研究で慰労するカメラ映像をぼかすアプリケーションの完成 --論文調査： ---一点注視型タスクにおける周辺視野への視覚刺激表示が集中度に及ぼす影響。 ---図形知覚における中視と周辺視の機能差 ---周辺視野への視覚刺激提示が時間評価に及ぼす影響 -ブイ： --11月進捗発表: ---スタートの顔認識を実行した ---会話途中に目の認識でしゃべりたいかどうかを認識する --今後の課題： ---データファイルの準備を進む。 ---会話が止まる時に音楽が流れる。会話が始まる時に音楽が消えるようにする。 --論文調査:色々なキーワードで探してみたが、似たような論文がなかなか見つかっていません。シャドーイングに関わる論文だけを読んでいた。 ---リスニング力向上におけるシャドーイングの効果について ---英語のプロソディ指導におけるシャドーイングの有効性 ---初級授業にシャドーイングを取り入れる―先行研究から学ぶ― -佐藤君: --11月進捗： ---Face APIの動作の完了：六種類の感情をリアルタイムでの同時検出に成功 --今後の展開： ---エージェントの作成 ---画面内に映し出したエージェントに距離の変化を持たせる。 ---Vive eye proで視線の検知は少し困難 ---脳波：や音声を取り入れる *24/12 [#f661ce9b] -余君： --11月進捗発表：---UE4で簡単なNPC作った。 ---感情の表現、コミュニケーション ---言語と非言語>>非言語に注目したい、また、表現、ジェスチャー ---行動の処理：戦う、検索、走る、など ---テンプレートの場合も作る。 --先生のコメント：---どういうものを作ってるか整頓されたが、出力と入力は。 ---移動によって、感情が変わらない場合も作っておくこと。 ---- -光嶋さん： --写真からではなく、リアルタイムのビデオから顔を検出することに変わる。 --ProcessingとOpenCVを使って、顔認識、…成功わからなかった部分も先輩方に聞いていた。 --現時点では顔と目を同時に検出して囲んでいる。 --ゼミの合宿: --論文調査： ---鏡 [扇情的な鏡] ：鏡の中の自分が実際の自分と違う表情をすることにより自身の感情起伏に影響を与える ---FaceTracker による自己の笑顔増強コンテンツ: ユーザーの表情を読み取りながらディスプレイ上に表情の変化を表示させ，自己の表情を認識させる試みに取り組む ---看護師の表情の違いが対象者のリラクゼーションに及ぼす影響：今読んでいる。 ---- -こくぶ君： --11月の進捗からほとんど進展していない。 --調べたもの： ---Face++ ---Faceを使ったプログラムの調査 ---精度を他のAPIと比較した。 --これから：オンライン合宿、冬休み課題に頃を課題に設定して、コードの完成を目指す。 --論文紹介: 顔表情の可視情報と非可視情報による感情推定に関する研究 ---- -ヒョウさん： --AR画像について勉強した。Unityも勉強し始めた。 --流れとしては:3dsMax →人のモデル→Unity --論文発表：---記憶障害と認知症への工学的支援：記憶障害で軽度の方にはメモリーエイドによる支援 ---認知症者との遠隔対話履歴を用いた思い出ビデオの作成支援 ---高齢者の心を支えるICTシステムの開発 --先生のコメント：---冬の課題を多めにすること。 ---会話の流れを多様性に付ける。 ---昔の画像からテクスチャを顔に貼り付けるのが良いかなと思いましたが大変かもしれません。 テクスチャ＞ブレンドシェイプ？？ 昔の対話ができるための情報を得る ---- -西野君： --前回作ったProcessingとPure Dataの音楽視覚化システムの改善→OSCで連携させてスタートボタンを統合（成功した） --音源をもっと簡単なビードに変えようとした→変えるとシステムの動きが悪くなってしまった --実習レベルでテキストマイニングを勉強した。 --論文：---11月はしっかり文献を読むことができなかった ---理想に近いシステム（見た目）を見つけた。 --システムの改善： ---Pure Dataでローバス、ハイパスを使って、周波数の幅ごとに円をわけてみる。 ---円以外の要素での表現を試してみる。 --今後の方向：---テキストマイニングで歌詞情報の抽出を始める ---文献を読み、知見を広げる。 ---システムのビジュアルの改善（円以外の表現など） ---- -丹野君： --参考文献調査： ---Excelで管理するように ---文献カテゴリでノートができて便利である。 --アクションゲーム： ---地形開発：Terrain。 ---キャラクター操作とアニメーション:キャッシュ、Mecanim。 --今後の展開：---敵キャラクターの出現、攻撃判定、攻撃モーション ---ゲームのデータがなくなったので、また、格闘ゲームを作ろうと考えている。 ---- -注意事項： --冬課題について、他のゼミ生と共有をしながら、課題を進むこと。 --1月やっておきたいことも設定すること --新しいツールを一個作る。
