20_Buicuongthinh_Log
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
]
開始行:
[[20_Buicuongthinh_Note]]
**米澤ゼミ log [#l272c0af]
*4/23 [#l4972795]
+連絡はディレクターに
SLACK
で先生と連絡する。
+研究の目的をよく考え、卒論のため。
(29日に大学院ミーティング)
VPN接続(ITセンターで申し込み):
Jstage、家で図書館の論文を読む方式。
+この以後のゼミ:個別相談(メイン)。
+ コンテストの参加:興味があれば。
*5/14 [#gcf74db2]
-ヒョウさん
認知症を患ったお年寄りのために
ARを利用して昔の人と出会うシステム
お年寄りを連れて体験する
認知症を患ったお年寄りの生活の質を高める
→傾聴において思い出ビデオ
-戸高君
教育システムにおける積極的参加の促進
能動的教育システム(バラエティ番組のような授業を作る演出)
音の嗜好性を研究して早押し式挙手
学びを支援するメディア
-はぜき君の研究枠組みと近い(空間を使ったエンターテイメン...
-国分君
ゲームをより面白くするために→緊張感が途切れない飽きないゲ...
VRをもっとリアルに→NPC
発汗量、心拍数、顔の表情
→表情認識の学習
*4/6 [#hcf7e543]
-丹野君
コンピュータゲームの面白さと担保している要因は何か
→危機的状況の回避が刺激的、自己投影
コンピュータゲームと駆け引きの関係性とは(これがメイン)
→駆け引きとは、相手と自分とのやりとり、利益と損失
研究方法
→ゲーム分類、フレームワーク化(ゲームの共通項を見出してシ...
分析するゲームを増やす、50のジャンルのゲームの分析をし終...
-国分君
VRゲーム、NPC
ユーザーから取得できるデータ 顔表情から取得
人間の情報を取得して機械学習を使って感情によって変わる顔...
今後は機械学習の勉強、論文
-余君
エージェント作成
感情推定
プレイヤーの感情を推測するはぜき君
ライブやショーの演出
会場全てで演出する方法を考える
どこの席からでも演出の迫力を伝える
空中に映像を投影、立体音響を組み合わせる、参加型ライブ
水、ミストへの投影、ホログラムの利用、3Dファントム
今後→
プログラミングの弁よう、アニメーション、プロジェクション...
-石田さん
共感のモデル化
共感→リズムの共有+リズムのタイミングの共有
-岩崎君
ゲーム中の周辺視野→その処理を現実に応用、集中力を上げる方法
ユーザの目付近につけてみている景色が写っているカメラ映像...
周辺視野をぼかす
カメラとヘドマウントの連携
視線の取り入れ
Vrの加工
装着していない時の集中力との差を調べる
適当なぼやかし具合を調べる
-西野君
音楽を可視化したMV制作のシステム
音要素を目に見える形に変換して映像化
新しい音楽の楽しみ方、音楽制作に参加、自分の思う音楽のイ...
有用性→エンターテイメント、音楽検索に利用、聴覚障害者
今後、音の要素を検出するシステム
-しば君
視覚や触角から音楽を感じる
手や足の動きに応じて画面内にしるしみたいなものが出る
今後
フーリエ解析
→音階の色彩化、絵を描いたような感覚で音楽を楽しむ、リトミ...
-戸高君
テロップや効果音の演出を授業に
早押しボタンを使った授業→誰が応え得るのかわからない→3D音...
授業を音で制御→相談時の音、復習の音
音の環境作り+視覚情報近い研究の人との違いを明確にしてみ...
自分が何を強調していけばいいか見えてくる
*6/11 [#pf634f6f]
6/15から図書館開く
提出資料はslackに
-岡田君
VRを用いた不登校児の支援システム
再登校のリハビリ支援
自宅の壁に投影
→教室、友達、家から登校していく友達、苦手な人は投影しない
段階1:人の顔を別のものに置き換え 段階2:親しい友達のみ
今学期は壁面投影世界、裸眼立体視について勉強
→いくつかの段階に応じてエージェントにも段階を、親友エージ...
-佐藤君
人の感情
深層真意について分析
分析方法→会話型、解析型、マルチモーダル解析(人間の五感を...
応用先はロボット、ロボットに相手の需要は何なのかを理解で...
今学期は深層真意、人の感情の分析方法や解析方法を勉強、プ...
→人とロボットの距離、人がロボットに近づきすぎた時ロボット...
-光嶋さん
もう1人の自分に相談、アドバイス
対象:自己肯定感の低い人、ネガテイブな人
自己暗示システム、理想と現実の間ぐらいの自分
未来に向けての自分のアドバイスをためておく
相手の話を聞きながら自分い少し近く見せる
落ち込んでいるときに、少し明るい表情、まばたき、聞いても...
今学期:表情検知システム
→気分が下がっているときに、少し気分が上がる状態を見せたり...
→過去の自分の写真(いろんな感情)のものを撮り貯めておく
-ブイ
タクシーの車内で会話学習と会話支援システム
ドライバーが運転しながら後ろの人との会話を取りやすくする
後ろに座っている人の画像を位置関係をデザインして設置
お客さんがいない時、英会話を学ぶステージにする
お客さんがいるとき、疑似体験コミュニケーション
対面感を持たせてコミュニケーションor過去に録った録音を流...
-松山君
認知予防プログラム
タイピング、音声認識、表情認識
昔の画像を表示、相手の気をひく取り組み(それについて会話...
音声認識Julius、表情認識faceAPI
音楽療法を取り入れる。→タイピングBGMなど
今学期はJuliusを使えるように、juliusでおうむ返しができる...
→「~ね」のおうむ返し、Siriと連携が将来的にあれば技術がつ...
-ヒョウさん
認知症を患った自尊心回復
ARを使ってシステム開発で生活の質を高める
スケジュールは
アンケート→CGモデルの作成(会話形式の音声をつける)→体験
システム作成にあたって利用するソフトはprocessing
音声をつける手段を探す
CGモデルでは昔の知り合いに会えるもの(音声合成とCG)
→アンケートは中国と日本の両方でとってみては?
→アンケートではメディアとエピソードをを集める、それとは別...
-住本君
AIと感情
人とAIとの関係をはロボットにAIを取り込むことで人らしい行...
研究のためのステップ
AIキャラクターの作成、音に反応するシステム、音と感情の評価
→音声同士のコミュニケーション、ユーザーの入力も音声
→利用シーンを考える今日やること
前回今回のみんなの発表に関して総合評価
名前・プレゼンのわかりやすさ・面白い内容かどうか・有用か...
前回今回自分が指摘された内容を整頓して米澤先生へ
フォーマットに自分の研究を再度記入
進捗計画を立てる
スライドを先生に送る
*6/18 [#t86f9d8a]
-6/27~6/28オンラインゼミ合宿
-6/27 10:00集合
-6/28 16:30集合
どのくらいのものを作るか目標を決める
今学期中にやることを段階分けしておいてその一部を取り組ん...
H.W;合宿で何をするかわかりやすく説明するために計画を絵に...
<音楽チームブレイクアウトルーム>
合宿のスケジューリングについて
--岩崎くん:カーソルの中心がクリアに見えて周りがぼけるプ...
--芝くん:processingを本に沿って学んでいく予定
--はぜきくん:冬・春課題に引き続きprocessingでアニメーシ...
--戸高くん:①なにかの画像を出してそれに関係する音声とテロ...
--石田さん:音楽再生もしくはセッションアプリ(processing/...
--西野くん:音の要素をどれか検出してみる→pd
*7/9 [#fecfd529]
報告連絡相談しっかりしましょう!
同じソフトウェアを使う人は講習会を開いてみては。。。
ゼミ以外の日に同じ分野に興味がある人同士で相談していける...
////////////連絡//////////////////////////
--キャン祭→オンラインキャン祭 自分のやっていることを一枚...
--GLインターン→開発系
*24/9 [#ff890d53]
オフィスアワー
10/1,10/6,10/8,10/14昼休み
(zoom→id及びpassわからない人は個別に聞いてください)
オンラインオフライン共に来た人はフォーム入力してもらう
春までの課題デモの作成
係の実行
合宿、合同プロジェクト
研究ノートの作成(最低1日1回は見返す)
来週、夏休みの後半進んだことをプレゼン発表3分質疑2分
pcとプロジェクターを接続する方法を各自準備しておくこと
*10/29 [#f9d1ac12]
発表後にチーム分けて、コメントをもらったログです:+(フ...
→普通に合体して、一つのフロー図になれるはずだ。
+ 最初お客さんがいるかいないか判定する部分が必要:
→このシステムを使ったら、車内にビデオ画面も設置すると思う...
そのビデオ画面でお客さんがいるいるかどうかを認識してもら...
また、手動的に起動する。お客さんがいるかどうか運転手がわ...
ボタンなどで起動するのは最も簡単なやり方だろう。
*11/5 [#t24c6ad2]
-岡田:不登校児支援システム
教室内エージェントを作成、教室モデルはユニティのサンプル...
VRでの視線取得方法について
今後は現状の制作物に視線取得を組み込んでいく佐藤:表情認識
faceAPI
顔のデータ取得→カメラの取得ができていない
p5.jsのフェイストラッカーのサンプルを発見
-余:NPC
UE4で簡単なNPCを作成
今後はNPCの顔画像を貼り付ける
→NPCではなくない??
-丹野:
ゲームシステム、心理戦理論の勉強
ゲームシステム→プレー中に生じる心理戦をどのように分析する...
心理戦→発生条件の仮説意思決定相互関係があり、非協力的かつ...
質問紙の内容について
-芝:
線表、フロー、リトミックについての文献を読んだ
今後はMMDを参考にエージェントを作成、音の代わりに振動を与...
→BPMをarduino もしくはバーチャルで表現する
-光嶋:
ジャバスクリプトの勉強、フェイストラッカー
分身エージェントを健康的に見せる、を意識
フェイストラッカーのサンプルを動かしてみた
目の左右の位置、くちの左右の位置を座標上で検出
-石田:音を聞いてエージェントに共感を誘発するシステム
エージェントの顔を縦揺れ、横揺れさせる
→どのくらいの時間をかけて動くのか統一すべき、縦揺れを考え...
*11/12 [#g5407497]
-はぜき:
レイヤ構造について
複数枚の透明ディスプレイ(アクリル板、半透明のなんか)を...
→色の検証、円の動きの検証、輪郭etc色々試した
→アクリル板でやったらうまく行った
今後はワイヤーフレーム、パラメトリックスピーカーについて...
-国分:
コンテストで作ったプログラムの説明
-西野:
音源からリズムの検出→bpmにする
音量と周波数を視覚化するシステム
課題
1つの円に情報を収めるのはわかりにくい→円を複数に分けて高...
ProcessingとPureDetaの再生ボタンを1つにまとめる
今後Bpm、もしくはその他リズム感の検出
-松山
感情を代弁するエージェントの試作、unity の勉強
マウスを押すことで表情が変わる、マウスを動かして感情が変...
今後は faceAPIを起動させる、音声とタイピングを合わせたシ...
-ブイ
前回のフローの見直し
会話コースか学習コースに分ける
それぞれのコースで(挨拶、観光案内、会話展開)を練習する
-ヒョウ
フローの見直し
対話システム→Julius、winSAPI
今後はPCが先に話しかけるシステムを作る戸高
書籍を読んだ
フレーミング(物の見方が特定の方向に誘導されること)に注...
ゲインフレームドメッセージ、ロスフレームドメッセージ
*11/19 [#q9033f5a]
+意見交換の体制~
今後は先生だけと連絡をとるのではなく、4回生や院生も含めた...
→盲点や意見の枯渇を防ぐために
一人に相談するのではなく、同期同士・グループ内で意見交換...
+スケジュールWiki To Doの更新~
12/1期限~
+プレゼミのサポート・参加~
11/26 オリエンテーション
12/3~ プレゼミ開始(木・昼)
お昼の時間帯はい居てほしい~
+情報共有~
互いに情報を共有する
面白い文献、などなど
特にグループ内での~
+オンライン合宿~
12月上旬に開催???
*12/10 [#r78d25bf]
-石田さん:
--前回からの修正点:+エージェントのうなずきの表現を修正
+体の動き
--追加実装:+エージェントの興奮表情の追加
+拍子の追加
リズムパターンを持つものも追加する。
リズム視聴時のヒトの感情
リズムによる体の動き追加
-芝君:
--既存ファイルに合わせて、MMDを動かす。
--参考論文を読む。
--今後の展開:
---MMDをpythonを使って動かせるようにする
---入力した楽譜情報から、自動的に動かせるようにする
--論文紹介
--→先生のコメント:ボリューム:手を伸ばす横幅
音の高さ:手の高さ(ひざから頭の上の方へ)
メロディーを感じさせる動きのリトミック
リズムを感じさせる動きのリトミック
二人の聴覚障害者が一緒に演奏する
-戸高君:
--論文紹介:
+クリッカーを利用した授業 能動的学習授業:
---従来の授業の受け身による問題点
---生徒側は楽しくない、受け身の体制が続く
---クリッカー導入により学生がクイズ番組の解答者になるので...
---今後 競合意識、ゲーミフィケーションを キーワードに加え...
--→先生のコメント:
---クイズの出し方と授業中の内容の理解度の確認が異なる。
---授業の一番最初と一番最後にクイズが出すのは効果がある。
-個別面談:
--竹村さんが論文調査について相談に載ってもらった。
---+「英語学習」、「会話支援」、「語学学習支援」などで検...
---→○○ながら、英語学習
---→母国語で検索してみる
---→観光案内
-合宿
--オンライン合宿>場所はゼミのZoom
つなぐ時間:自由!!
集まれる人だけで土曜日の昼休み
日曜日の3時ぐらい
今回は週末中に終わったことは発表しない
次回のゼミで何が進んだか、どのくらいできたかを発表する
*12/17 [#rd21d1b1]
-櫨木君:
--論文紹介:
---複数の可動レイヤーを用いた
---三次元像表示技術の現状の展開
---超指向性スピーカを用いた仮想オブジェクトの実在感向上手法
---後輪上映像表示技術の実用化に向けた多層空中像表示と多視点
--合宿でやったこと:
--45度を肯定する。
--見えたり、見えなかったりすることがある。
--他の人も見てもらって、判断してもらいたい。
--→先生のコメント:複数断面提示法、物体の断面などで>ワイ...
-松山君:
--FACE-APIを使って、顔の認識を可能にする(今の段階ではハッ...
--音声とタイピングを合わせて、試作品を作る。
--12月の目標:
---論文の探し
---Visual Studio Code をProcessingと繋げる。
---音楽を取り入れる
--論文紹介:
---認知症のステージ進行に応じたケアの特徴
--先生のコメント:音楽認知トレーニングプログラムの提案 ...
-岡田君:
--11月の進捗:
--表情検知:
---佐藤君と松山君から教えてもらった
--心電計測の下準備:
---Arduinoを使う
---Arduino→Processingと連携→Unityと連携→UIでリアルタイム...
--論文紹介:
---LeapMotion:赤外線LEDに映された手や指を2基の赤外線カ...
---シースルーディスプレイを用いた手とCGによる直接インタラ...
---中学校不登校生徒に対する遠隔教育システムを利用したりメ...
-岩崎君:
--線表より:
---11月までに:VR上での視線取り込み方を見つける
---12月までに静止画で視線以外をぼかすアプリの制作
---1月までにVRとカメラの連携
--今後の課題:
---1月までにVRとカメラを連携させ、ぼかしアプリケーション...
---論文を読む(周辺視野、VRではなく、AR・も)
--成果:
---VRとカメラの連携
---研究で慰労するカメラ映像をぼかすアプリケーションの完成
--論文調査:
---一点注視型タスクにおける周辺視野への視覚刺激表示が集中...
---図形知覚における中視と周辺視の機能差
---周辺視野への視覚刺激提示が時間評価に及ぼす影響
-ブイ:
--11月進捗発表:
---スタートの顔認識を実行した
---会話途中に目の認識でしゃべりたいかどうかを認識する
--今後の課題:
---データファイルの準備を進む。
---会話が止まる時に音楽が流れる。会話が始まる時に音楽が消...
--論文調査:色々なキーワードで探してみたが、似たような論文...
---リスニング力向上におけるシャドーイングの効果について
---英語のプロソディ指導におけるシャドーイングの有効性
---初級授業にシャドーイングを取り入れる―先行研究から学ぶ―
-佐藤君:
--11月進捗:
---Face APIの動作の完了:六種類の感情をリアルタイムでの同...
--今後の展開:
---エージェントの作成
---画面内に映し出したエージェントに距離の変化を持たせる。
---Vive eye proで視線の検知は少し困難
---脳波:や音声を取り入れる
*24/12 [#f661ce9b]
-余君:
--11月進捗発表:---UE4で簡単なNPC作った。
---感情の表現、コミュニケーション
---言語と非言語>>非言語に注目したい、また、表現、ジェスチ...
---行動の処理:戦う、検索、走る、など
---テンプレートの場合も作る。
--先生のコメント:---どういうものを作ってるか整頓されたが...
---移動によって、感情が変わらない場合も作っておくこと。
----
-光嶋さん:
--写真からではなく、リアルタイムのビデオから顔を検出する...
--ProcessingとOpenCVを使って、顔認識、…成功わからなかった...
--現時点では顔と目を同時に検出して囲んでいる。
--ゼミの合宿:
--論文調査:
---鏡 [扇情的な鏡] :鏡の中の自分が実際の自分と違う表情...
---FaceTracker による自己の笑顔増強コンテンツ: ユーザーの...
---看護師の表情の違いが対象者のリラクゼーションに及ぼす影...
----
-こくぶ君:
--11月の進捗からほとんど進展していない。
--調べたもの:
---Face++
---Faceを使ったプログラムの調査
---精度を他のAPIと比較した。
--これから:オンライン合宿、冬休み課題に頃を課題に設定し...
--論文紹介: 顔表情の可視情報と非可視情報による感情推定に...
----
-ヒョウさん:
--AR画像について勉強した。Unityも勉強し始めた。
--流れとしては:3dsMax →人のモデル→Unity
--論文発表:---記憶障害と認知症への工学的支援:記憶障害で...
---認知症者との遠隔対話履歴を用いた思い出ビデオの作成支援
---高齢者の心を支えるICTシステムの開発
--先生のコメント:---冬の課題を多めにすること。
---会話の流れを多様性に付ける。
---昔の画像からテクスチャを顔に貼り付けるのが良いかなと思...
テクスチャ>ブレンドシェイプ??
昔の対話ができるための情報を得る
----
-西野君:
--前回作ったProcessingとPure Dataの音楽視覚化システムの改...
--音源をもっと簡単なビードに変えようとした→変えるとシステ...
--実習レベルでテキストマイニングを勉強した。
--論文:---11月はしっかり文献を読むことができなかった
---理想に近いシステム(見た目)を見つけた。
--システムの改善:
---Pure Dataでローバス、ハイパスを使って、周波数の幅ごと...
---円以外の要素での表現を試してみる。
--今後の方向:---テキストマイニングで歌詞情報の抽出を始める
---文献を読み、知見を広げる。
---システムのビジュアルの改善(円以外の表現など)
----
-丹野君:
--参考文献調査:
---Excelで管理するように
---文献カテゴリでノートができて便利である。
--アクションゲーム:
---地形開発:Terrain。
---キャラクター操作とアニメーション:キャッシュ、Mecanim。
--今後の展開:---敵キャラクターの出現、攻撃判定、攻撃モー...
---ゲームのデータがなくなったので、また、格闘ゲームを作ろ...
----
-注意事項:
--冬課題について、他のゼミ生と共有をしながら、課題を進む...
--1月やっておきたいことも設定すること
--新しいツールを一個作る。
終了行:
[[20_Buicuongthinh_Note]]
**米澤ゼミ log [#l272c0af]
*4/23 [#l4972795]
+連絡はディレクターに
SLACK
で先生と連絡する。
+研究の目的をよく考え、卒論のため。
(29日に大学院ミーティング)
VPN接続(ITセンターで申し込み):
Jstage、家で図書館の論文を読む方式。
+この以後のゼミ:個別相談(メイン)。
+ コンテストの参加:興味があれば。
*5/14 [#gcf74db2]
-ヒョウさん
認知症を患ったお年寄りのために
ARを利用して昔の人と出会うシステム
お年寄りを連れて体験する
認知症を患ったお年寄りの生活の質を高める
→傾聴において思い出ビデオ
-戸高君
教育システムにおける積極的参加の促進
能動的教育システム(バラエティ番組のような授業を作る演出)
音の嗜好性を研究して早押し式挙手
学びを支援するメディア
-はぜき君の研究枠組みと近い(空間を使ったエンターテイメン...
-国分君
ゲームをより面白くするために→緊張感が途切れない飽きないゲ...
VRをもっとリアルに→NPC
発汗量、心拍数、顔の表情
→表情認識の学習
*4/6 [#hcf7e543]
-丹野君
コンピュータゲームの面白さと担保している要因は何か
→危機的状況の回避が刺激的、自己投影
コンピュータゲームと駆け引きの関係性とは(これがメイン)
→駆け引きとは、相手と自分とのやりとり、利益と損失
研究方法
→ゲーム分類、フレームワーク化(ゲームの共通項を見出してシ...
分析するゲームを増やす、50のジャンルのゲームの分析をし終...
-国分君
VRゲーム、NPC
ユーザーから取得できるデータ 顔表情から取得
人間の情報を取得して機械学習を使って感情によって変わる顔...
今後は機械学習の勉強、論文
-余君
エージェント作成
感情推定
プレイヤーの感情を推測するはぜき君
ライブやショーの演出
会場全てで演出する方法を考える
どこの席からでも演出の迫力を伝える
空中に映像を投影、立体音響を組み合わせる、参加型ライブ
水、ミストへの投影、ホログラムの利用、3Dファントム
今後→
プログラミングの弁よう、アニメーション、プロジェクション...
-石田さん
共感のモデル化
共感→リズムの共有+リズムのタイミングの共有
-岩崎君
ゲーム中の周辺視野→その処理を現実に応用、集中力を上げる方法
ユーザの目付近につけてみている景色が写っているカメラ映像...
周辺視野をぼかす
カメラとヘドマウントの連携
視線の取り入れ
Vrの加工
装着していない時の集中力との差を調べる
適当なぼやかし具合を調べる
-西野君
音楽を可視化したMV制作のシステム
音要素を目に見える形に変換して映像化
新しい音楽の楽しみ方、音楽制作に参加、自分の思う音楽のイ...
有用性→エンターテイメント、音楽検索に利用、聴覚障害者
今後、音の要素を検出するシステム
-しば君
視覚や触角から音楽を感じる
手や足の動きに応じて画面内にしるしみたいなものが出る
今後
フーリエ解析
→音階の色彩化、絵を描いたような感覚で音楽を楽しむ、リトミ...
-戸高君
テロップや効果音の演出を授業に
早押しボタンを使った授業→誰が応え得るのかわからない→3D音...
授業を音で制御→相談時の音、復習の音
音の環境作り+視覚情報近い研究の人との違いを明確にしてみ...
自分が何を強調していけばいいか見えてくる
*6/11 [#pf634f6f]
6/15から図書館開く
提出資料はslackに
-岡田君
VRを用いた不登校児の支援システム
再登校のリハビリ支援
自宅の壁に投影
→教室、友達、家から登校していく友達、苦手な人は投影しない
段階1:人の顔を別のものに置き換え 段階2:親しい友達のみ
今学期は壁面投影世界、裸眼立体視について勉強
→いくつかの段階に応じてエージェントにも段階を、親友エージ...
-佐藤君
人の感情
深層真意について分析
分析方法→会話型、解析型、マルチモーダル解析(人間の五感を...
応用先はロボット、ロボットに相手の需要は何なのかを理解で...
今学期は深層真意、人の感情の分析方法や解析方法を勉強、プ...
→人とロボットの距離、人がロボットに近づきすぎた時ロボット...
-光嶋さん
もう1人の自分に相談、アドバイス
対象:自己肯定感の低い人、ネガテイブな人
自己暗示システム、理想と現実の間ぐらいの自分
未来に向けての自分のアドバイスをためておく
相手の話を聞きながら自分い少し近く見せる
落ち込んでいるときに、少し明るい表情、まばたき、聞いても...
今学期:表情検知システム
→気分が下がっているときに、少し気分が上がる状態を見せたり...
→過去の自分の写真(いろんな感情)のものを撮り貯めておく
-ブイ
タクシーの車内で会話学習と会話支援システム
ドライバーが運転しながら後ろの人との会話を取りやすくする
後ろに座っている人の画像を位置関係をデザインして設置
お客さんがいない時、英会話を学ぶステージにする
お客さんがいるとき、疑似体験コミュニケーション
対面感を持たせてコミュニケーションor過去に録った録音を流...
-松山君
認知予防プログラム
タイピング、音声認識、表情認識
昔の画像を表示、相手の気をひく取り組み(それについて会話...
音声認識Julius、表情認識faceAPI
音楽療法を取り入れる。→タイピングBGMなど
今学期はJuliusを使えるように、juliusでおうむ返しができる...
→「~ね」のおうむ返し、Siriと連携が将来的にあれば技術がつ...
-ヒョウさん
認知症を患った自尊心回復
ARを使ってシステム開発で生活の質を高める
スケジュールは
アンケート→CGモデルの作成(会話形式の音声をつける)→体験
システム作成にあたって利用するソフトはprocessing
音声をつける手段を探す
CGモデルでは昔の知り合いに会えるもの(音声合成とCG)
→アンケートは中国と日本の両方でとってみては?
→アンケートではメディアとエピソードをを集める、それとは別...
-住本君
AIと感情
人とAIとの関係をはロボットにAIを取り込むことで人らしい行...
研究のためのステップ
AIキャラクターの作成、音に反応するシステム、音と感情の評価
→音声同士のコミュニケーション、ユーザーの入力も音声
→利用シーンを考える今日やること
前回今回のみんなの発表に関して総合評価
名前・プレゼンのわかりやすさ・面白い内容かどうか・有用か...
前回今回自分が指摘された内容を整頓して米澤先生へ
フォーマットに自分の研究を再度記入
進捗計画を立てる
スライドを先生に送る
*6/18 [#t86f9d8a]
-6/27~6/28オンラインゼミ合宿
-6/27 10:00集合
-6/28 16:30集合
どのくらいのものを作るか目標を決める
今学期中にやることを段階分けしておいてその一部を取り組ん...
H.W;合宿で何をするかわかりやすく説明するために計画を絵に...
<音楽チームブレイクアウトルーム>
合宿のスケジューリングについて
--岩崎くん:カーソルの中心がクリアに見えて周りがぼけるプ...
--芝くん:processingを本に沿って学んでいく予定
--はぜきくん:冬・春課題に引き続きprocessingでアニメーシ...
--戸高くん:①なにかの画像を出してそれに関係する音声とテロ...
--石田さん:音楽再生もしくはセッションアプリ(processing/...
--西野くん:音の要素をどれか検出してみる→pd
*7/9 [#fecfd529]
報告連絡相談しっかりしましょう!
同じソフトウェアを使う人は講習会を開いてみては。。。
ゼミ以外の日に同じ分野に興味がある人同士で相談していける...
////////////連絡//////////////////////////
--キャン祭→オンラインキャン祭 自分のやっていることを一枚...
--GLインターン→開発系
*24/9 [#ff890d53]
オフィスアワー
10/1,10/6,10/8,10/14昼休み
(zoom→id及びpassわからない人は個別に聞いてください)
オンラインオフライン共に来た人はフォーム入力してもらう
春までの課題デモの作成
係の実行
合宿、合同プロジェクト
研究ノートの作成(最低1日1回は見返す)
来週、夏休みの後半進んだことをプレゼン発表3分質疑2分
pcとプロジェクターを接続する方法を各自準備しておくこと
*10/29 [#f9d1ac12]
発表後にチーム分けて、コメントをもらったログです:+(フ...
→普通に合体して、一つのフロー図になれるはずだ。
+ 最初お客さんがいるかいないか判定する部分が必要:
→このシステムを使ったら、車内にビデオ画面も設置すると思う...
そのビデオ画面でお客さんがいるいるかどうかを認識してもら...
また、手動的に起動する。お客さんがいるかどうか運転手がわ...
ボタンなどで起動するのは最も簡単なやり方だろう。
*11/5 [#t24c6ad2]
-岡田:不登校児支援システム
教室内エージェントを作成、教室モデルはユニティのサンプル...
VRでの視線取得方法について
今後は現状の制作物に視線取得を組み込んでいく佐藤:表情認識
faceAPI
顔のデータ取得→カメラの取得ができていない
p5.jsのフェイストラッカーのサンプルを発見
-余:NPC
UE4で簡単なNPCを作成
今後はNPCの顔画像を貼り付ける
→NPCではなくない??
-丹野:
ゲームシステム、心理戦理論の勉強
ゲームシステム→プレー中に生じる心理戦をどのように分析する...
心理戦→発生条件の仮説意思決定相互関係があり、非協力的かつ...
質問紙の内容について
-芝:
線表、フロー、リトミックについての文献を読んだ
今後はMMDを参考にエージェントを作成、音の代わりに振動を与...
→BPMをarduino もしくはバーチャルで表現する
-光嶋:
ジャバスクリプトの勉強、フェイストラッカー
分身エージェントを健康的に見せる、を意識
フェイストラッカーのサンプルを動かしてみた
目の左右の位置、くちの左右の位置を座標上で検出
-石田:音を聞いてエージェントに共感を誘発するシステム
エージェントの顔を縦揺れ、横揺れさせる
→どのくらいの時間をかけて動くのか統一すべき、縦揺れを考え...
*11/12 [#g5407497]
-はぜき:
レイヤ構造について
複数枚の透明ディスプレイ(アクリル板、半透明のなんか)を...
→色の検証、円の動きの検証、輪郭etc色々試した
→アクリル板でやったらうまく行った
今後はワイヤーフレーム、パラメトリックスピーカーについて...
-国分:
コンテストで作ったプログラムの説明
-西野:
音源からリズムの検出→bpmにする
音量と周波数を視覚化するシステム
課題
1つの円に情報を収めるのはわかりにくい→円を複数に分けて高...
ProcessingとPureDetaの再生ボタンを1つにまとめる
今後Bpm、もしくはその他リズム感の検出
-松山
感情を代弁するエージェントの試作、unity の勉強
マウスを押すことで表情が変わる、マウスを動かして感情が変...
今後は faceAPIを起動させる、音声とタイピングを合わせたシ...
-ブイ
前回のフローの見直し
会話コースか学習コースに分ける
それぞれのコースで(挨拶、観光案内、会話展開)を練習する
-ヒョウ
フローの見直し
対話システム→Julius、winSAPI
今後はPCが先に話しかけるシステムを作る戸高
書籍を読んだ
フレーミング(物の見方が特定の方向に誘導されること)に注...
ゲインフレームドメッセージ、ロスフレームドメッセージ
*11/19 [#q9033f5a]
+意見交換の体制~
今後は先生だけと連絡をとるのではなく、4回生や院生も含めた...
→盲点や意見の枯渇を防ぐために
一人に相談するのではなく、同期同士・グループ内で意見交換...
+スケジュールWiki To Doの更新~
12/1期限~
+プレゼミのサポート・参加~
11/26 オリエンテーション
12/3~ プレゼミ開始(木・昼)
お昼の時間帯はい居てほしい~
+情報共有~
互いに情報を共有する
面白い文献、などなど
特にグループ内での~
+オンライン合宿~
12月上旬に開催???
*12/10 [#r78d25bf]
-石田さん:
--前回からの修正点:+エージェントのうなずきの表現を修正
+体の動き
--追加実装:+エージェントの興奮表情の追加
+拍子の追加
リズムパターンを持つものも追加する。
リズム視聴時のヒトの感情
リズムによる体の動き追加
-芝君:
--既存ファイルに合わせて、MMDを動かす。
--参考論文を読む。
--今後の展開:
---MMDをpythonを使って動かせるようにする
---入力した楽譜情報から、自動的に動かせるようにする
--論文紹介
--→先生のコメント:ボリューム:手を伸ばす横幅
音の高さ:手の高さ(ひざから頭の上の方へ)
メロディーを感じさせる動きのリトミック
リズムを感じさせる動きのリトミック
二人の聴覚障害者が一緒に演奏する
-戸高君:
--論文紹介:
+クリッカーを利用した授業 能動的学習授業:
---従来の授業の受け身による問題点
---生徒側は楽しくない、受け身の体制が続く
---クリッカー導入により学生がクイズ番組の解答者になるので...
---今後 競合意識、ゲーミフィケーションを キーワードに加え...
--→先生のコメント:
---クイズの出し方と授業中の内容の理解度の確認が異なる。
---授業の一番最初と一番最後にクイズが出すのは効果がある。
-個別面談:
--竹村さんが論文調査について相談に載ってもらった。
---+「英語学習」、「会話支援」、「語学学習支援」などで検...
---→○○ながら、英語学習
---→母国語で検索してみる
---→観光案内
-合宿
--オンライン合宿>場所はゼミのZoom
つなぐ時間:自由!!
集まれる人だけで土曜日の昼休み
日曜日の3時ぐらい
今回は週末中に終わったことは発表しない
次回のゼミで何が進んだか、どのくらいできたかを発表する
*12/17 [#rd21d1b1]
-櫨木君:
--論文紹介:
---複数の可動レイヤーを用いた
---三次元像表示技術の現状の展開
---超指向性スピーカを用いた仮想オブジェクトの実在感向上手法
---後輪上映像表示技術の実用化に向けた多層空中像表示と多視点
--合宿でやったこと:
--45度を肯定する。
--見えたり、見えなかったりすることがある。
--他の人も見てもらって、判断してもらいたい。
--→先生のコメント:複数断面提示法、物体の断面などで>ワイ...
-松山君:
--FACE-APIを使って、顔の認識を可能にする(今の段階ではハッ...
--音声とタイピングを合わせて、試作品を作る。
--12月の目標:
---論文の探し
---Visual Studio Code をProcessingと繋げる。
---音楽を取り入れる
--論文紹介:
---認知症のステージ進行に応じたケアの特徴
--先生のコメント:音楽認知トレーニングプログラムの提案 ...
-岡田君:
--11月の進捗:
--表情検知:
---佐藤君と松山君から教えてもらった
--心電計測の下準備:
---Arduinoを使う
---Arduino→Processingと連携→Unityと連携→UIでリアルタイム...
--論文紹介:
---LeapMotion:赤外線LEDに映された手や指を2基の赤外線カ...
---シースルーディスプレイを用いた手とCGによる直接インタラ...
---中学校不登校生徒に対する遠隔教育システムを利用したりメ...
-岩崎君:
--線表より:
---11月までに:VR上での視線取り込み方を見つける
---12月までに静止画で視線以外をぼかすアプリの制作
---1月までにVRとカメラの連携
--今後の課題:
---1月までにVRとカメラを連携させ、ぼかしアプリケーション...
---論文を読む(周辺視野、VRではなく、AR・も)
--成果:
---VRとカメラの連携
---研究で慰労するカメラ映像をぼかすアプリケーションの完成
--論文調査:
---一点注視型タスクにおける周辺視野への視覚刺激表示が集中...
---図形知覚における中視と周辺視の機能差
---周辺視野への視覚刺激提示が時間評価に及ぼす影響
-ブイ:
--11月進捗発表:
---スタートの顔認識を実行した
---会話途中に目の認識でしゃべりたいかどうかを認識する
--今後の課題:
---データファイルの準備を進む。
---会話が止まる時に音楽が流れる。会話が始まる時に音楽が消...
--論文調査:色々なキーワードで探してみたが、似たような論文...
---リスニング力向上におけるシャドーイングの効果について
---英語のプロソディ指導におけるシャドーイングの有効性
---初級授業にシャドーイングを取り入れる―先行研究から学ぶ―
-佐藤君:
--11月進捗:
---Face APIの動作の完了:六種類の感情をリアルタイムでの同...
--今後の展開:
---エージェントの作成
---画面内に映し出したエージェントに距離の変化を持たせる。
---Vive eye proで視線の検知は少し困難
---脳波:や音声を取り入れる
*24/12 [#f661ce9b]
-余君:
--11月進捗発表:---UE4で簡単なNPC作った。
---感情の表現、コミュニケーション
---言語と非言語>>非言語に注目したい、また、表現、ジェスチ...
---行動の処理:戦う、検索、走る、など
---テンプレートの場合も作る。
--先生のコメント:---どういうものを作ってるか整頓されたが...
---移動によって、感情が変わらない場合も作っておくこと。
----
-光嶋さん:
--写真からではなく、リアルタイムのビデオから顔を検出する...
--ProcessingとOpenCVを使って、顔認識、…成功わからなかった...
--現時点では顔と目を同時に検出して囲んでいる。
--ゼミの合宿:
--論文調査:
---鏡 [扇情的な鏡] :鏡の中の自分が実際の自分と違う表情...
---FaceTracker による自己の笑顔増強コンテンツ: ユーザーの...
---看護師の表情の違いが対象者のリラクゼーションに及ぼす影...
----
-こくぶ君:
--11月の進捗からほとんど進展していない。
--調べたもの:
---Face++
---Faceを使ったプログラムの調査
---精度を他のAPIと比較した。
--これから:オンライン合宿、冬休み課題に頃を課題に設定し...
--論文紹介: 顔表情の可視情報と非可視情報による感情推定に...
----
-ヒョウさん:
--AR画像について勉強した。Unityも勉強し始めた。
--流れとしては:3dsMax →人のモデル→Unity
--論文発表:---記憶障害と認知症への工学的支援:記憶障害で...
---認知症者との遠隔対話履歴を用いた思い出ビデオの作成支援
---高齢者の心を支えるICTシステムの開発
--先生のコメント:---冬の課題を多めにすること。
---会話の流れを多様性に付ける。
---昔の画像からテクスチャを顔に貼り付けるのが良いかなと思...
テクスチャ>ブレンドシェイプ??
昔の対話ができるための情報を得る
----
-西野君:
--前回作ったProcessingとPure Dataの音楽視覚化システムの改...
--音源をもっと簡単なビードに変えようとした→変えるとシステ...
--実習レベルでテキストマイニングを勉強した。
--論文:---11月はしっかり文献を読むことができなかった
---理想に近いシステム(見た目)を見つけた。
--システムの改善:
---Pure Dataでローバス、ハイパスを使って、周波数の幅ごと...
---円以外の要素での表現を試してみる。
--今後の方向:---テキストマイニングで歌詞情報の抽出を始める
---文献を読み、知見を広げる。
---システムのビジュアルの改善(円以外の表現など)
----
-丹野君:
--参考文献調査:
---Excelで管理するように
---文献カテゴリでノートができて便利である。
--アクションゲーム:
---地形開発:Terrain。
---キャラクター操作とアニメーション:キャッシュ、Mecanim。
--今後の展開:---敵キャラクターの出現、攻撃判定、攻撃モー...
---ゲームのデータがなくなったので、また、格闘ゲームを作ろ...
----
-注意事項:
--冬課題について、他のゼミ生と共有をしながら、課題を進む...
--1月やっておきたいことも設定すること
--新しいツールを一個作る。
ページ名: