![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
夏課題進捗報告回 part3
大林さん：
・オージスコンテスト
ある画像内の肌色部分だけを白くするシステム（肌のみの彩度を変える）
＞＞顔検出を併用して肌色にした方がいい
文書作成のサポート
・これからの動き
仮の方程式を作る（人が集中力xの時、yの動きを取る）
複数体のエージェントそれぞれに対してそれぞれ個別の動きをつけていく
集中が高まるエージェントの動きを，サンプルを作って評価してもらう
小林さん
・オージス
提案システムの音声波形加工システム担当
・研究
音楽、エージェント、ユーザの関係性の間に文脈を加えて考えていく
その前段階として音楽の三要素ハーモニーから分析していきたい
大澤さん ・オージス＞消えるスケジュールアプリ ・ヘルスケアエージェントのターゲットを考えた
折坂さん ・顔の表情と声の感情を読み取りギャップの有無を調べる真の感情がどっちなのか ・音声表情の取得 → これは松村さんと組む ・Opensmileで声感情を抽出 ・これから顔表情をdeepfaceでとっていきたい ・作り笑顔や嘘を見抜けるシステムを目指す
お知らせ
・オフィスアワーには積極的に参加しよう ・Tips→分野毎に分ける，基本的にdocsに記述してリンク貼るのではなく，直接書くこと ・ゼミ紹介用展示の準備＞来週デモ発表（進捗報告も兼ねる）→進捗度合いによって秋学期の目標決定を行う＋卒論テーマを決める ・オフラインのゼミ合宿的なことをする ・卒論のテーマ内容をポスターにする（似た研究との違いを主張できるように作成すること）（10月） →（卒論でこれやります！をきれいに整頓して印刷してきてください） →大学院行きたい人は卒論でやることと修論まででやりたいことを分けて考える必要があるのでポスターでは分けて書いておきましょう ・関連研究調べ（11月）→発表 ・4回生の卒研を見る（12月）←卒論の書き方を知る ・最終発表（2月） ・4回生の卒論を見ながら，3回生の最終レポートを作成する ・他大学の教授の意見が欲しいとき→学会発表するのもあり（今後進める上で，いろいろ有利になります） ・技術共有も積極的にしましょう ・研究分野が近い人は，どのように作成していけば面白くなるか議論を重ねていく必要がある →研究の差別化をやっていく（今学期中に，対面始まったら，やっていく） →どこが面白いか気づくきっかけになる ・Slackでの議論が活発かどうかも，評価対象になります
来週までの宿題 ゼミ紹介用展示物として自分のマシンのデモをスライドにまとめてくる
今月中の宿題 卒論に向けて最終テーマを決定するにあたり、先生と面談の計画を立てましょう → 相談や実装を進めていこう 決定した人はポスターの作成に取り掛かりましょう
夏課題進捗報告回 part2
吉次さん ・pythonでopenCV ・うなずきで頭部方向の推定
福迫さん ・juliusインストールができなかった（←導入している先輩に相談するか，別の音声認識を試すか） ・unityでエージェント作成もできなかった ・processingで音声の再生速度の変更（←rate関数は，波形を操作しないため，ピッチまで変化することも念頭にね）
堀さん： ・顔を認識して服を表示させる、服だけじゃなく眼鏡屋アクセサリーを追加する ・キネクトにもチャレンジ ・読み取った体の形に合わせて服を表示させたい ・マーカの設置 （松村の意見） ・テクスチャをモデルに貼って操作する → 3Dモデルを作る必要がある??（Kinect + unityの利用を検討すべき）
山本さん： ・楽器ごとの音の長さ，テーマ内での楽器ごとの音量比の変更 ・心拍数関係なく気分で打ち込んだテンポに基づいて操作する実装 → テンポでざっくりと場合分け （←複数パターンが必要） （松村の意見） ・楽器の音色の感じ方が人によって違うし，弾き方（音の切り方やリバーブのかけ方）によっても変わってくる → 音色の感じ方の定義が必要 ・スムーズに繋ぐには，変化前の音量を徐々に下げつつ，変化後の音量を徐々に高めるような移行の方法が考えられる（←ゲームのインタラクティブ・ミュージックとか参考になるかも） ・テンポは倍率で考えた方がいいかもしれない（松村の主観で，元の音楽のテンポに対して，max1.2倍，min0.8倍くらいが心地よく聴ける限度だと思っている）
村田さん： ・サウンドMAチャレンジコンテスト ・効果音を作るには自作音源を適宜使用することで違和感を取り除くことが必要？＞dtmの勉強 ・作成した音源をPdで応用していきたい ・研究の方向性として，絵本：オノマトペ翻訳 オノマトペ：効果音翻訳 （松村の意見） ・エフェクトコンテスト→加工法の問題ではと思ってしまう（ミックスとか，あとは距離感とか） ・臨場感のある音とは？（←要は場面設定が必要 つまり，ストーリーがあるものとは相性がいい） ・オノマトペ関連の何か？？（←新規性の模索がまだまだ必要）
廣川ゆうやさん ・観客の動きの大きさ，熱量をはかる ・カラーピッカーで動きを検出し，検出データをもとに動くアニメーションの作成していく ・今後はカラーピッカー以外で熱量とりたい → 背景差分？顔検出？openpose? （松村の意見） ・ライブの演出キャラクタの動きを，出演者の動きによって変化させる（←きちんと伝えていこう！） ・動きの量をとってフィードバックをどう作るかが課題（→表現の方向性をきちんと決めて実装するとよい（ポジティブ・ネガティブなのか，単純な派手さなのか等）） 西本さん ・避難感覚の提示 ・Processingとarduino の連携 ・今後は被弾感覚を感じさせるためペルチェ素子を扱う （松村の意見） ・被弾表現をもっと詳しく考察して，表現をリアルにしたいね（自由に発想していいのではないかと）
杉原さん ・防災エージェント （松村の意見） ・どのような体験をさせたいか，しっかり見据えながら実装を進めるといいでしょう（あまり欲張らず，絶対必要なものに絞って） ・↑どの方向性になるとしても，エージェントの作成，状況の作り込みなどやることがちょっと多いので，出来ることからどんどん進めていけばいいかと
来週も引き続き，夏課題進捗報告回です．
連絡事項 実験場所について ※実験環境について K208 R棟（1ヵ月単位でゼミに貸し出し） 大学院棟3F->人がいるから、環境に注意しないといけない 教室棟 B棟 授業が無い時間帯 D棟 101,106,107-8,109ABC 実験について 来週(10/7)までにパイロットテストをできるように オンライン実験も来週までにパイロットテストを済ませて実験開始 パイロットテスト：おかしいところが内容に。全て修正箇所対応させたうえで行う 卒論ドラフト ぼちぼち先生に見てもらう 実験場所について どこが空いているのか、スプレッドシートで管理を行う
夏課題進捗報告回 part1
森山さん ・人間の生理情報から学習負の感情やストレスを緩和するシステム ・夏課題では、Q学習をテスト的にシステムに導入する ・Deepfaceで表情の取得、年齢の抽出に取り組んだ ・DQN三目並べ
美馬さん ・オージス ・顔加工 ・Openposeで体型加工 ・顔モーフィング ・各種APIの正確性を検証
安川さん ・リアルタイムでその地点での雨量や風の吹き方をみるシステム ・Unityで実際の位置情報を取得、プロトタイプシステムの編集、ストリートビュ―を使った関連研究 >>雨の音などを加えていくことで、現場の様子、危機感、安全確保行動
上住さん ・ARでのキャラクターナビゲーション ・夏休みでは、キャラづくり、音声表示（具体的な方向を誘導する） ・今後は、GPSによる位置情報の取得
正木さん ・ライブで聴いている生音感を出したい>>ライブ感を出すために何が必要かを見ていく
米谷さん ・予測した動作を体験する ・食物アレルギーの先行体験を再現する
多田さん ・気を引く、邪魔する、インタフェース ・気分を呼ぶ効果音の収集、unity環境構築、音のはいち、モーションキャプチャ実装のリサーチ
廣川とくやさん ・パーソナルスペースを用いたコミュニケーションロボット ・ロボットの触る位置に応じてリアクションするロボット ・夏休みはunity上でロボットを実装（バグを改修） >>体の周りにマップを作る、嫌気などの蓄積データ、感覚器ごとに異なる反応を作ると面白い
松嶋さん ・恐怖映像を鑑賞している際の恐怖感情の動きを計測、より恐怖を感じる映像を考察 ・夏課題は、カメラからの表情認識をdeepfaceで行う ・今後はFace＋＋を試してみる ・Arduinoで生理計測を行う → 皮膚電位
実験について 練習問題を用意しておく これからどういう実験を行うのか理解してもらえるため 実験結果の段階数 実験の要因数が1の人は5段階評価OK 要因数が2以上の時は100段階にする 100段階は0-99で回答（以下、方法） ・数値を入力して変な数値がないか判定する ・グリッド式 ・google formsではないスライダー式（王くんや張さんに聞いてwikiにかくこと）を活用 ※100段階の時は分散分析、5段階ではノンパラメトリック分析を行う 人集めとパイロットテストは同時進行で行う ⇒場所の予約など、やること多いし オフィスアワー 10/5,7,11,13,14 ⇒割り振りありがとう！！
合宿の連絡： ＜7/17＞ 集合：TC204 10:30 場所の移動：12:00-13:00の間にTC306に 各自作業＋質問＋類似内容の上回生と交流 終わりの時間は自由 ＜7/18＞ 集合：TC306 10:30-17:00 発表タイミング：7/18 15:00 事前計画の宣言：7/17 10:30までに#yonesemi21/yonesemi20 借りるものは本日中に（早めに動かす） 出席の扱い：形式上2,3限が補講 8月頭に期末論文：自分たちが取り組んだことは何かをレポートにする >>これを目指して合宿で取り組む
今日の内容：オフライン合宿で何をするかデザイン ・今考えてきたことを整頓 ・自分がやりたいと思っている研究のイメージ ・どこまで仕上げるか決める ・何を借りるか決める ・プロトタイプシステムに工夫を足す
ノンパラメトリック検定 効果量検定（どちらの効果の方が大きいのか）
各自の実験項目のチェック 質問項目 実験手順等
実験準備（～7/17，7/18の合宿までに） 質問内容 同意書 フォーム パイロットテスト（ここまで終わらせるとすぐに被験者集めができる） 3回生合宿（～7/17，7/18） ここで被験者を集める！！
7月第三週（7/16，7/17）：対面合宿（通い・宿泊無） ソフトウェアコンテスト（オージス総研）「混ぜると消える」 Slackの運用について チャンネルの整理整頓 これからも使うチャンネルは北岸さんの投稿のコメント欄に「」スタンプを押す
実験のプロセス 比較する条件（仮説） 実験システム・コンテンツY+順序交差の計画（順番による影響を防ぐため・剰余変数の統制） 順序交差はラテン方格法を使用する（先生のサイトで算出できる） http://www.res.kutc.kansai-u.ac.jp/~yone/src/latinsquare.html
被験者集め：20以上・できれば、実験パターンの整数倍 実験同意書 Google Formの場合、同意しないと先に進めないようにすればよい アンケートの作成（Google Formがよいかな） 教示書類・ファイルの準備 ※条件によってコンテンツが異なる場合（例えば、試行毎にコード進行を変える） 一試行目の和音、2試行目の和音、3試行目の和音・・・→パターンが変わっても、同じ順番でコンテンツを体験できるようにする。条件の順番だけがパターンごとに異なる コンテンツが無い人は関係ない！！！ 条件はパターンごとに順番が変わる コンテンツはどのパターンでも順番を変えない
順序交差を行う以上、条件を整列させないと分析にかけられない →例えば、Google formのアンケート結果はスプレッドシートに書き出されるので、新規のスプレッドシートやエクセルにまとめるとよい 詳細：https://docs.google.com/document/d/1pP8sBtlCSFb6Xn2lEESviGHwluuYjqTC4ydPAboBUA8/edit?usp=sharing
パイロットテスト 先生やTA,同回で、問題は無いか「コンテンツの不具合、倫理的な問題、質問内容・説明文に不適切な表現はないのか等」
実施表：実験を進める際にチェックしていく表
練習問題を作っておく（被験者はどこを見てよいのかを把握できる）
対面（通い）合宿：7月第3週末(16,17日) 類似した技術のグループの人は合宿を利用して技術をシェア ソフトウェアコンテスト「混ぜると消える」 Slackの運用 運用チャンネルを投票
今日のテーマ：2回目の合宿締め切りfinal versionの発表会 上住さん：ARナビ ヴューフォリアをうまく使えない 今後どうやって写すか課題 Unityをうまく使えない、マーカー読み込めない データベースのライセンスを読み込むことはできた 技術ブログとか活用したりSlackを活用したりしてね 大林さん：人の存在感を感じられる空間 オブジェクトから立体音響を鳴らす unityからの手動入力からカメラ入力（光線）に変更させた．光線が接触したらオブジェクトが出力されるシステム＞＞接触した接触していない，の条件分岐がうまくいっていない 岡田さん：processingで年齢と性別入力からカメラ起動 MacのOSによりprocessingカメラの シーン切り替えがうまくいかない マウス入力とシーン切り替えが同時にできない 折坂さん：音声の大きさ高さを感情２軸に埋め込む 絶対値をとってある区間のマックスをとる 小林さん：pythonを用いてwavファイルを読み込む 感情値を仮のデータを入れる音データの音量を感情値として動かす 全体を把握するためにpdやprocessing 米谷さん：processingを用いてfaceAPIで顔の向きをとる．顔の向きによって違うオブジェクトと音を出力する． 佐藤さん：スライダーで顔のパーツサイズと位置を変える 杉原さん：ARマーカを使って火を出力する．カメラが起動しない 多田さん：pdで入力した音階をハ長調に変える．数値指定にして音階にした 廣川徳也さん： Unityでマウスでオブジェクトをクリックしてマウスの距離で反応を変えるロボットを作ろうとした．マウスの距離によって離れさせることはできたけど，それ以外の行動も加えたい 廣川雄也さん： Processingのカメラで手の動きを検出．カメラ起動解決 西本さん：processingで画像表示 痛みの表現 血のアニメーション クリックしたところに赤丸 血の表現と痛みの表現を分けて考えると面白そう 福迫さん：エージェントが体を検知したら応援し始める スペースキーを押したら合成音声流れる．体の検知が課題 堀さん：自分の顔画像を表示して服を表示 ユニティで作り変える 遠くにいる人と一緒に服を着ることで家族写真が撮れる 正木さん：音声ファイルが読み込めない 松嶋さん：pythonを使ってpcカメラからリアルタイムで人の顔の表情を認識して感情取得 画像認識に使うopenCVが入らない＞ホームブリューからいれれた 顔検出で詰まっている 美馬さん：Unityでユーザの作業スピードで作業空間を変える 時間の調節と作業ゲームの誤動作の調節 抽象度の段階をもう少し増やせるように調査 村田さん：pdを使って絵本の物語を音だけで表現 ディレイをつけて効果音を入れたけどうまく活用できていない 空間を使って表現してみたい 安川さん： Unityで雨降らす 手動で調節したら雨の量が変わる スライドバーがうまく動かなかったけどうまくいくようになった 雨の量が何ミリだとどのくらい、とかをやったほうがいい 山本さん：心拍数をもとに何パターンかの音を鳴らす．音が重なったり曲が止まったりを改善 テンポと楽器の固定ができない 吉次さん：動きをカメラからとって 手が伸びていってその人に応じて伸びる速度を変えるものを作った 誰が喋りたくて喋りたくないのかを検出できるようにしたい 森山さん：感情の入力を元に刺激を選択それによってどう感じたか、刺激に得点付をした 手入力でストレス値を入れる，評価値も手入力 合宿後は機械学習の勉強をしていた Pythonで映像と音声使えるようにする
自分の研究テーマをどこのフィールドでどうやって生かすかを考えていく 本当に使ってもらえるものとしてコンテンツを考えていく 出口を意識する ＞＞夏課題、合宿 出来るだけ研究テーマの裏の哲学をおしゃべりしていく なんでこれやろうとしたの誰に使ってほしいの、とかを出来るだけ自由な形でディスカッション ものを作るという過程は個人個人で進んでいく，困った時にyonesemi21で相談するようにしよう 夏休み：水曜10:30院生MTG，ランチミーティング（水）（金）12:10~の時には参加するように 夏課題：研究のプロトタイプ+α 八月末にdemo大会 やることを見失ったときは必ずランミーに出てください インストール作業ライブラリの追加は合宿ではやらない バグ投稿を一人一回は必ずすること
合宿ログ 大林さん：unityの立体音響を使って人の存在感を感じられる空間づくり。足音がなるオブジェクトを用いて立体音響の実装を行なった。動きが一定で人間っぽくない。七月までにランダムに移動させることを目指したい 折坂さん：音を読み取って感情２軸に表す。音の読み込みはできた。音の区間をデータとして保存して平均取ることを今後やる 小林さん：wavファイルのグラフ化、音楽感情の仮のデータを作った 米谷さん：PC上に4枚の画像を表示faceAPIで顔表情を読み込み感情に応じた音を流す。 佐藤さん：顔を描いてスライダーでパーツサイズを変える。一部思い通りに動かないその辺を今後改善 杉原さん：Unityで３D物体を出現させられた，火のオブジェクトが出せない ＞＞サンプルもらう 多田さん：転調マシン。音データを読み込んでハ長調に変える。周波数からいじったほうがいいの？？ PDでノートナンバーを使って演奏してその音がドから始まるようにした 元データと二ついっぺんに鳴っちゃうのが問題＞＞条件分岐 ふくさこさん：スクワットをカメラけんち、けんちしたらエージェントが話し始める カメラけんちできなかったのでスペースキーを押したらエージェントが話し始める（音声合成）ものを作った 堀さん：自分の画像を読み取って服を表示．マーカーの複数表示はできなかった 正木さん：音源入力→リバーブかけたい 音源ファイルが読み込めなかったから鍵盤の音を入力した時にリバーブをつけるようにした 松嶋さん：表情認識を使って怖い画像を見せてそれに対して恐怖の感情がどういう数値を出すのかを調べた．恐怖の感情が大きくなかったらもっと怖い画像を表示したかった． Pythonの画像認識ライブラリopenCVを入れるのに手間取ったため，今後↑行う． 美馬さん：Unityでユーザの作業スピードに応じて抽象度を変える仮装空間 今後は立体でできるようにする ＞＞二段階ではなく五段階十段階をにした時どうなるのかを考えていくと面白い 村田さん：絵本のストーリーを音だけで表現 半分くらいできた 音を出す間隔が重要 ＞＞位置の移動オノマトペ氏平さんのを参考に 上住さん：unityでキャラ移動 まずは平行移動
三回生向けコメント： 技術の相談はyonesemi21！ 二日間でできることは二日でできそうかどうかを検証しておくことが大事。インストールライブラリでハマってしまうのはもったいない。事前に準備しておこう。 集中する機会は七月にもう一回やる その日に何を完成させるという目標において最低限何をやっておいたらいいか考えましょう 質問は自己解決せずにみんなに相談にしよう 参加態度が素晴らしい 力を発揮するシーンはソフトウェアコンテストやハッカソンなどある
ブイさん：学習モードと会話モードを作った。終わり次第音声再生に取り組む よさん：イライラや興奮の感情動作をNPCにくっつけた 岩崎さん：集中力を確かめるためにタスクをやってる時に妨害刺激を出すシステムを作った ドラフト 岡田さん：実験計画書の質問項目 ドラフト２ 光嶋さん：画面と顔の距離を決めた カメラのいちを決めた 健康管理における血色についての論文 瞳のキャッチライトに関する論文を読んだ xpression カメラを使うためにマック借りて進める 佐藤さん：システムの修正と論文集め エージェントの位置をシステムに反映 芝さん：システムの完成、計画書 ドラフトはこれから 松山さん：実験用のシステム作成 実験計画書 ドラフト 石田：リズム入力部の修正，快感度計算修正，実験条件毎のシステム作成，ドラフト２
システムの追加実装と平行して卒論準備を進めること 近い研究の人は情報共有を貪欲に行うこと 技術的に困っていることはメーリスか学年slackに
～お知らせ～ コンテスト OGIS総研コンテスト「混ぜると消える？」 学会発表 情報処理学会関西支部大会 その他の大会(ICS,MVE,HCS,ET,MUS...)
～合宿について～ 6/26-6/27は多くの方が作業を進めると思います。その中で不明点も多く出てくることと思います。そんな時はお気軽に上回生にお尋ねください。
回生Slackチャンネルでメンションしていただくのが一番良いと思います。
～4回生～ 実装完成 6/27 17:30(合宿二日目) 第一〆切 7/1 12:00(ゼミ前)が第二〆切 不明瞭な点がある人は、要点をまとめて相談しましょう！
合宿で何をやるかの決定，借りたいものを明確にする ＞＞土曜日の頭でどんなものを作るのか宣言する ＜プロトタイプを計画する＞ 「タイトル」 何を作るか どんな方法/ツールを使うか どんなPC/ハードウェアが必要か どんな特徴/変なことを見せるか ＜学会やコンテストのお知らせ＞ OGIS総研「混ぜると消える」 情報処理学会関西支部大会 ICS，MVE，HCS，ET，MUS
来週からは対面（教室はTB206） オンライン希望の人は事前に先生に連絡 3回生とはできるだけ交流しよう（木3の授業など） 面倒見ておけば、実験にも参加してもらいやすい クリアになっていないことをはっきりさせないといけない。 その内容はひとりひとり違い、それぞれが先生と相談していく必要がある 6/26-6/27は合宿（3回生のログ↓を参照のこと）
＜来週からの授業について＞ 6/21から対面授業 来週の授業から対面授業でも行うが，ハイブリッドで行う．（オンラインもする） 但し，オンライン参加の場合は事前にyonesemi21でオンライン参加の連絡
＜ランチミーティング＞ 一旦火曜は廃止 水曜の院MTG後と金曜のHAI後に行う Zoomリンク： 水曜：https://zoom.us/j/99749038329?pwd=ZFhIbHhRdjkyS2hQOUZseXhwdHlyZz09 金曜：https://zoom.us/j/92401030144?pwd=c3lKSGpFYmx0MlJkUUt1Q2NyK1ovdz09
＜合宿について＞ 合宿はオンライン（6/26-6/27） 土曜日の10:00集合＞＞やることや作るものを報告 日曜日の17:30＞＞終わってないことできたことを報告，残りの作業を次いつやるか報告 合宿中はyonesemi21のスラックチャンネルでコミュニケーションをとりながら行う（メンション機能使う）zoomでやってもOK . 今回の合宿に参加できない人は別の日に合宿でやる予定にしていたことをしておく（何をする予定だったのかはyonesemi21で事前に言っておく）
七月中にリアル合宿したい人は先生まで連絡！ 自分のオリジナルのアイデアということを示せるように 自分の研究の特徴を示せる最低限の形 人に研究のコンセプトを示せるように
＜今日の授業＞ 特徴を示せる最低限の形を作って計画表を作る 自分が考えているシステムの特徴をどういう風にするか決まってない人は授業中かランチミーティングでお話ししましょう
宿題： １）発表内容のためにプロトタイピング（ものを作る）準備をする． ２）六月中にゴールを持ってものを作る． ３）自分のやりたい研究に近い研究を探す．
メモ>
～今月中に実装完成のために～ ・6/26、6/27のオンライン合宿 ・他、6/12、6/13、6/19、6/20に週末はZoomのRoomを開けているので、適宜誘い合わせの上参加 ・個人的な実装は随時進めておく 今楽しんでやっていく
発想法について>
発散的フェーズ（思いついたものは全部使っちゃう），収束的フェーズ（選択的，組み合わせによって案の数を減らしていく） ・KJ法 キーワードを書き並べてグループ化＞＞自分にとって熱いテーマはどれか~ ゴールを決めないで発想するのがKJ法，結論ありきの議題をあげずにどんどん膨らませていく~ 思考レベル（一人で考えるとき）と経験レベルを繰り返すことで物事を新しく考え遂行する．~ ブレインストーミングで出たことをキーワードとして落としていく~ ・Mind map 中心にテーマをかく．中心から枝分れして新しいキーワードを生み出していく．樹形図~ いろんなキーワードの繋がりがないところをつなげてみる~ ・Brain storming 他者との意見のシェアが必要．ヘンテコな発想でも否定せずに拾ってみる．~ できるだけたくさんのアイデアを出す．収束ではなく，案と案を組み合わせて発展・ 展開してみる．~ 各自が何も準備していない状態のブレインストーミングと準備している場合あり（mind mapを準備している）．~ 準備しているとより濃い話ができる．準備できていなくてもキーワードは持っておいたほうがいい．変な繋がりを大喜利みたいに考えていく．~ 次週から二人か三人ずつテーマ発表 宿題： １）発表内容のためにプロトタイピング（ものを作る）準備をする． ２）六月中にゴールを持ってものを作る． ３）自分のやりたい研究に近い研究を探す．
連絡事項>
今月末までにできるようになること ・ドラフト Version2 →いい卒論を参考に（小山田君とか）、必要な調査や卒論構成をして、内容を丁寧に埋めていく ・実装の感性 ・実験計画書の完成とチェックを受けるx２ ・関連研究の文献の本数を25本以上に ・実装の感性（デモが実現できるように） #先生やTA、院生、3回生はじめ、いろいろな人と話してみる。自分以外の視点から意見を出してもらえる/議論を深める→ドラフトにつなげる #リサーチクエッションの明確化 合宿は6/26-27？参加できなくとも、他の日に時間を作って取り組む
～実験の話～ キーワード 要因、条件、水準、MOS法、SD法、分散分析、ANOVA4、因子分析（SD法の分析方法として名前だけ上がっていた）、 実験や分析に関する話 RQに基づいて実験を計画し、計測事項の検討をしなければならない。 要因は何による影響を調べたいかによって定める。（例えば、エージェントの表情が弱い、中ぐらい、強いとか） 質問項目ごとに要因による影響を比較することになる 質問項目は調べたい内容によって決まる。例えば、共感度が高いか低いかとか。 実験において調べる手段（質問項目の作り方） ・主観評価による心理的計測 5段階や7段階を用いたアンケートを、被験者に直観で回答してもらう ・MOS法：あてはまらない～あてはまる。質問項目は各自が確認したい内容を問う質問文にする。結果は分散分析を用いて分析。ANOVA4を用いる。 ５あてはまる、４ややあてはまる、３どちらともいえない、２ややあてはまらない、１あてはまらない ・SD法：形容詞対を用いる。形容詞対にすることで、尺度を明確化するメリットがあるらしい。３０個近い形容詞対を使って、因子分析にも繋げられる。 例えば、「暗い-明るい」、「冷たい-熱い」など 実験を行った後、回答結果を分析する方法 ・MOSの結果の分析 →分散分析 分散分析は、各質問ごとに、要因の条件（水準）ごとに分類して、エクセルシートにまとめて行う（ANOVA4が求める形式に作成する） ANOVA4：https://www.hju.ac.jp/~kiriki/anova4/ ANOVA4の使い方まとめ（竹村、梅田、小山田が作成）。 https://docs.google.com/document/d/1pP8sBtlCSFb6Xn2lEESviGHwluuYjqTC4ydPAboBUA8/edit?usp=sharing ～実験設定に関する用語に関して～ ・要因 被験者内項目と被験者間項目に分かれる 被験者内要因とは、 被験者間要因とは、音楽経験の有無や年齢、性別など、その人の属性によって分類することができる要因。 ・水準 要因が何段階か。例えば、表情強度という要因が「弱・中・強」の3檀愛ならば、3水準。 ・条件 各被験者内要因の水準の積の数になる。例えば、被験者内要因1が2水準、被験者内要因2が3水準なら、2*3の6条件 ・有意差 pの値が小さいほど差がある。p<0.05のとき（ANOVA4では*がつく） ・優位傾向 p<0.10のとき ・交互作用 例えば、要因1のある水準の時に、要因2に有意差が出ているなど、要因同士に作用がみられる場合のこと。 ・多重比較 ある水準が3水準以上の時、各水準の組み合わせに有意差があるのか たとえば、4水準なら、水準1-2、1-3、1-4、2-3、2-4、3-4。 ・パイロットテスト 実験に前もって、手法や手順、質問内容にミスや問題のある内容が含まれてないかをチェックするテスト。
連絡>
グループについては複数組み替えをたまにやる。 火曜日のランチミーティングを有効活用しよう！！(研究の話したい人は気軽に参加してね)課題>
今作りたいものや興味のあるものを出来るだけ過去の卒研と繋げていくため、2012年から去年までの卒論タイトルをみて、興味のあるタイトルを集め概要を読んでくる。 興味がある・読んできた卒研リストをwikiの研究ノートにまとめる。（後日提出場所を追加で別途指定）
～仮説の話～
リサーチクエッション：自分の研究のもととなった疑問、なぜそれを作りたかったのか。 自分の研究に後付けでもよいので設定する。 例：和音進行に応じて表情が変化するエージェントと一緒に和音進行を聴けば、誰かと一緒に音楽を聞いている感覚を味わえる リサーチクエッションは根本の代表的な疑問から、小さい疑問を派生させることができ、階層構造的に構築することができる。樹形図に考えると分かりやすい。 RQ-仮説-システム、実験、執筆 とつながってゆく
～リサーチクエッションの議論に関する続き～
今日の続きはyonesemi20のslackで行う。今日同じグループだった人の発言には必ずリプライする。
～課題～
リサーチクエスチョンの樹形図を書く。ただし、階層は2層以上。 その上で、 ・どのリサーチクエスチョンに答えるためにどういうシステムを提案・実装したのか（するのか） ・どのリサーチクエスチョンに答えるような実験をするつもりか を整頓して、Wikiの研究ノートに書き込む 後日提出場所を追加で別途指定するとのことです。 火曜日の昼休みはランチミーティングをやっています。リサーチクエッションに関することも話せると思います。積極的にご活用ください！！！
課題
１）前回のLMS提出のPPTを相互に確認しあい、 ２）グループを３−５人程度ずつで「自分たちで話し合って」作成する とします。 LMSのポスター課題提出フォームから、皆さんのpptを相互に確認することが可能です！ 自分と方向性の似た研究テーマのグループを作成してください！
関大LMSで提出されたポスターの見方について，補足しておきます（松村）
関大LMSにログインし，専門演習を選択 仮テーマポスターの提出欄右上の「詳細」をクリック 「公開レポート」をクリック これで見ることができるはずです．
〜やったこと〜
ドラフトやポスターの指摘をしあいました。 気づいたポイントやしてきされたところを反映していきましょう。
～私（竹村）が気づいた注意点～
/*論文中の「、」と「。」について*/
句読点は「，」「．」を使います。
既に「、」「。」で一部かいる人は、検索+置き換えで直しましょう！
%%%Texでの参考文献の置き方
\begin{thebibliography}{10}
\bibitem{sakaki}榊原 彩子：音楽において期待からの逸脱が情緒的反応に及ぼす影響，教育心理学研究, 1993, 41 巻, 3 号, p. 254-263
\bibitem{shimizu}清水響：コード理論大全，Rittor Music(2018)．
\end{thebibliography}
%%参考文献の呼び出し方
\cite{shimizu}
詳しくはググってください
bibtexも使えるかも
～4回生の課題～
・先日LMSで提出した全員分のポスターを見た上で、Slack等で話し合って3-5名程度のグループをつくる。この際、研究の共通点や方向性を参考にする。 ・学年全員のドラフトを見た上で、自分のドラフトで不足する要素を見出し、「自分のドラフトの一番下」にリスト化する。必要な要素は本文章構成に反映する。
～ポスターへのアクセス方法～
LMSの授業のページ→仮テーマポスターの横の詳細→公開レポート
～ドラフトへのアクセス方法～
wikiの卒論のページにみんなのリンクがある
来週までにポスター作成 LMSにポスターを順次出す 来週はブレイクアウトルームでポスターをみて意見出し合う
来週までにポスター作成 LMSにポスターを順次出す 来週はブレイクアウトルームでポスターをみて意見出し合う ドラフト Docsで作成し、URLを発行（共有設定を公開・コメント可にすること） LMS提出 Wikiの個人の研究ノートページに貼り付ける Wikiの卒論のページに貼り付ける
やったこと・話したこと
Minim biosppy Vive eye pro
各自発表
各自発表
1 2 3 光嶋さん 4 5 石田さん 6 芝くん 7 佐藤くん 8 ブイくん 9 丹野くん 10 西野 11 戸高くん 12 ヒョウさん 13 岩崎くん 14 余くん 15 岡田くん 16 松山くん
石田真子 (2021-06-10 (木) 13:03:09)
6/3
発想法について
発散的フェーズ（思いついたものは全部使っちゃう），収束的フェーズ（選択的，組み合わせによって案の数を減らしていく）
KJ法
キーワードを書き並べてグループ化＞＞自分にとって熱いテーマはどれか
ゴールを決めないで発想するのがKJ法，結論ありきの議題をあげずにどんどん膨らませていく
思考レベル（一人で考えるとき）と経験レベルを繰り返すことで物事を新しく考え遂行する．
ブレインストーミングで出たことをキーワードとして落としていく
Mind map
中心にテーマをかく．中心から枝分れして新しいキーワードを生み出していく．樹形図
いろんなキーワードの繋がりがないところをつなげてみる
Brain storming
他者との意見のシェアが必要．ヘンテコな発想でも否定せずに拾ってみる．できるだけたくさんのアイデアを出す．収束ではなく，案と案を組み合わせて発展・展開してみる．各自が何も準備していない状態のブレインストーミングと準備している場合あり（mind mapを準備している）．準備しているとより濃い話ができる．準備できていなくてもキーワードは持っておいたほうがいい．変な繋がりを大喜利みたいに考えていく．
森山さん
感情の変化に応じて人体へ刺激を送るエージェント
キーワード：感情，ストレス，無意識，生理計測，音響，マッサージ，ツボ押し
生理計測から得た感情によって身につけたデバイスから身体に刺激（ツボ押し，マッサージ）を送り気分調整.
つぼでストレス腹痛を改善できるところに目をつけた
触る＞＞脳が活性
顔とかを点でリズムを刻みながら転々押すと気分が落ち着く
触ったことによる脳の状態変化＞＞最終的に気分が変わる
脳で起きることを予測して仮説を立てる．
脳に対する刺激量と刺激の質を想定して隠れパラメータ（つぼ，強さ，範囲など）を考慮する．
自分が信じられる刺激であることが大事．
関係性に応じて触っていい場所が違う
ツボ押しで押していい場所通したら嫌な感情になる場所
パーソナル身体マップと脳のパラメータと触り方の隠れパラメータ
ソマティックマーカー仮説＞＞情動の状態によって身体が変わるなんらかの意思決定に影響する
身体情動モデル＞＞目が濡れているから悲しい
精神の安定＞＞
廣川徳也さん
人と触れ合えるロボット
キーワード：ロボット，オムニローバー，触覚，機械学習，コミュニケーション
人がロボットに触ることでなんらかの反応を返してくれるロボット．
神経密度のシミュレーションをしてそれに応じてセンシティブさが違う．人間と人間の間の近接学
人間とロボットが適切にコミュニケーションできる関係性ができる
オムニローバー
神経細胞にベクトルがある（目を避ければ楽になる）
感覚器のベクトルを変えて刺激を避ける
欲求と抑制
システムを作る部分は類似しているけど
内受容感覚に目を向けると自分の内部に目を向けることでメンタルを安定させることができる
感覚に伴って行動を深める
Gaze aversion
次週から二人か三人ずつテーマ発表
宿題：
１）発表内容のためにプロトタイピング（ものを作る）準備をする．
２）六月中にゴールを持ってものを作る．
３）自分のやりたい研究に近い研究を探す．
大澤朋弥 (2021-05-13 (木) 14:37:11)
・Googleスライドを用いた研究テーマのクラスタリング化？
スライドURL : https://docs.google.com/presentation/d/1vK3lrCUC2BwYglDS0D0fsJVRZjE7MlhJtC3TQlpArn8/edit?pli=1#slide=id.p
※前回の発表を元に先生がまとめてくださったものを参考に
□音楽関係・AR/VR関係・整理/心理関係・エージェント関係の4つに分布し、自分の研究に近いグループにクラスタリングする
⇒そこからさらに詳細化する
□自分に近い人を見つける or 自分と全く関係ない人と話をすることができる
※グループ化されたものの中に共通点を見出す
共通化されたグループを樹形図化することで関連性を見出す
・リサーチクエスチョンとは…
⇒根本となる疑問を考える根幹となる部分
□RQは階層的な樹形構造になっている
※何かテーマや研究からや日常生活の疑問から導き出すこと
※一般性があることやすでに証明されていないか・独自性のある視点で疑問を持てているかなどはRQを立てるときに考えなければならない
⇒間違っていても構わないが、見当違いでない仮説を立ててシステムづくりをできるような仮説(予測)でなければならない
・文献調査
⇒自分の研究に対して何か地検がないか調べることや、自分やしたいことをどうやって表現するか技術を調べるかなどのこと
※先生に聞くことなどは最低限Webサイトなどを検索してから聞くことにしましょう
① 調査内容をまとめる(Webサイト・文書等一般的に参考文献としてまとめる感じで)
※まとめる際には、グループ化しておくことで関係性を見出しやすくなる
② 他者の調査内容とマージしながらグループ・研究室単位でまとめる
※1人では見つけられなかった視点などを考えながら勉強会や実装・それらを組み合わせた論文を書くこと
・知識を得る方法をできる限り共有化することでお互いがWin-Winとなる可能性がある
・技術動向調査
※使っていく可能性のあるツールやライブラリに関する調査
・ハードウェア調査,ソフトウェア調査
※ハードウェアだと、やってはいけないことなども沢山あるのでそれらをまとめておくことや、「これ」をすると「あれ」が得られるみたいなハードウェアの知識をまとめておく
※専用のプログラミングツールとセットで勉強することが必要である
※ソフトウェアだと、オンラインで実施する環境・ローカルで実施する環境など
※プログラミング言語の中でもできることがたくさんあり何処かに限定される
☆☆Give & Takeがそれぞれできるようになること
石田真子 (2021-05-07 (金) 16:01:14)
リサーチクエスチョン
こんなシステム作りたい，の裏に隠れた自分の疑問，なぜそれを作りたかったのか
樹形構造で考える．最も根源的な質問に具体的な疑問がいくつか含まれる．
自分のリサーチクエスチョン＞＞リズミックな音楽に共感するメカニズムを解明できるか
仮説：RQに対する仮の回答，具体的な予測をつけるもの
＞＞リズミックな音楽に共感するのにはこういうメカニズムがあるだろうと予測をつけること
＞仮説に応じてシステムづくり
＞実験構成，比較ベース：仮説通りかどうかを調べる
＞リズムの興奮をするけど、快感はうまないエージェント、快感を生むエージェンと
どっちがいいのかを調べる
RQ＞仮説＞システム＞実験＞執筆
今日の続きはyonesemi20のslackで行う。今日同じグループだった人の発言には必ずリプライする。
宿題とかの連絡はおってyonesemi20のslackまたはメールで行う。
システムとにかく作る
堀真麻 (2021-04-26 (月) 13:16:06)
春課題では3Dの物体とARのプログラムを作ってきた。出来なかったことはVRのプログラムを作ることとプロセシング以外のソフトに触れることARの読み込む画像を好きなものに設定することができなかった。これからやりたいことはVRやARを使ったプログラミングを本格的にやっていきたい。最終的な目標はそれらが生活のどこかで役に立つようなものを作っていきたい。
石田真子 (2021-04-23 (金) 12:26:47)
4/15
Wikiのorientaiton for allでゼミのルールを確認しておく.
今後の4回生の流れ
進路決定、卒論のドラフト、ポスター作成→去年の4回生のドラフトを参考にする
システムの最終的な実装を完成させ、実験計画スタート
システム展示
実験計画書を完成させ、卒論ドラフト
実験準備、参考文献集め
10月は実験、11月は分析、12月には概要完成
心理統計学の基礎、実験分析に参考になる
優先度：論文誌＞国際会議論文＞研究会全国大会論文＞紀要＞博士論文＞修士論文の順
光嶋さん：
カメラの自分の姿を分身エージェントとする。まとめレポートを書き進めている。
Face trackerがうまく動いていない。
石田：少しずつどのようにリズムを感じるのかのモデルをフローチャートで書いてどういう風にパラメータで反映させていくかわかりやすくしておく→それを提出する
シバくん：
システムの見直し、システムの概要の修正→計画の練り直し→参考論文のまとめ直し
佐藤くん：
人のPC画面に仮想的にロボットを投影、人の表情と距離を組み合わせて感情分析を行う
ロボットの見た目、表情による心理的影響、論文探し
ブイくん：
車内の英会話学習と英会話支援システム
春休みは文献まとめ、類似論文を調べて読んだ
丹野くん：
システムを作成した、ユーザが感情を入力しそれを分析してみる。感情入力機能を加えた。
レポートを今からかく
＊ ポスターの作成／Wikiの研究ノート
＊ 卒論のドラフトVersion1を準備
＊ はじめに、関連研究、提案システム（手法）、検証、考察、おわりに
＊ google docsで作成、共有する→研究ノート
＊ ポスター
4/22/2021
西野くん：
音楽を可視化したMVシステム
音の高さ音量リズム可視情報を視覚化
Pythonとprocessing連携、背景エフェクトをつけることが課題
Pythonとprocessing、可視情報を抽出感情分析→背景色に反映
→色相を変えるのと色の濃さを変えるのは別、感情極性辞書はポジティブしかわからない、興奮度の表現が難しい。無理やりアクティブインアクティブを歌詞から出力する方法を考えてみよう。歌詞の表示、曲情報、歌詞情報を読み込んだ後に歌詞の情景を組み込むことが可能。音楽内時間計画を立てる。音楽の情報と歌詞の情報を分けて考えるといい。
ひょうさん：文献探し、Unityとprocessing、ARkitの勉強
→ディープフェイク、GAN
二次元上でより自然にその人自身が作れるシステムがある
GANを活用して昔の人をキャラ化するインタビューデータと昔の写真があれば勝手に喋るシステム
岩崎くん：
集中力測定方法の模索、文献探し
集中力測定方法（瞬きの回数、注視店の大幅な移動回数、体感時間、タスク達成率）
→瞬き回数が減って顔の向きが一定していると集中力が高い。
ディストラクターオブジェクトの方をどのくらいみるかで集中力を測定する
余くん：色彩は考えず動作だけ考えてユーザの感情を操作、アイドル状態？探索状態？（巡回モードのNPC動作）が完成、動作状態を考える。キネクトを使ってモーションキャプチャを使って動作（戦闘モード）をどうするか考える
岡田くん：
不登校児童の支援システム、文献探し
ソケット通信、インタラクションの導入に苦戦
手を振るインタラクションの作成、音声コミュニケーション
松山くん：高齢者を中心したマルチタスクトレーニングによる認知心身への変化
指の運動、会話システム、表情認識まで完了
春課題→体を使ったトレーニング内容の検討（キネクトでの足踏みウォーキング、リープモーションの使用）、
どういう運動をしてPCに何を認識させるかが大事
はぜきさん：重畳表示による複数視点からの空中像表示手法
レポート作成、関連研究探し
これから→ウィキの整理、研究を進捗させる
石田さん（代理投稿米澤） (2021-04-17 (土) 10:36:56)
ていきたい。
福迫さん：
Leap motionを使ってみた。参考サイトがなかったので誰かに相談したい。
折坂さん：
Processingの勉強した。
米谷さん：
C言語の勉強した。オセロゲーム作ってみた。Unityの操作方法も勉強した。
→プログラミングの勉強の基礎をやるならprocessing使ってみてください
安川さん：
Processingで３Dオブジェクト作ってみた。
→裸眼立体視を使うと面白そう
森山さん：
無意識の感情に対してアプローチしたい。感情変化によってどこに変化が現れるのか論文を探した。フーリエ変換などの解析方法を勉強するためpythonの勉強を始めた。pythonで録音してその音声をプロットするプログラムを作ってみた。
→biosppy
大澤さん：
音声認識やってみた、speech to textを使って音声認識、
直接マイクで録音した音や曲中の歌声、BGMを音声認識してみた、顔認識や音声認識、自然言語処理を組み合わせた生活支援エージェントの作成やARの活用を視野に入れている、pythonの勉強もしていきたい
→マルチモーダルインタフェースをテーマにしてみては
吉次さん：
心拍に合わせてスペースキーを押すことで、自分の心拍数を測ったり、視覚化したり。自律神経の状態を測るようなシステムにしていきたい、顔認識もしていきたい。プロセッシングのビデオライブラリが入らない
→コマンド打つ必要あります、外部接続カメラ
美馬さん：
オープンデータとして公開されている点群データをクラウドコンペアを使用してUnityで表示させる。オキュラス使ってみた
→オキュラスに限らずviveeyeproを使ってみては
小林さん：
音とか音楽について研究したい。岩宮真一郎の教授が書かれた本を読んでみた。サウンドのUIデザインに興味を持った。
→サウンドインタラクションを使って、人間がどういう行動を取った時にどんな音を返すかを検討してみると面白い
来週続きします
テーマが決まっていない人がテーマを決めるためのポスターを作っていくことを先生がメールしてくださいます。
抜けや漏れがあったら申し訳ないです:アセアセ:
こんな感じで皆さんもログを取ってみてください！
ポスターのフォーマット