![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
学生証を忘れた場合はTAにお申し付けください
点呼に対応しない場合，欠席扱いとされて成績に影響が出ますのでご注意ください
主に資料共有をするために，特に発表をする際などは必ずログインしてください
また，体調不良等で学校に来れない場合はこちらから参加してください
入れ替わりの時間などをスムーズにするために
発表等をする場合は事前に準備しておいてください
適宜，宿題や課題が提示されますが出来ていない場合成績に影響が出ますので
忘れることなく実施していただけると幸いです
以下の手順に従ってください
Slackの#yonezemi25の上部にある「Slackワークフローリスト」から
「help_it_zemi」を選択して「ワークフローを開始」ボタンをクリックしてください
「#yonezemi25」を選択してワークフローを開始してください
入力画面が表示されるため理由等の入力を行い「送信」を押してください
■入れてほしい内容
分類 / 論文タイトル / 著者 / 発表場所 / 発行年 / 巻-号-ページ（開始・終了）
自分のまとめ / 自分の感想 / 関連性評価・面白さ評価・引用Must度合いなど / URL
また，見れなくなる可能性を考慮して
フォームにまとめるだけではなく自身のPCに論文のpdfを保存しておくことを推奨
■補足事項
【分類】
どういう分野か（e.g.音楽知覚, 音楽表現）を選択式で準備
１つだけ選択する → ラジオボタン / 複数選択する → チェックボックス
分類は後から修正できるのでとりあえずで作っても〇
（ただ，後から修正しても修正前に分類されたものは変更されないので注意）
【著者】
複数名いる場合は”，”で区切ってまとめる．正しい順番で
【発表場所】
国際会議の名前やシンポジウム / 研究会の名前を入力する
書籍の場合は出版社の名前を記載
【発行年】
条件を「数値 : 次の間にある：1900～2030」としておくと
数値以外の文字列や異常値を入力することを防ぐこともできる
2020年代だと割と最新．10年代だと少し古いけどまだ現役
1900年代のは概念といったベースの部分であれば引用してもいいけど
技術的な話は使い物にならないので注意
【巻-号-開始ページ-終了ページ】
情報がないものは空白でも〇
発行年と同じように「数値：整数」にすると良き
【自分のまとめ】
「論文のAbst（概要）」をコピペするのではなく，自分なりにまとめる
重要だと思うキーワードは太字などにすると良き
【自分の感想】
自分の研究とどこが類似している．どこが参考にできる．といった内容を整理
【関連性評価・面白さ評価・引用Must度合い評価など】
１つずつ評価したい場合は均等目盛を用いる
1つに纏めたい場合は「選択式（グリッド」を選び
“行”に評価する項目，”列”に評価項目（数値など）を入れると良き
どんな会社に行きたいか / どんな仕事をしたいか という
ビジョンがないとインターン活動の意味が薄まる可能性があり
「とりあえずインターンしとかなきゃ」といったモチベーションでしていると
会社側からの質問に回答できなかったり，なんやかんやで進路が決まらないことも
一生レベルで考えなくてもいい．5年レベルで聞いておくといい
いろいろ調べる前に自分の心に聞くことをまず優先する
今は売り手市場なので，心さえ固まっていればなんとかなる
5/20-22 NTTオープンハウス 6/22 SOJOオープンキャンパス（総情全体のやつ） 6/12 千里山キャンパス 落合洋一客員教授 トーク
ゼミの時間外でも各自で情報を共有したり，集まる場を用意して毎週進捗が進むように
作りながら「この機能も追加したい」と要素を付け加えるのは〇
初めから詳細を事細かに考えるのではなく，とりあえず物を作りながら詰めていく
わからない点や「こういった機能もどう？」といったアドバイスが欲しい場合は先生やTAに相談
LMSにて提出していただいた内容から，簡単な要約を作成しました
音声や動作に応じてアバターが反応するVRライブ体験システムの制作
挨拶やジェスチャーに対して表情や動作を返し、声の大きさによって会場の盛り上がりも変化する
VRゴーグルやマイク、カメラを用いて、没入感のあるインタラクションを実現
■ 入力（ユーザーの行動）
「おはよう」 → 音声入力（音声認識）
「バイバイ」「またね」 → 音声入力（音声認識）
手を振る（👋） → 動作入力（ジェスチャー認識）
パンチ動作（🤛） → 動作入力（ジェスチャー認識）
声の大きさ・高さ → 音声特徴量の検出（感情推定など）
■ 出力（アバターの反応）
「おはよう」 → お辞儀する
「バイバイ」「またね」 → 悲しむ表情を見せる
手を振る（👋） → 手を振り返す
パンチ動作（🤛） → 驚く表情や動作を見せる
声が大きい・高い → 観客の盛り上がり度（会場エフェクト等）を変化させる
■ 使用機材・技術
VRゴーグル（Meta Questなど）
マイク（音声入力用）
カメラ（動作・ジェスチャー認識用）
モーション・表情アニメーション（事前に作成）
必要に応じてモニター表示（代替環境）
ユーザーの表情から感情を推定し、それに応じてロボットがユーザーとの距離を調整する
喜怒哀楽の感情に応じてロボットが接近・回避といった行動をとり、パーソナルスペースの動的制御をする
■ 入力（ユーザーの行動・システムの信号）
ユーザーの表情（カメラで取得）
表情から推定された感情（例：怒り・喜び・悲しみ）
■ 出力（システムの反応）
ロボットがユーザーに近づく or 離れる（感情に応じて移動）
怒っていれば距離を取る／喜んでいれば接近するなどの動作
パーソナルスペースを意識した行動表現
■ 使うもの（機材・ソフト）
Py-Feat（Pythonによる表情認識ライブラリ）
Webカメラ（表情入力用）
全方向移動型ロボット（D棟にある既存機体）
楽器の音がもたらす心理的イメージや感情をVR空間で体験できるようにするもの
ユーザーが仮想空間内で楽器に近づいたり触れたりすると、その音が鳴り、音に応じた映像や風景が反応して変化する
音と視覚を組み合わせたインタラクティブな音楽体験を通じて、楽器の魅力や印象を直感的に楽しめる仕組みを作成
■ 入力（ユーザーの行動）
ユーザーが特定の座標に移動（例：鍵盤マットを歩く）
ユーザーがオブジェクトに近づく／触れる
ユーザーが楽器を選ぶ・操作する
■ 出力（システムの反応）
各座標や楽器に対応した音が鳴る（例：ピアノ、太鼓、バイオリン）
音に応じた風景・映像の変化（例：和風→神社、バイオリン→ヨーロッパ風建物）
楽器を触ったときのアニメーション表示
■ 使うもの（機材・ソフト）
Unity（VR空間構築・音出力）
Maya（楽器オブジェクト制作）
VRゴーグル（体験用：Meta Questなど）
DTM音源（GarageBand等のサンプル音）
論文・卒研資料（音楽の心理的影響調査）
演奏された音楽のテンポやコード進行を解析し、それに応じてエージェントが感情的な表情を見せるインタラクティブな音楽可視化
BPMやコードによって感情を変化させることで、演奏と視覚的な表現の一体感を生み出す
リアルタイム演奏やMIDIデータの入力に対応し、音楽の雰囲気をVR空間で体感できる仕組みを作成
■ 入力（ユーザーの行動・システムの信号）
MIDIデータの入力（Photonなどを使用）
演奏音（リアルタイムまたはデータ入力）
BPMやコード進行の自動検出
■ 出力（システムの反応）
エージェントの表情変化（BPMやコードに応じた感情表現）
音楽のテンポや進行に合わせた雰囲気の変化
感情に応じたビジュアルの切り替え（表情・動き）
■ 使うもの（機材・ソフト）
Unity（VR環境・エージェント表示）
Photon（ネットワーク通信／MIDI連携）
MIDIデバイスまたは演奏データ
音楽解析（BPM・コード検出アルゴリズム）
Unity上に表示したアバターを操作し、将来的にはモーションキャプチャによってリアルな動きを反映させる
初期段階では歩行やジャンプなどの基本的な動作をプログラムで制御し、段階的にキャラクター性やリアルな身体表現の導入を目指す
VR空間内でアバターの動きを視覚的に体感できるインタラクティブな仕組みを作成
■ 入力（ユーザーの行動・操作）
Unity上での動作指示（歩く、走る、ジャンプなど）
モーションキャプチャデータの入力（最終目標）
キーボードやコントローラでの操作指令（初期段階）
■ 出力（システムの反応）
アバターが指令に従って動く（歩行、ジャンプなど）
モーションキャプチャによるリアルな動作反映（理想）
VR上でのアバター動作の視覚化
■ 使うもの（機材・ソフト）
Unity（アバター表示・動作制御）
モーションキャプチャ機材（例：Kinect、Webカメラ、VR用デバイス）
VRゴーグル（動作の確認・表示）
アバター素材（Humanoid対応モデル）
カメラで撮影した顔表情からユーザーの感情を推定し、その感情に最も近い特徴を持つ楽曲を提案
取得した感情パラメータを2次元空間上にマッピングし、同様に配置された楽曲情報と距離計算を行う
Pythonを用いて処理を行い、ユーザーのその瞬間の心理状態にフィットする音楽体験を提供
■ 入力（ユーザーの行動・システムの信号）
顔画像（カメラで撮影）
表情から得られた感情データ（怒り・喜び・悲しみなど）
性別・年齢などの補助情報（任意）
■ 出力（システムの反応）
顔表情に基づいて最も近い感情を持つ楽曲を選択・推薦
感情とマッチしたテンポ・雰囲気の音楽
推薦の根拠となる2次元座標上での楽曲マッピング表示（テンポ×エネルギーなど）
■ 使うもの（機材・ソフト）
Python（顔認識・感情分析・マッチング処理）
Webカメラ（入力用）
顔感情分析ライブラリ（例：OpenCV、mediapipe、DeepFaceなど）
楽曲情報データベース（Spotify APIなど）
5/1まで
5/8 12:00まで
5/8 以降
5/31-6/1
LMSにて入力していただいた「研究の目標・目的」を以下にまとめておきます
グループを作る際の一材料としてご活用ください（以下敬称略）
青山：
よりリアルなオンラインライブを作り出す
秋田：
VRを第2の現実にしたい
仮想空間の中で人や感情を持ったエージェントがリアルに触れ合える
朝倉：
人の気持ちを読み取って寄り添えるシステムを作る。
飯間：
VRと擬似感覚を用いたVRゲームへの没入感
石橋：
楽器（ギター）演奏支援
江口：
VtuberのオフイベのライブでAR技術が使われているが、実際に見に行った人は
映像に写っているものを見ることになるので、実際に見に行った人も3Dに見えるようにしたい。
大地：
感情を伝える、感情を可視化する、コミュニケーションを円滑にする
小野：
現実とバーチャルの融合
柿添：
VR空間などの環境の変化における心(感情)の変化を知る
木村：
ロボットに心を持たせたい
芝田：
五感フィードバック（VR）
手話を用いてメディアを動かす（感情も混ぜられるか？）（VR、機械）
ただのVRだけでは面白くないから、歩いたり走ったり、動きたい（もし乗り物とかがあれば更に面白いかも）
高田：
ピアノ演奏を楽しめるシステムを構築し、利用者に感動を与える。
システムの機能で弾いた音色にエフェクトを表示し、自由自在にカスタマイズして単音への新たな印象を与える。
私的空間の創造で癒しを与える。
瀧澤：
VRをよりリアルにする
田中：
環境の変化による音楽の感じかた
玉野：
人の顔から読み取れる情報からその人に合った音楽をサジェストする。
また顔の情報だけでなくアーティストや曲の種類などを制限できるようにもしたい。
徳本：
あえて言葉を使わないマスコット型バーチャルエージェント
松下：
ライブパフォーマンスにおける観客の感情の増幅
松村：
音楽に合わせてリズムをとるロボット、
表情から人間の感情を推定・数値化して合う音楽を再生・演奏するシステムの構築
的場：
音楽に対する人の反応をしらべる
森田：
2次元のキャラクターのライブをどこでも誰でも実際にライブに参加してるような体験を提供
吉迫：
ユーザーを楽しませ、便利にする
吉次：
吉原：
音楽で感情を変化させる。
音楽をより楽しんでもらうためにそれぞれの楽器の単一の音をよく聞こえるようにして、楽器の良さを伝える。
大学ならではの「考え方」を学ぶ
ただ新規のものを作るのではなく，なぜそれを作るのか．
どういった根拠から作るのかを考えながらものづくりを行っていく
ここの研究室では特に「人ーモノ（メディア）」の関係性に着目
どれか１個のメディアを作る．というわけではなく，複数のメディアを組み合わせても〇
・自立的な存在として動いているような「メディア」
・現実を取り巻く環境を取り巻く「メディア」
・人間の拡張・他者とつなぐような「メディア」
作りたいもののイメージを作る時は，メディアの中でどういった処理をするかを考える前に
「入力」と「出力」はどうしたいかを考えると〇
・入力部分
世の中にある技術を”使って”面白いシステムを作るスタイルがおすすめ
というのが当研究室の立ち位置．「技術自体」を作ることもできるけどしんどい
出口として「この技術によって誰にいいことがあるのか」というところまできちんと考える
・出力部分
「人間にどう伝えるか」という部分を考える
ただ生のデータを出力するのではなく「どのように伝えるか」によって受け取り方が変わる
具体例ーーーーーーーーーーーーーーーー
1.作りたいシステム
Aさんがきたら「Aさんが好きな音楽」を流す
Bさんがきたら「Bさんが好きな音楽」を流す
それ以外がきたら年齢を推定して「その年齢が好きそうな音楽」を流す
2.入力と出力を考える
入力：画像 - 出力：音楽
3.入力と出力の間を考える
・画像からどのように人物推定や年齢推定をするのか
「○○推定技術」「検出技術」といったものを活用する
人間や環境から”情報”というものを収集するもの
・人物や年齢と音楽はどのように対応付けるのか（ここが新規性？）
的場：
processingで図形がぐにゃぐにゃするプログラムの作成
ボタンで様々な図形が出るような形．ぶれるのはノイズ関数で
森田：
Live2Dを使って，自分の動きを再現するようなシステムの作成
モデルの瞬き・口の動き・体の動きをカメラからの画像によって変化
今はレイヤー数が多いモデルで挑戦中
吉迫：
AIのチャットと対話できるアプリの作成
アシスタントの性格（静か-超元気）を設定すると
それに応じたエージェントと，対話ができるようになる
静かだと「和尚」が，通常だと「執事」が，超元気だと「ギャル」が出てくる
吉次：
unityのサンプルをマイナーチェンジして玉転がしゲームを作成
3次元の表現にいいし，２次元的な表現にも応用活用
吉原：
Processingでアタック25を出来るようなゲームの作成
左クリックだと赤に，右クリックだと青に．
挟まれた部分が自動的に変化する処理はまだできていないので，今後の課題
青山：
Processingでじゃんけんのゲームを作成
”Bet数”と”強さ”を選んで，勝つことでコインが増えるようなゲーム
元々はUnityに興味あり
とりあえず今できることでこれを作ってみた感じ
秋田：
Processingでスライムと戦うゲームの作成
自分のHPとか敵の情報が乗っている
画面上に移っているキーを押すことで攻撃ができたり，防御したりできる
・数字をランダムに選んで，その数字によって出てくる敵が変わる
・敵に応じて出てくるイラストなども変わる
・独自関数で定義して，今後改良しやすいように
UnityとかCGに触れるために，そのための端掛けとして
朝倉：
Processingで 入力したキーワードに応じて，音楽のページにランダムに飛ぶシステム
「spring」と入力すると，春に関係するyoutubeのページに移る
１つの単語で複数の選択肢があってそこはランダム
自分で打ち込まなくても，感情を計ってくれて
自動で音楽を選択してくれるようなものが作れると良い
飯間：
Unityで横スクロール型の2Dゲームと3Dゲームの作成
2Dゲーム
穴を回避しながら，物を取得して城についたらリスポーン地点に戻る
アイテムの設置や取得・使用などもできるような枠組みを作成
3Dゲーム
木などのオブジェクトの配置．主人公を矢印キーで操作できるような仕組みの追加
敵の準備やダメージを与えるみたいなこともできるといい
石橋：
Processingでギターのスケールを表示させるプログラムの作成
コード？を押すと，スケールが表示される
赤色の点だけでなく，緑色の点（ドレミファソラシドの点）を追加
音も一緒に出すことができると良き
江口：
UnityとVisualStudioを使って2Dのゲームを作成
プレイヤーがジャンプやしゃがんだりして，ゴールを目指すゲーム．１から作成
大地：
p5を使って音の高さに応じて画面が変化するプログラムの作成
低い声 → 暖色系 / 高い声 → 寒色系になるように
小野：
Unityで手間のオブジェクトを操作して，ボタンを押したらオブジェクトを射出
それにあたったオブジェクトを消すようなプロジェクトの作成
柿添：
Processingでゾンビシューティングゲームの作成
右下に銃があってそこから選択した箇所に球が射出．それが当たったらポイント
20ポイント取れるとゲームクリア
木村：
Arduinoスターターキットを使っていろいろ作成
LED点滅 / RGBを指定して色を変える / ボタンでの入力 / ブザーによる音声出力
ボールスイッチ / サーボモータ / 超音波センサー …etc．入っているものを大体やった
モータ制御に一番興味あり
芝田：
ペルチャ素子を使って，冷たさを意図的に作る
ゲームコントローラーなどに応用
高田：
VR・ARと連動するピアノシステムの先駆けとして，UnityのTerrainを使って景観を作成
レンダーやテクスチャの設定に四苦八苦．でも解決できた
瀧澤：
Unityを初めて使用．スマホで完結できるようなプログラムを作成予定
田中：
pythonで入力した音階を作成するようなプログラムの作成
ピアノの音を出させたり，コード進行なども実装できると良き
玉野：
pythonで自分の状態（落ち混んでいる．激しい）…etcの属性値を入力して
それに応じた音楽をサジェストするような仕組みの作成
徳本：
冬休みで作ったモデルをアップデートして
漫符や眉毛などをつかって「口がなくても感情表現ができる」キャラを実装
言葉なしでも，そのようなキャラとインタラクションできるのかを検討
松下：
Unityでブロック崩しのゲームを作成
"GameOver"のUIを作ったり，オブジェクトの反射なども実装
Unityによる2Dの可能性について知った
松村：
pdによるメトロノームとドラムの追加
pythonのopencv,dlib,pyfeetによる顔認識の実装
