![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
ユーザーの感情をもとにオーケストラの楽器、配置を変え個人個人や時々で違う編曲を楽しめるシステム
感情を音に「気分オーケストラ」
（研究の特色の伝わるキーワード。６〜１０くらい）
既に存在するエンターテインメントをさらに充実させること。
感情と音の繋がりの解明。感情（心拍数や表情など？）をもとに楽器編成や曲調、テンポ等を変える。
その場にいなくてもその場にいるような体験（立体音響を利用）。
作曲者や一般ユーザーの音楽再生に利用（ライブなどでも応用可能）。自分の感情を客観視してセルフモニタリングする
音と感情の紐づけから個人個人の音をアウトプットすること。
現在のように外出自粛を求められている際や、海外など費用や時間の問題上行くのが難しい際、また病気などで外出することが難しい方に利用してもらえるのではないか。（立体音響）
日常生活における音楽体験の向上、新しい音楽体験の提供、エンターテインメントの向上。
ユーザーの感情（入力方法検討中）に従ってオーケストラの楽器や配置が変化する。
インプット→感情,アウトプット→編曲された音楽
Pdを使用予定
一般ユーザー
ライブの観客
ライブなど生演奏の際にも応用可能？
一般的には音楽を聴く際
心拍数などの感情をもとに楽器のパターンや配置を変えて編曲するシステム作り。
感情を何を基に計測するか検討中。
また、テンポと楽器を別軸で考える場合、心拍数の他に何を計測することが出来るか。
Pd-extended:音メディア制作の際用いる。オブジェクトを繋げていくため通常のプログラミングよりも視覚的に分かりやすい。
サウンドスケープ:人工音、自然音、生き物の音、静けさ、雰囲気、イメージの音など。「音の風景」。環境の音。
「リスニングウォーク」:町の中で聞こえた音を地図上に記す。
感情を何ベースで入力するか←表情なのか言葉なのか
音と感情の繋がり：心拍数、表情、体温、エコー、音響、どこから聞こえるか、曲自体の動き
直接想起、間接想起 潜在意識
実装に必要なこと
・楽器と感情円環の関係性グラフ作成
・感情円環上での音量調節（できれば各楽器ごとにも）
・音階リズムの工夫
・短調長調だけでない調の変化（参考文献から喜怒哀楽の調設定）
unityで音が出ている物体と自分のキャラクターの距離によって音量が変わるシステムを作り、実際にカメラを移動させました。
Pdの基礎を学習
Unity触ってみる
感情でオーケストレーション
立体音響を用いて音の飛び方などを変える
楽器の種類、配置、会場を変えられるとよい
キーワード：Storytelling,Gamification,Soundscape（楽器音、Orchestration）、BGMストーリー性 起承転結＞Agentの感情表現、インタラクティブアート
プロトタイプ:自分の研究の特徴を表せる最低限の形
音の場所、配置、響きを表現
これらを感情に基づいて変更可能に
6月プロトタイプ
テンポと楽器を紐づけて心拍数を図る（zキーとxキーを交互に押して測定）ことで3パターンの内適したものが流れる。
問題（二拍以上打ち込むと音が止まったり重なる）→改善済み
テンポ→心拍数を基に、楽器→何か別の生体計測を基に 変更可能にするのも良い
立命館大学 オーケストラが実際にそこにいるような研究
立体音響：没入感
同じ場所から音を鳴らし、違う場所から鳴っているように聞こえるか
楽器ごとの音の飛び方の違い
低音スピーカーは一つのみ
周波数で音の方向性
生を超えてはいけない
「仮想空間オーケストラにおける視覚情報と聴覚情報の統合」
これは仮想空間にオーケストラを作成することが目的→音響シミュレーション活用できないか
演奏者エージェント:リアルタイムに情報交換、独自に判断してピッチやテンポ変更
作業集中状態に基づくイラスト練習への働きかけの継続モチベーションへの影響
移動イベントにおける不参加者の追体験に向けた体験共有システム
主観熱唱度に応じて盛り上がりを見せるVR観客表現システム
歌唱時の頭部動作や顔表情変化における歌唱経験や曲調による差の影響
環境音に潜むリズムと音程の可能性を伝える音変換手法の提案〜絶対音感の世界の伝え方と楽しみ方
テキスト情報に音を付与する典型音記述法サウンドグラムの提案
演奏者の個性を取り入れるリアルタイム作曲ツールを用いた演奏の提案
楽器の位置づけ
喜⇔怒、哀⇔楽のメイン楽器音量調整システム
2022春課題パワポ.pptx
出口（誰に使ってほしい）を明確に
夏課題→6月プロトタイプの完全版の作成
例えば）キーボード入力を音声入力に
8月末にデモ大会（3回生同士で見せ合う）
森山さん：触→脳 ツボ押し（効果はあっても触られて不快感を感じる場合も）
刺激量と刺激の質
触ることでストレス軽減、音楽でも？
（脳の中で何が起こっているか）
身体情動モデル ソマティックマーカ仮設
ストレス≠不安、ネガティブ
＝脳にかかる力、交感神経
触れることで脳に良いサイクル 本人の意識次第
感情の誘導
廣川さん：近接学×嫌の度合い×遠慮の度合い パーソナルスペース
神経密度の違い×社会的脳の発達
Gaze Aversion 感覚器のベクトルを変えて刺激を避ける（目をそらすなど）
欲求と抑制
内臓感覚
スパイラルモデル
設計（上流）→実装（下流）→テスト→評価→設計（再び）→…
トップダウン：考えるのも作るのも自分の目的、コアの部分（こうなったらいいな）を最初に述べる
プロトタイピング：試作→ビデオで記録録る
・できるだけシンプルに
・2～3回のスパイラルモデルを回すといい感じに
・妄想する→面白い特徴が何かを明確に
・基本設計は図に
・ヒントは調べてから使う
・外部設計は出来るだけ人の意見をもらう
・内部設計は他の人のプログラムの使えるところを共有してみる
計画＜妄想が大事！！！
・ハードウェア調査
・ソフトウェア調査
・システム結合・統合
Unity,Processing、Pdなどのツール系プログラミング（OpenAL 立体音響専門)
Python,Cなどの基礎系プログラミング
発想法
・発散的フェーズ
・収束的フェーズ
・KJ法：ゴールを決めない
・mind map：樹形図 繋がりのない所を繋げる キーワードだけでも
・brain storming：一人じゃなかなかできない 否定しない どんな発想でも出す
(brain writing)：表を作る
（自分が日々読む、論文や書籍の記録を取る。GoogleDocsのSheets機能を活用し、閲覧可能にしておいてリンクをここに貼るのもOK。このテキストはコピーした先では書かなくてOK）
| 著者 | タイトル | 発表場所や出版社 | 掲載ページ 23〜56など（もしくは全体ページ数） | 発行年 | 内容の簡潔なまとめ | 内容の詳細メモ | 自分の研究との関連性のメモ |
文献まとめ
https://docs.google.com/spreadsheets/d/1nJ1gFb9zjCRjl49DI2-Guojt8c-uRsmxRzfz3R6VyUY/edit?usp=sharing
・顔画像による情動認識に基づくBGM自動作曲システム
→情動認識カメラ（Okao vision）
顔の画像と音をセットで聞いてもらい合っているか5段階で評価
さらにサウンドを作成してもらいチューニング
・感情に基づく音楽作品検索システムの実現に向けての検討
→感情価（音楽が持つ感情的な側面）
音楽を聴いてもらい形容詞ごとに当てはまるか5段階で評価
・顔表情の感情認知に及ぼす音楽の影響
→表情から情動が推測可能
音楽を聴きながら今の感情を4段階で評価→それぞれの顔画像呈示→写真の表情について同じく評価
・音楽作品の調性が感情に及ぼす影響について
→心電図、アミラーゼ、心理評定
心理評定は5，7段階で評価
スケルトン
https://docs.google.com/document/d/1ASf_kY9b0jcMcj-r37tt2HGIGTMJSovEvHtV0ij0uT4/edit?usp=sharing
実験計画書
https://docs.google.com/document/d/1qU7h3t4wvi5salpXUHS6kuxSSIhHmRb898RrJig3EWE/edit?usp=sharing
実験計画書ver.2
https://docs.google.com/document/d/1tfk0vcxuNPDxoG55aYhsniBPCgM64oIcK-DXV6bwGQ0/edit
実験計画書ver.3
https://docs.google.com/document/d/1F6hnfkoZKplx12RL2q5_Mn2jnScoz7zOK_ShSOzHnFY/edit
21_Sampleに戻る
