![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
舞踊の上達、理解に役立つ機能
ダンス上達促進システム。 現在考えているのは、AR等を使ってダンサーの動きに合わせてダンサーの見やすい位置に見本を見せるシステム など 自分の動きも見られて、曲と振付を登録しておき、フレーズごとに再生できるようにしたいと考えている。
振り付けなどを覚えやすくしたり、どこを改善すれば良いかがわかり、舞踊の上達が早くなる。
振り付けを一人でも覚えることがたやすくなる。
自分と見本の違いが一目でわかる。 覚えたい箇所を集中的に練習できる。 一人でダンスを習得できる。
ダンス以外でも応用することで役立てることが出来るかもしれない。
振付の見本を入力 or ダンスの型を入力し、その見本が目の前に出力される。見本の通りに動けているか、一致度等を検知、その後評価
ダンス初心者、レッスンになかなか通えない、時間が合わないがダンスを覚えたい人
自主練、見本との一致度・上達度を計る
OpenPoseなど姿勢推定ができるものを使ってみる
・冬課題 サンプルを参考に、背景の色やサイズを変更した。
OpenPoseを使うためにインターネットで見つけたインストール手順で実行しようとしたものの、必須ソフトのバージョンが違うと機能しない、古いバージョンは有料など、無料で使用する方法は見つけられなかった。
画像のみだが、無料で姿勢推定ができるサイトを2つ見つけた。
[1]姿勢推定AI - 骨格推定機能を無料提供
https://humanpose-ai.userlocal.jp/human_pose?msclkid=cb6ac5a9b1c311ec9f81484274e55fe6
[2]VisionPose | 姿勢推定AIエンジン無料解析デモ
https://trial.visionpose.com/?msclkid=cb6b674db1c311ec84e716597ad57c4b
・春課題
1．顔認識のプログラミング。カメラから眉、目、鼻、口、顔の輪郭を読み取り同時にそのパーツの輪郭に位置・大きさを合わせて線を表示する。
2．顔に自動でスタンプを表示するプログラミング。目、鼻の位置・大きさを認識し、同時に画像を鼻の位置、額（ひたい）付近に動物の耳・鼻のスタンプを表示する。
3．表情認識をし、その表情に合ったスタンプを表示するプログラミング。喜び、悲しみのスタンプの位置、デザインをサンプルから変更。
参考サイト：
表情認識で SNOW 的なアプリ - こくぶん研究室 (kkblab.com)
https://kkblab.com/make/javascript/face.html?msclkid=f2233d1cb3ea11ec880512a5c73a3607#step2
・メンバーとの共通分野
・前期発表
制作構想、自分の課題
・画像認識のプログラミング(犬、猫を判別)を動かす →骨格認識しポーズを分類し、それらを判別させる →ポーズの画像認識ができる 上手く実行できない
課題…骨格認識、画像認識も行えるPythonを使えるようになる エラーを修正できるように Google Colabで慣れる
https://www.dropbox.com/s/18wqquee01c0rax/video3901363181.mp4?dl=0
（自分が日々読む、論文や書籍の記録を取る。GoogleDocsのSheets機能を活用し、閲覧可能にしておいてリンクをここに貼るのもOK。このテキストはコピーした先では書かなくてOK）
| 番号 | 著者 | タイトル | 発表場所や出版社 | URL | 掲載ページ 23〜56など（もしくは全体ページ数） | 発行年 | 内容の簡潔なまとめ | 内容の詳細メモ | 自分の研究との関連性のメモ |
| 1 | 森 鈴果, 田中 哉汰, 橋田 光代, 藤井 叙人, 片寄 晴弘 | 恋ダンスの達人：ポーズ推定を利用したダンスの「キレ度」採点システム | エンタテインメントコンピューティングシンポジウム2020論文集 | https://ipsj.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=206540&item_no=1&page_id=13&block_id=8 | 113 - 114 | 2020 | 恋ダンスを対象にダンス動画から取得した時系列ポーズデータとそれに対応するキレ評価結果の組みから深層学習を用いてダンス動作のキレ度を推定するモデルの構築。 | キレは緩急の差と定義。Openposeでダンサーの骨格を取得する。ダンスのキレではフレーム前後の位置座標の変化が重要となり、位置座標のデータで最も精度が高かったとのこと。 | ダンスのキレという感性的な表現を機械で骨格の動きを判定し、採点もできる点は、ダンスの上達に役立つと感じた。 |
| 2 | 稲田健太郎, 石川孝明, 渡辺裕 | OpenPoseを用いた複数人のダンスの一致度評価 | 第80回全国大会講演論文集 | https://ipsj.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=188922&item_no=1&page_id=13&block_id=8 | 257 - 258 | 2018 | Openposeで各部位の位置を読み取り、複数人のダンスの一致度を評価する。 | 首・両肩・両肘・両手首・両尻・両膝・両足首の13点が処理対象。タイミングのずれの許容時間を0.1秒とし、それ以上ずれている場合と同じピークがある人物が過半数に満たない場合を不正解とし、各座標で各人物の正解数から不正回数を引いた物を点数として一致度を評価。 | タイミングがどれほど合っているかという他の人との一体感を測定するもので、これを応用し、見本とどのくらいずれているかを判定すればダンスの上達に役立つと思われる。 |
| 3 | 辻野雄大, 山西良典, 西原陽子, 福本淳一 | 時系列深層学習に基づく難易度間関係モデルをダンスゲーム譜面難易度の自動調整 | 情報処理学会論文誌 | https://ipsj.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=207737&item_no=1&page_id=13&block_id=8 | 1718 - 1728 | 2020 | ダンスゲームの難易度によってどのようなステップがあるのかの解析、ダンスゲームの楽譜は手作業で行われるのが一般的だが、これによって自動生成の助けになる。 | 難易度が簡単になるにつれて、リズムの取りやすい4分音符のステップが多くなる傾向にあるという仮説など、2種類のダンスゲームからデータを読み取り解析し検証。これらの解析をダンスゲームだけでなくリズムゲームなどにも応用可能。 | このダンスゲームのステップの譜面づくりの機能や特徴を、使用者から入力された見本を簡単な踊りやステップ、型に分けて教える時に活用できるのではないかと考えた。 |
| 4 | 千原國宏 | 五感を活用した高臨場感エンターテインメント：ダンスセラピー | 横幹連合コンファレンス予稿集 | https://www.jstage.jst.go.jp/article/oukan/2009/0/2009_0_63/_article/-char/ja/ | 2A3-4 | 2009 | 没入型複合現実空間（EMRS）ダンス・ムーブメントセラピー（DMT）を融合することで、癒し活動に貢献することを目標0とした研究。 | 「3D アバターと自然環境が融合した EMRS の構築 」と「DMTの身体表現の動き分析システムの開発」といった目標を設定し、最終的には「癒しサイバーインフラの構築と癒し活動コンテンツの創発」として結実させようと考えている。 | VR空間を使用して身体表現の動き分析システムをその場で行うことができ、自分の動きを映像として映し出している。自分の考えていたものとかなり類似していたのでMRやDMTというワードにも注目して研究に取り組もうと思った。 |
| 5 | 永瀬 智之, 堀田 裕弘, 岸田 嵩平 | 人物画像からの姿勢情報を用いた感情指定 | 第82回全国大会講演論文集 | https://ipsj.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=205192&item_no=1&page_id=13&block_id=8 | 143 - 144 | 2020 | 人物画像から姿勢を推定し、感情を読み取る研究。 | この研究では喜び、悲しみ、恐れ、怒りを推定。恐れ、怒りは間違えやすかった。動作が似ているとネガティブな感情をポジティブな感情と認識することもあった。 | 感情に合った動作を推定できるなら、その曲やフレーズの感情に合っている振付かをチェックするのに役立てられるかも知れない。 |
| 6 | 田中佑典, 齊藤剛 | モーションキャプチャを用いたダンス上達支援システムの開発 | 第75回全国大会講演論文集 | https://ipsj.ixsq.nii.ac.jp/ej/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=112044&item_no=1&page_id=13&block_id=8 | 225 - 226 | 2013 | モーションキャプチャを用いて採取したストリートダンスの動作データを解析し、動きの特徴抽出を行い、ダンスの上級者との比較を行い、それを直感的に把握できる形で可視化し、これらによりダンスの上達を支援するシステムを構築する（引用） | リアルタイムのデータでは上級者のデータを再生、停止が自由に行える。学習者と指導者の動作を簡易キャラクタで見比べることが出来る。顔の向きもダンスを上手く見せるのには重要で、正面を向けているかを表示する。正確なリズムをとれているかも判定し、これらをリアルタイムで1つの画面で確認できる。 | 自分の想定していたシステムに加え、顔の向きの判定が合ったことに驚いた。簡略化して表示した方が分かりやすい可能性があることも視野に入れようと思った。 |
| 7 | 内山須美子 | 幼児期のリズムダンス学習の効果と動機づけに関する考察 | 白鴎大学教育学部論集 | https://hakuoh.repo.nii.ac.jp/?action=repository_action_common_download&item_id=2800&item_no=1&attribute_id=115&file_no=1 | 115－138 | 2021 | リズムダンス学習は幼児にどのような力を育むことができるのか、幼児がリズムダンス学習に自罰的に取り組むための手立てについて検討した研究。 | リズムがズレていても、楽しんでいることが重要で、楽しいことぎ動機づけになる。発表会も動機づけになる。出来たと感じる、有能感を得られることが内発的動機づけになる。 | 学習の動機に、憧れ、有能さの認知があった。憧れを感じさせたり、上手く出来たと感じさせる機能を付けたら学習のモチベーションの向上に繋がると考えた。発表することもできる機能があればさらなるモチベーションの向上に役立つと思った。 |
| 8 | |||||||||
| 9 | |||||||||
| 10 | |||||||||
| 11 | |||||||||
| 12 | |||||||||
| 13 |
22_Sumiに戻る
