21_Kometani_Note の履歴(No.29)

ソフトウェアはUnity、ハードウェアはVRゴーグル、VRグローブ、Arduino、ペルチェ素子を用いて、VR環境を構築し、作成したVR空間を基に被験者の反応を記録する。完成した物はVRゴーグルとVRグローブを装着した被験者に何らかの行動を先行させる動作をさせ、それが入力となり、その動作の完了後の様子を表示する。具体的には、手を伸ばしたらドアが開いて、その先の光景が目に映る。つまり、透視のようになる。時にはArduinoで制御するペルチェ素子を用いて熱を被験者に与える出力（反応）。

↑

システムのターゲットユーザ†

2つ同時に音楽を聴きたい人など。

↑

システムの活用シーン†

動作完了後に起こるであろうことを予測、体験するというこのシステムは目標としてきたゲームへ応用する。火事などの災害の体験。

↑

研究トピック（議題）整頓†

（概要よりももう少し詳しく、いくつかのトピックを箇条書きして、たまに書き直す部分。このテキストはコピーした先では書かなくてOK）

↑

技術動向調査†

・ハードウェア調査

「サーモグローブ」
実世界における「温もり・冷たさ」といった温熱感覚を伝える装着型のインタフェース。　（慶應義塾大学理工学部桂誠一郎准教授開発）
「VIVE Pro」
解像度が片目あたり1440 x 1600ピクセル、視野角が110度など高性能であるが、その分パソコンも高性能であることが要求され、GPUはNVIDIA® GeForce® GTX 1060もしくはAMD Radeon™ RX 480 の同等品以上が必要である。

・ソフトウェア調査

「Unity」
ゲームエンジンとして正式に採用されており、C#やJavaScriptでプログラムを設計する。マルチプラットフォームに対応している。（具体的にはPC,スマートフォン,ゲーム機）
ゲームを作る際にはプログラミング言語の習得だけではなく、ライブラリの使い方や数学の知識、エフェクト、CG、素材、グラフィックスやサウンド、メニュー遷移なども必要だが、Unityが代わって助けてくれる。
「Unreal Engine」
プログラマーはC++を用い、デザイナーはBluePrintを用いることが多く、「UE」と略される。UNREAL ENGINEはEpic Games社が提供しているゲーム開発プラットフォームであり、現在でも多くの企業が利用している。特徴として、映画製作にも使われるほどの高品質で美麗なグラフィックが制作できる。
「DirectX」
ソフトウェア (主にゲーム) がビデオおよびオーディオハードウェアを直接操作できるようにする Windows の一連のコンポーネントであり、Microsoftが開発したWindowsなどに搭載されているAPIのこと。主にパソコンゲームなどで活用されている。
「OpenGL 」
3DCG関連の演算機能をソフトウェアから呼び出すための規約を定めたAPI。様々な機種やハードウェア、OSなどに対応した汎用のグラフィックスライブラリで、2DCG、3DCGを描画するための豊富な機能が用意されている。対応言語はC、C++など。
「Vulkan」
主にゲームエンジンまたはゲームのアプリケーションに使用されるグラフィックスAPI。性能低下の一因となりやすいドライバのオーバーヘッドを軽減できるため、ハードウェアの性能を最大限に発揮し、描画速度と描画パフォーマンスが向上するというのが特徴。

・参考資料

↑

研究ノート†

（自分が日々とる、ゼミのログ、ランチミーティングで気になったことのメモなどを書く。このテキストはコピーした先では書かなくてOK）

・日本語音声認識　Julius
　音声認識システムの開発・研究のためのオープンソースの高性能な汎用大語彙連続音声認識エンジン。
　言語モデルとして単語N-gram，記述文法，ならびに単語辞書を用いることができ、音響モデルとしてトライフォンのGMM-HMMおよびDNN-HMMを用いたリアルタイム認識を行うことができ、DNN-HMMの出力計算にnumpyを用いた外部モジュールを利用することも可能。

・Aruduino

・先行リアリティ https://m-repo.lib.meiji.ac.jp/dspace/bitstream/10291/20260/1/saito_2019_sentansuri.pdf

茶道における精神世界観の集中状態の再現～五感の視野拡張バーチャルリアリティ～
http://www.res.kutc.kansai-u.ac.jp/~yone/research/pdf_graduate_thesis/201403g_ISHIKAWA_Nanase.pdf

仮想現実感に向けた足底部の触覚刺激による地面テクスチャ再現手法の提案
http://www.res.kutc.kansai-u.ac.jp/~yone/research/pdf_graduate_thesis/201803g_HUANG_Xunda.pdf

主観熱唱度に応じて盛り上がりを見せるVR観客表現システム
http://www.res.kutc.kansai-u.ac.jp/~yone/research/pdf_graduate_thesis/201803g_ANDO_Keisuke.pdf

↑