tomokoyonezawaLab_FrontPage
Tips†
先輩などに教えてもらってできるようになった、という内容は、
他の人が質問しなくていいようにここにまとめる
データの分析については別ページにまとめました
表の作り方†
大学院棟へのRDS接続†
RDS環境の作り方
Unity関係†
まず、はじめに†
- ファイルの保存先のパスに日本語を入れないこと。（ビルドできないことがあります）
Tex関係†
Texについて（作成中）
BibTexの使い方！
Processing関係†
Processingにおける、openCVの使い方！！
p5.js関係†
p5.jsとOSC通信
ml5.jsのFaceAPI/p5.jsの出力をOSC通信で他のプログラムから受け取る方法
位置情報の取得と緯度経度から距離を求めるプログラム
Pd関係†
インストール方法や基本的な使い方などつらつら(pd-vanilla)
puredata×オーディオインターフェイス×raspberry piと遅延の検証(pd-vanilla)
pd-L2Orkの特徴と環境について pd-vanillaとは別のpuredataの環境
その他音楽系†
仮想オーディオデバイスについて
Arduino関係†
Raspberry Pi関係†
音声認識関係†
Juliusの導入†
- Mac用how to install
- Julius最新バージョン番号に注意(4.5なのか4.6なのかなど）
- 認識用最新ファイルバージョン番号にも注意（上記と同じとは限らない）
- ターミナルを立ち上げる
- インストールディレクトリを適当な場所に作る
- https://github.com/julius-speech/julius/releasesで最新版のバージョンを確認（4.6なら下記の通り）、ダウンロードする
- ファイルを解凍する
- 解凍したフォルダに移動して、Juliusをインストールする (cdコマンドは正しいディレクトリを引数にしないと動かない)
- cd ./julius-4.6/
- ./configure
- make
- sudo make install
- インストールできたか確認
- 認識用ファイルをダウンロード（これも最新版をチェックしてからファイル名を設定する)
- 認識用ファイルを解凍(上記でダウンロードしたファイル名になっているか確認)
- unzip ./dictation-kit-4.5.zip
- 認識用ファイルを解凍したディレクトリに移動(上記で解凍したディレクトリ名になっているか確認)
- cd ./dictation-kit-4.5.zip/
- 使ってみるためのコマンド（使用中に終了したいときはCtrl-C）
- julius -C ./main.jconf -C ./am-gmm.jconf -nostrip
- 喋ってみるとターミナルに認識結果が出力される
$ mkdir julius
$ cd ./julius/
$ wget https://github.com/julius-speech/julius/archive/v4.6.tar.gz
$ tar xvzf ./v4.6.tar.gz
$ cd ./julius-4.6/
$ ./configure
$ make
$ sudo make install
$ julius -help
$ wget https://osdn.net/dl/julius/dictation-kit-4.5.zip
$ unzip ./dictation-kit-4.5.zip
$ cd ./dictation-kit-4.5.zip/
$ julius -C ./main.jconf -C ./am-gmm.jconf -nostrip
Kaldiの導入†
OpenJtalkの導入(編集中)†
画像関係†
表情検出†
FaceAPI†
- FaceAPIとは、Microsoft Azure で使用することができる顔検出・顔認識を行うことのできるAPIです
- 使用するためには、Micosoft Azureのアカウントが必要です
- サーバ処理のため、PCのスペックを無視して使うことができます
- 無料の場合は制限があります
- 例えば, 無料の場合月３万枚で1分間20 枚のみ検出することができます.
FaceAPIのサンプル†
作成者 美馬亮太 2021年9月7日
王くんより、万さんが以前使っていた一番簡単なfacepapiの共有
- FaceAPIset_Wangフォルダをダウンロード
--中身:FaceAPIStreamer,FaceTrackingAPI_NC-V3.2.6,udp_cliant_processing,demo_grandfront
- opencvをインストール
- Processingをインストール
- Processingでudpのライブラリをインストール
- FaceTrackingAPI_NC-V3.2.6フォルダ内のsetup_FaceTrackingAPI_NC-V3.2.6.exeをインストール
- FaceAPIStreamerフォルダ内のSocket.exeを起動
- udp_client_processingフォルダ内のudp_cliant_processing.pdeを起動
これでカメラで撮った顔位置がprocessing内に入力されます。
これを使い、どういうものを作りたいのかはシステム次第
- DeepFaceとは、Python用の顔認識及び顔属性分析（年齢、性別、感情、人種）フレームワークです。
- 顔認識、顔の検証、属性分析などができます。
[環境構築(Anacondaベース前提です) ~mac用です。windowsでは、試せていません。]
- 仮想環境を作成する
- ターミナルで、conda create -n deepface python=3.7 anaconda と入力する。（deepfaceのところは、仮想環境の名前です）
- ＊pythonのバージョンは、3.7以上が求められています。
- 仮想環境をactivateする
- conda activate deepface と入力する。（deepfaceのところは、先ほど入力した仮想環境の名前を入力してください。）
- DeepFaceのインストール
- pip install deepface と入力する。
- (DeepFaceの必須環境には opencvやdlibが含まれているので、自動的にインストールされていると思います。)
- python 上で import deepface と入力し、エラーがなければインストール成功です。
[DeepFaceを動かす]
- https://github.com/serengil/deepface をダウンロードする。
- URLに飛び、 「↓Code」とあるので押す。 次に、「Dawnload Zip」を押す→zip形式でダウンロードすることができます。
- 上記のURLを下方にスクロールすると、 README.md とあり、色々な使い方がわかります。
- python上で実行する。
- Demo を押すと簡単なやり方の動画が上がっているので、視聴するのをおすすめします（最長 20分くらい）
- Demoは最新のバージョンではないため、実際にpython上で実行した結果とは異なる場合があります。
[精度について（顔属性分析）]
- F値で評価した場合、カラー化した方が評価がいいです。
- [重要]画像のサイズも精度に大きく影響を与えるので、指定することを推奨します。
- h, w, c = img.shape
- mag = max(224/x, 224/y)
- img = cv2.resize(img, None, fx=mag, fy=mag, interpolation=cv2.INTER_CUBLIC)
Dlibのインストール方法について(Python)†
Dlibは顔認識ライブラリの１つでOpenCVと対をなす有名なライブラリの１つです
ただ、スムーズにインストールをすることができないことがあるのでメモを記しておきます
- [手順1]Cmakeが実行できる環境にインストールしているか
DlibはC言語で書かれているライブラリなのでCとPython両方が動く環境出ないとインストールできません
Pythonの実行環境の整備方法
をご確認ください
- [手順2]マスターファイルからインストールを行う
Cmakeを通してもPythonのバージョンの関係とかでインストールできないことがあります
その際は、こちらのURLからマスターファイルをダウンロードして、それを実行してみてください
- 1.マスターファイルのダウンロード
- Github画面にある{Code]から[Download zip]を押して適当なディレクトリに保存
- 2.ダウンロードしたzipを解凍.
- 適当な解凍ファイルでダウンロードしたzipを解凍
- 「dlib-master」というファイルができるはずです
- 3.ダウンロードしたいpython環境でそのファイルの場所を指定
- コマンド(一例）：[cd C:\Users\Downloads\dlib-master]
- dlib-masterがある場所のパスを環境側で指定してあげてください
- 4.setup,pyの実行
- コマンド:[python setup.py install]
- dlib-master内にあるsetup.pyを実行してください
- 一番最後「install」に入れるのを忘れないように!!
このどちらでもインストールができない場合は、Pythonのバージョンなどを確認してください
自環境(windows11,Anaconda)では、Python 3.10 の環境であれば
「pip install dlib]で問題なくダウンロードできました
生理計測関係†
複数連携関係†
OSC通信の使い方 ～puredataとProcessingの接続を例に～ ※参考プログラムあります！！！†
Unity-Processing OSC通信†
導入方法のページ
- ↑このページに従って、UnityProcessingアプリ上でコードを入力し、それぞれ実行してみてください。すると、Processingの実行ウインドウ上でのマウスのｘｙ座標がOSC通信によりUnityに送信されて、Unity側で受信されます。
- Unity,Processing間で文字列、数値を送受信ができます。
- サンプルコードではマウス座標ですが、送信する値を変更すれば応用が利きます。
- 何か質問等あればyonezemi20岡田へ
Github関係(編集中)†
- プログラムコードやデザインデータを保存・公開できるソースコード管理サービス
- Githubを使うことで他の人と共同で作業をしやすいことや、あるタイミングのコードに戻したい時などにコマンド1つで巻き戻すことができる
- Gitのインストール（https://git-scm.com/
- Gitのコマンドでconfigを設定する（下記のコマンドをWindows環境の方はGit bashやVS code, Macの場合はターミナルやiTermsなどで実行※"aaaa"やaaaa@aaaa.comは自身のものを設定する
- $ git config --global user.name "aaaa"
- $ git config --global user.email aaaa@aaaa.com
- Githubアカウントの作成（https://github.co.jp/
- Githubのマイページ上でリモートレポジトリを作成
- ローカル環境でローカルレポジトリを作成（ファイル群が入ったフォルダのこと/研究などで使うフォルダを全て入れてしまうことがおすすめだが、1ファイル100MB以下の制限がある
- .gitignore ファイルを作成し、リモートレポジトリにアップしないファイルを選定する（Unityなどではプロジェクト起動時に毎回生成されるものなどは対象外とするべきである
- 公式が提供しているUnityの.gitignoreファイル：https://github.com/github/gitignore/blob/main/Unity.gitignore
- 下記のコマンドを順に実行する（アップしたいファイル群が入ってるディレクトリで実行する
- git init
- git add -A
- git commit -m "" ※""の中身は自分で考える（後から参照してわかるようなコメントを残す
- git remote add origin aaa.git ※aaa.gitは作成したリモートレポジトリのURLに置き換える
- git push -u origin master
- その後はローカル環境で作業をし、都度add, commit, pushでリモートレポジトリを更新していく
- 詳細は各自で調べること！！
発表資料 参考資料†
- こちらのスライドですが、初期画面では文字の配置やフォントが崩れるため、必ず右上のプレゼンテーションのボタンを押してご覧ください。
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
