22_Yanagi_memo の履歴(No.3)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 22_Yanagi_memo へ行く。
  • 1 (2022-01-06 (木) 23:03:34)
  • 2 (2022-01-06 (木) 23:07:57)
  • 3 (2022-07-04 (月) 07:14:05)

---

22_Yanagi

PythonとかProcessingとかを使ったいろいろ†

研究の内容とずれてる感じがしたのでこっちに移行させました

• エージェント（（仮））を作ってみた[＋合成音声に挑戦してみたけど無理だった]（2022春課題）
  〇立ち絵を作ってアニメーションを作る
  kritaでpsdを作成→Anime Effectで取り込んでコマ打ちして作成
  コマ打ちは全て手動で設定。自身なりに生きているような表現を頑張ってみた
  大まかな動きは移動・回転・拡縮で、髪や腕の細かい動きはボーンとメッシュを組み込んで表現
  Anime Effectはボーンの設定が大雑把すぎて細かい表現（手先とか関節とか）ができない
  
  
  L2Dのようなメッシュ自体を動かしてアニメーションを制作するか
  プログラム側で自動的に動かす方法を用いるほうがいいかも
  
  △プログラム上でアニメーションを再生してあるアクションを条件に切り替える
  アクションがない場合はneutralを、何らかのアクションが実行された場合はsmileを表示しようとした
  neutralを連番pngにして配列に放り込んで表示することはできたが
  アクションによる分岐をどのように組み込めばいいかわからなかったので後回し中…
  
  
  (matplotlibでこういったイラストgifを動かすのが間違っている気がしなくもない…)
  tkinterを用いてGUI内にmatplotlibのグラフを表示する手段はあるのでそれを応用できるかもしれない
  pythonの実行方法はメモの方にだらだら書いていたUbuntu(Linux)経由のやつ
  合成音声＋言語処理を使わない限りpythonにこだわる必要もないのでprocessingで再挑戦する
  
  

• 可愛いモザイクを作ってみた（2022年 オンライン合宿）
  上述しているProcessingとの連携だったりL2Dの使い方がなんとなくわかった＋いろいろ学べた
  成果物（作るにあたってのサンプル含め500MBほど）：https://drive.google.com/file/d/1TEPptWf9HtZBL3g_0qKPeV5LcgAMhvV5/view?usp=sharing
  （コメントを残してるのでコード見てもらえればなんとなく仕組みはわかるはず？）
  
  
  pythonの実行はAnacondaを使ってます（Ubuntuはカメラ関係が上手にできなかった…）
  Arduino刺していないとprocessing側のportでエラーが出て実行できないので、その際は当該箇所をコメントアウトしてください
  

　・視点の転換とか活用シーンの想定とか（適当に理屈づけしただけ）
　　モザイク＝情報を遮断する壁→情報を取捨選択するフィルターに
　　匿名性を維持しながらもその人の感情や個性を表現する

　　→話しやすい環境を生み出すことで
　　　コミュニケーションを円滑にし、その人の個性もより引き出せる（？)

• モザイクを使う側の利点
  社交不安症（ex.対人恐怖症）や自分の顔にコンプレックスがある人
  エージェントやボードによって性格・個性を表現しながらもコンプレックスを隠すことができる
  エージェントがいることで上側に視点が誘導される→目を合わせることが苦手な人でも話しやすい
  
  
• モザイクを使われる側の利点
  自閉症・HSP（感受性が極端に強い人）
  与える情報を制限（基本喜怒哀楽だけを表出）することで負荷が軽減される
  
  ※keeponというエージェントを用いた実験においての仮説を参考にしてます
  　自閉症や知的障害のある子たちがコミュニケーションが上手にできないのは
  　健常児が持っているフィルターがないため（情報の取捨選択ができずパンクする）
  　keeponとのインタラクションでは与えられる情報量が限られているため
  　フィルターがなくても情報を咀嚼することができ、コミュニケーションができた
  
  

　・仕組み

• python側の処理(私の領分ではなかったのでざっくりと)
  動画からの顔認識・感情推定
  使ったライブラリ：opencv-python,deepface
  参考：https://algorithm.joho.info/programming/python/opencv-sample-code-py/
  　↓
  動画からの手の移動量推定
  使ったライブラリ：mediapipe
  参考1：https://qiita.com/akira2768922/items/c660129cc45cce384e90
  参考2：https://b3s.be-s.co.jp/nocategory/4527/
  　↓
  座標とか感情値とか手の移動量との送信
  使ったライブラリ：python-osc
  参考：https://www.eqseqs.work/post/python-osc/　
  送った値：[エージェントのx座標/y座標/感情ラベル/感情値/手の移動量x/y]
  
  
• processing側の処理（私はアニメーションを担当しました）
  python側からの値の受信＋Arduinoからの値取得
  使ったライブラリ：oscP5,Arduino(Firmata)
  oscP5の使い方は上のURL参照。Firmataの使い方はSAさんにお聞きして実装しました
  　↓
  アニメーションの動作
  使ったライブラリ：gifAnimation(Githubから手動インストールする必要があります）
  URL:https://github.com/extrapixel/gif-animation/tree/3.0 (3.X用)
  作ったアニメーション3種（neutral.gif(loop) / surprised.gif / pleasure.gif)を
  与えられた値によって切り替える
  
  ニュートラルをループ再生しつつ、値が閾値を超えた場合のみアニメーションを変化
  ・手の移動量が閾値(200）を超える＝動きが大きい＝驚く
  ・圧力センサが閾値を下回る（初期255,閾値200＝頭をなでている＝嬉しい
  （※草案時はセンサをぬいぐるみに付けて、実際に頭の上に乗せようという話でした）
  
  ユーザーとエージェント間をインタラクションで繋ぐことで親近感がうんぬんかんぬん…
  
  アニメーション自体の作成はペイントツール(krita,Clipstudio)＋Live2D cubismで制作
  参考：https://docs.live2d.com/cubism-editor-tutorials/top/?locale=ja　
  
  

　・草案（いろいろ仕様変更してます）

WSL環境の構築†

windows10でcondaを使って冬の課題とかテキストマイニング実習の課題をしようと思っていたのに、Mecab-ipadic-neologdが使えないしnumpy,scipyあたりでなんか競合エラー起きているし、偶然出会った「シロワニさんのつくよみちゃんトークソフト」がwindowsでは使えないと書かれていて(ﾟДﾟ)ﾊｧ?となったので、Mecab-ipadic-neologdのGithubに書かれているようなWSL環境を構築しようとしたら沼ったので備忘録的な感じで残しておきます。これが私の冬の課題…
使い道はたぶんないです。普通にMacやLinuxのPC使うなりcondaのエラーを修正したほうが楽…

いろいろなサイトを見て数日かけてやっと形になったので初めての方はどうやったかあやふやです
また、簡単な動作確認をしただけなのできちんと導入できているかはまだ未知数です

• WSLを有効にする
  WSLとWSL2があるらしいですが、WSL2のほうがよさそうなのでそっちで導入しました

• 1.コントロールパネルからWSLを有効にする
  コントロールパネル＞プログラムと機能＞Windowsの機能の有効化または無効化を選択し
  『Linux用Windowsサブシステム』と『仮想マシン プラットフォーム』にチェック
  OKを押すと再起動を要求されるのでそれに従う
  

• 2.Powershellを管理者権限で開いてwsl2の起動？とかとか
  windowsマークを右クリック＞windows PowerShell(管理者)を起動
  [wsl --install]を実行する（※[]は無視してください）
  ただこの更新にはカーネル更新プログラムパッケージが必要
  入ってないとこのURLからダウンロードしてって言われるのでそれに従う
  
  Microsoftのページにはディストリビューション（後述）も一緒にインストールされるって書いていますが手動でした気がします。
  wsl2への変更も手動でしましたし、なんか間違えてそうですね…どうやったか覚えてない…
  

• 2-1.Linuxを動かすやつ（ディストリビューション）をダウンロードして簡単な設定とか
  Ubuntuっていうのを使いました。Microsoft storeから検索して入手できます
  開くとインストール作業があった後Linuxで用いるユーザ名とパスワードの設定・再確認が求められるのでそれに従う。このユーザ名とパスワードは今後の作業で使います。
  なお、パスワードを打っても表示はされません。でもきちんと入力されてはいます

• 2-2.ディストリビューションがきちんとwsl2で動作してるかPowershellから確認
  windows Powershellを開いて[wsl -l -v]を実行すると
  NAME STATE VERSION
  Ubuntu Stopped　2 　　…みたいなのが表示されるはずです
  VERSIONが2になっていたら大丈夫。もしVERSIONが1の場合は以下のコマンドを実行
  [wsl -set-version Ubuntu 2]

参考：https://docs.microsoft.com/ja-jp/windows/wsl/install

　　　https://www.pc-koubou.jp/magazine/40465

• Ubuntuでpython3を使えるようにする
  参考ページの仮想環境の有効化までを順にしていけば大丈夫です
  sudoでpython環境インストールをした後はテキストマイニング実習でやった方法と同じなので割愛します。以下では個人的に詰まった点をピックアップします

参考：https://qiita.com/sireline/items/3c97a0c266431ac5b2ea

• ディレクトリにどうやってアクセスすればいいかわからない
  →CIFSを利用して共有フォルダを作ってwindow側のファイルをLinux側でも扱えるように

• 1,windows側で共有フォルダを作る
  ただ作るだけだと共有相手がEveryoneになってるので
  プロパティ＞詳細な共有から変更＞このフォルダを共有するにチェック
  ＞アクセス許可＞ユーザーを追加しフルコントロールにする

• 2.Linux側でその共有フォルダをマウントする場所を作る
  mkdirで適当な場所にフォルダを作る
  treeでLinuxの構造を確認してから作った方がいいかもです（要インストール）
  例）mkdir winmount → /User/（user名）/winmount にフォルダができます

  (使い方：https://dekiruengineer.com/engineer/linux_tree_command/)

• 3.CIFSをインストールしてフォルダ同士をつなげる
  [sudo apt install cifs-utils]を実行しCIFSをインストールして以下のコマンドを実行
  sudo mount -t cifs -o username=[winのユーザ名],password=[winのパスワード],uid=[linuxのユーザ名] //[コンピュータ名orIPアドレス]/[win側の共有ファイル] [Linux側の共有ファイル]
  例）sudo mount -t cifs -o username=winUser,password=PassWord,uid=linUser //192.160.1.5/mount ./winmount
  
  ※上記は手動マウントの方法。起動時に毎回しないとダメ。自動的にしてほしい場合はfstebファイルを編集する
  　自動化させる場合はＩＰアドレスを固定しないとダメかも。WSLのIPアドレス使えばいけるのかな…？

  参考：https://codeaid.jp/blog/linux-windows-share/

• Matplotlibのshow()が使えない
  →LinuxのGUIにwindows側が対応していないのが原因
  　VcXsrvをインストールしUbuntuのDISPLAY設定を変えることで表示ができた
  

• 1.VcXsrvのインストールと設定
  公式ページからダウンロードしてインストールして実行。基本的に設定を変える必要はない
  ただExtra settingのAdditional parameters for VcXsrvに[-ac]って入れておくと良き
  ※ネットワークを使う（？）のでファイアウォールでパブリックの通信を許可しておかないと動いてくれない

• 2.UbuntuのDISPLAY設定を変更する
  Ubuntuを開いて [sudo vi .bashrc]を実行
  .bashrcの中身が表示されるので一番下の行に以下の分を挿入
  export DISPLAY=$(cat /etc/resolv.conf | grep nameserver | awk '{print $2}'):0
  挿入したら保存してUbuntuを再起動して変更させる
  
  (sudo) vi [ディレクトリ名]
  …そのディレクトリを開いていろいろ書き込みができる。対応したディレクトリがない場合は新たに作る
  a（入力モードに切り替え）とEsc（コンソールモードに切り替え）と:w（保存）と:q（閉じる）だけ使えれば大丈夫
  

  （使い方：https://qiita.com/pe-ta/items/0510bee10bcfd88afeee）

  参考：https://qiita.com/ryoi084/items/0dff11134592d0bb895c

• python3でMecab-ipadic-neologdが使えない
  →辞書のパスを修正することで対応

• 1.mecab-ipadic-neologd辞書のインストール
  下記の参考URLに日本語で説明してくださっているのでそれに沿って進めれば大丈夫です
  ちなみに辞書はUbuntu環境では特に設定を変えない限り以下のパスにDLされると思います
  /usr/lib/x86_64-linux-gnu/mecab/dic/mecab-ipadic-neologd

• 2.mecab-python3のtagger記述を変える
  下記の参考URLのCommonIssueに書いてあることそのままです
  実習では tagger = Mecab.Tagger('-Ochasen -d /usr/local/lib/mecab/dic/mecab-ipadic-neologd/')としていましたが
  これを tagger = Mecab.Tagger('-Ochasen -r/dev/null -d/usr/lib/x86_64-linux-gnu/mecab/dic/mecab-ipadic-neologd/')にすれば正常に動作してくれました
  (Linuxにusr/local/...が無いのが原因。同名の空ファイルを作っても対処可能らしいです。試してないけど…）

  参考：https://github.com/neologd/mecab-ipadic-neologd/blob/master/README.ja.md

  　　　https://github.com/SamuraiT/mecab-python3

現状これらをすることでwin側で.py作成→Linux上で実行→win側で実行結果を確認できています
どうせ今後エラーとか出てくると思うのでそのたびに加筆するかもです

• 余談
  ディレクトリ自体は仮想的に作ったLinuxのハードディスクイメージに入ってるんですかね？
  具体的な場所としては以下のパスです
  \Users\(User名)\AppData\Local\Packages\CanonicalGroupLimited.UbuntuonWindows_79rhkp1fndgsc\LocalState\ext4.vhdx
  ただ、この.vhdxが開けない…OSが違うので開けないのは当たり前と言えばそうなんですが…
  一応以下のサイトのようにマウントする手段はあるようなのですが上手にできませんでした
  https://docs.microsoft.com/ja-jp/windows/wsl/wsl2-mount-disk → Windows insider Programに参加してないとダメ？
  あとChrome Remote Desktopを入れているとセキュリティ関連が固くなってどうのこうの…みたいな記事も見つけました
  よくわからんです