![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
### 本日の内容
## 文献発表
- ゲーム状況やエージェントの表情に合わせて振る舞いを変えるAI -
- 視線情報に基づいた嗜好分析から商品推薦を行うVRショッピングシステム
- 注視時間に基づいた嗜好分析
- 視線依存型商品推薦に向けての嗜好度合いの調査
- 視線から潜在的注視時間を
- 視線計測を用いた注視時間に基づく商品の購買決定要因の推定
- アンケートと「買いたい要素」と「買いたくない要素」を分析
- 食品画像2枚同時提示による比較評価時の好みが視線停留時間に与える影響
- 好みと視線の関係性は同じ．
- （先生コメ）左からよく見ると傾向もある．
- 視線解析に基づく写真閲覧時の潜在的嗜好推定方法の提案
- 瞳孔径から試行の推定が可能．
- 局在化した聴覚刺激による視覚的注意の誘導
- 音の方向の視線がつられる傾向あり．
- 先生コメント
- 本田君，宮崎君との関係性あり．
- システムに音を取り入れる - 運動実践の頻度別にみた高齢者の特徴と運動継続に向けた課題
- 運動支援のターゲット，一人でできるが好まれる，めんどくさいと感じるユーザが多い，
- 研究に結び付けた研究としては，「リトミック運動」を検討．
- 楽しさを表す，エージェントの表現拡張，
- 先生のコメント
- リハビリ，施設などの想定シーンの拡大
- 声の導入など - 悩み相談．
- エージェント＋VR・メタバースを組み合わせた研究がしたい
- 先生コメント
- 視線が身体上に表す影響．
- VRでの頻度と間隔の適切さがもたらす，身体領域審判 - ウェアラブル環境におけるユーザの相対的位置関係を用いた位置検索システムの提案
- GPSを使わず，自己位置の推定するシステム
- Liderに近い技術かもしれない，組み込めたらいい技術の紹介．
- 先生のコメント
- 差別化ポイント：通知をする機能の追加，迷っているかの判定（迷い度）
- 迷い度の判定を - ウェアラブル環境におけるユーザの相対的位置関係を用いた位置検索システムの提案
- 音の強弱を研究に取り入れたい
- 先生コメント
- 調査した研究のグルーピングを工夫した方がいい - モバイルゲームにおける女性キャラクターの魅力的要素の分析
- 美少女キャラクターの魅力，短期的・継続的魅力，継続的な魅力は性的なものが多い，
- 自分の研究との関連性
- どう継続的な魅力を作っていくか．
- 個性，ストーリーを増やしていきたい
- 先生コメント
- - 敦賀港レトロ浪漫ARアプリ-近代港湾景観のVR再現と観光への利活用
- VRを作る手法，忠実な再現などの技術的な話が多い
- どうやったらARをうまくかぶせることができるか．
- 自分の研究との関連性としては，単語学習，日常に非日常を追加，手法はAR
- 先生コメント
- 資料の勉強，
- 観光地を見るための没入型のシステム
- 塚本君，張さんとの研究の関係性あり - 印象強調を目的とした音楽聴取時の振動付与方法の検討
- 音楽に関係した振動→手を使って聴く．
- 結果としては強調される効果がある
- 先生のコメント
- 突き抜ける？？という概念の追加
- M1野口さんと関連 - 肯定的/否定的発話態度の認識とその音声対話システムへの応用
- 複数の要素で分析しているのは参考になる．
- 先生コメント
- 音声には必ず言語がある - センサによって取得したストレスレベルによる利用者インタラクションの設計・評価
- ギブ皮膚温度？，ストレス値の計測，呼吸数を図ることができる．
- 暗算でも，同様の傾向，
- 呼吸を鼻の温度を測る
- 先生コメント
- M1森山君との関係性あり### 次回の内容
### 連絡事項
## 全体報告
### 上田さん
おかしな要素
視線で予想，裏切る
EM9で取得した視線データをどうとるか？
EM9：画面の外側も撮影することができる，ある画面の中だけを取る
取得デバイス：EM9（学部）, oculus（研究室），tobi（研究室） →unity を使っていこうかな？
対象：実世界，コンテンツ（画像，動画）
1. 視線データの取得 2. 実験 ・場所要因：予想していないところから出た場合 と 予想していた場所 からでてくる ・タイミング要因： 3. 最適化したシステムの完成
### 松田さん
### 10/5 ビジュアルなディスカッション
### 論文調査の報告（来週）
1. 文献調査（来週報告）
1. wikiの研究ノート 2. 概要・重要点を図的にまとめる 3. kj法を使って文献のカテゴリーを整頓
## 本日の講義計画 興味グループに分かれて 反省点，目標，計画建て ＊大学院棟に集まる等も検討
## メモ 個別相談共有 個別相談 ・自分の研究の仮説は何か ・何を目的にするかとか
実装のススメ
調査のまとめ方 KJ法 1.付箋などに論文のキーワードを書き出す 2.リストアップできたら類似したものをまとめていく 3.各グループに名前をつける
類似のために近くに配置する，グループに名前を付ける → 頭の中を整理するために. WIKIにuploadにする等の管理．
v0： v1：使うもの，input, output v2：timeline動作（変数，タイムライン），フロー図に近づける
例） 「あ」 → 返事を返す，あを判定させる（閾値の設定）
相談1 つかもとさん 昔の世界をARで再現することをどう活用すれば研究として発展できるか ノスタルジーだけを残して寂しさを減らすのはどうか？ AR→現実へと徐々に移していくことで，ノスタルジーだけを残すことができるのでは？ さまざまな発展の方向を考えてみよう
相談2 おばたさん 勉強動画を視線に反応するエージェントへ 「作業」ではなく「視線エージェント」という部分にフォーカスして考えてみては？
１）夏休みの達成状況報告
一人1-2分程度（最大2:30時間超過はカットします）の報告
２）LMSにてその報告資料の提出
３）LMSにてこれまでの取り組みのスクリーンショットやビデオなどの資料提出
（これに関しては研究支援員さんが準備したファイル置き場に変更になるかもしれません。
その場合またアナウンスしますが，仮にこちらでお願いします。）
４）オフィスアワー各時限担当者の決定
- チャットボット，個性と文脈を保持， - アミッドタッチスクリーンの実装 → 今後は音声アシスタントとして実装，メーカーフェア
## 全体報告
- 発表で心がけること→自分の研究のアイデア（特徴）の目標，モチベーション（動機）
- 午前中から二日間｛三回生：36人，4回生：18人｝
- 3回生：5分~8分＋質疑5分~2分
- 4回生：10分~15分＋質疑10分~5分
- 8/8 TC204にてプロジェクトMTG（院生の発表）：もしよければきてね！- 授業時間外で研究について考える時間をとる - グループ外のゼミ生や院生との話し合い
- ソフトウェアコンテスト - 可愛いコンテスト （研究内容がフィットしていれば一石二鳥）
## 本日の内容
- なぜその方針にするのか
- 自分にたくさん問いかける
- 好きなことをやる
- キーワードたくさん考える- 将来的なシステムの部品を少しずつ作る - 組み合わせて今期の成果にする
### 全体報告
### 内容
- システムの動作の説明デモ - 解説とコンセプトを示す - 夏休みの課題目標と線表
1. 「はじめに」背景・動機
（「はじめに」は平仮名，よくある間違いなので気を付けること）
2. 「関連研究」
- 論文（2~3本），Wikiにまとめたものを説明
- 自分の動機を再確認
3. 「システム提案」：概要，構成，動作の三構成
- 概要：どういうものを作ったか
- 構成：
- ハードウェア:Arduinoやパソコン，Oculus…
- ソフトウェア:
- 動作：
- 入力で何にするか
- 出力が何であるか
- ビデオ資料はプレゼン用
4. 「参考資料」：
- 書籍情報，論文・データURL
- 作品チームなら「Youtubeの作品」注意事項1：「システム提案」では図と文字の二種類必要
- プログラムA，仕様書
### メインテーマ
### 内容
- input/output - 処理 例）視線（視線安定性）を計測する
### 課題
- テーマ決定と研究スタイルの確立
- 小さなシステムの構築，どういうものを作るか考える（7月末）
- テーマ再検討→個人 or 共同プロジェクト or グループ
全体報告
- 6/10 10:30~17:00，10:30~15:30（報告含む）
- スライドを用意（何枚目でもok!） - グループでの目標とは別で，自分の目標について発表 - 物品購入，間に合う分は購入するので先生まで連絡 - 物品貸し出し，資料の作成
本日の内容
全体報告
→無理な人は6/2に行く+ゼミ時間はD棟見学 [NTT コミュニケーション科学基礎研究所 オープンハウス2023](https://www.kecl.ntt.co.jp/openhouse/2023/)
- 午前+午後頭に院試あり
- コンテスト+研究：グループ目標の達成今日の内容
- 本日はナンパ会？ - 個別チームで話し合い
### 調査のやり方
- Google Scholar（やりたいことのキーワードを入力）
- chatGPTで聞いてからGoogleScholarに聞くとかもいい
- surveyって書いてある論文は，いろんな論文がまとめてあるやつのこと
- 関大VPN
- 関大のネットワークに入ってる場合
- 見ることが可能
- 家や自宅など関大のネットワークに入っていない場合
- （関大ITセンターから申請）
- 翻訳ツール→Google翻訳，DeepL
- 文法チェックツール（細かくチェックしてくれる）→Grammaly
- 孫びき（論文の参考文献から引っ張ってくること）1. 概要を読む~（大体の概要が分かるため） 2. 結論（終わりに）を読む（概要より深い情報が得やすいかも）~
- コンテスト - ビエンナーレ - YouTube - ニコ生技術部 - AIに相談（chatGPT）
### 研究計画の立て方（例）
- 人はロボットに触られても人間に触られたのと同じ充足感を持つ
- 悲しい時に触れると嬉しい
- 悲しい時に触られるとロボットの慰める心を感じる
- 悲しい気持ちを持っているように触り方を変えられる - 嬉しい時は早く，悲しい時はゆっくり触ることでロボットの気持ちを感じるシステム
- 入力：ユーザがロボットに触れる強さ
- 出力：ロボットの触り方の速さ- 仮説に入ってる言葉を使ったり，研究キーワードを含むようにつけてみる
### 宿題について
- 文献調査をリスト化＞wiki
- タイトル
- 著者
- 読んだ日
- 書誌情報
- まとめ- 複数テーマについて - みんなで分担して研究することもOK，それと別にパラレルで自分の研究を持つのもあり（それなりにエネルギーがいることから全員に勧めない）
##### 連絡事項
4/27 お昼 12:20~ お茶会
水曜1限、２限、木曜５限、ランチミーティングも実施予定
Arduino
##### 内容
コンテストの目的
1. なじみのないものを恐れず、使ってみる練習
2. システムの構成を考える冷静な脳を養う
- 入力があるから、自律、制御（無意識、意識）ができ、出力が生じる
- フロー図を書いてみるとよい
- 入力（マイク音量） 入力（光量）→ 明るいときに聞こえる？→出力（モータ）
システムを作るときの秘訣？「単純化」
# 第3回 分析について（わからなくなったら見返してください）04/20
# 卒論ドラフト
# 実験計画書について
## 検証について
- 例：551のあるときとないときを比べる - **分散分析**
- 例：結果が直線（線形）か直線以外（非線形）か - ある一定までは得点が上がっていくが高すぎると下がっていくなど - ピークがどこか - **回帰分析**
- 答えがわからない・想定ができないときに使う - 例：「総情生の印象は？」というアンケート結果の形容詞対 - 複数の形容詞対を使って評価軸を見つける - 「探す」のあとに「比べる」をできる - **因子分析**
### 分散分析
- 色要因：赤vs黄色 - 味要因：辛いvsふつう - 2要因2水準の4条件（赤辛い、赤ふつう、黄色辛い、黄色ふつう） - ※要因：比べる要素 - ※水準：条件がいくつあるか
- 全員をグループ分けする（今回の場合は1個食べる）→被験者**間** - 全員がすべての条件分食べる（今回の場合は4個食べる）→被験者**内** - 2要因2水準の被験者間（内）実験計画のように呼ぶ
- 男vs女 - 性別は被験者**間**要因（性別は両方体験できるものではない） - 3要因2水準の**混合計画**と呼ぶ
- 辛いのから食べる人もふつうのから食べる人もいる - 前の条件の影響がでてしまう恐れがあるから - 例：辛い後にふつうをたべると物足りない - 感覚を使う場合は刺激が終わるたびにリフレッシュが必要な場合もある - ラテン方各法 - 先生のサイトの右側の Latin Squareを押す - [http://www.res.kutc.kansai-u.ac.jp/~yone/src/programs.html](http://www.res.kutc.kansai-u.ac.jp/~yone/src/programs.html) - パターン数の人数がいれば実験は行える - **実験参加者はパターン数の倍数の人数**にする - カウンターバランスは最後に解除しておかないと結果がおかしくなる
### 評価項目について
- 「おいしい」だけでなく、「また食べたい」など - 何の得点を付けるのか
- アンケートなど
- 数値でとらえられる - センサで取得したものや観察から得られたもの - ex．体温、脳波、うなずきの回数、回答時間など
### 評価値の例
| 赤 | 黄色 | |||
| --- | --- | --- | --- | --- |
| パターン | 辛い | ふつう | 辛い | ふつう |
| 1 | 5 | 1 | 3 | 5 |
| 2 | 3 | 2 | 1 | 5 |
| 3 | 4 | 4 | 2 | 4 |
### 分散分析
- [https://www.hju.ac.jp/~kiriki/anova4/](https://www.hju.ac.jp/~kiriki/anova4/) - 下部のデータを直接書き込むをチェック
- 大学のPCで使える（高度な分析）
- 有意差があるといえるp値の基準をつくる - 基本は0.05
- 水準が3つ以上あるときにどの要因とどの要因に差があるのかを見る - sなら有意差あり - nsなら有意差なし - 限定的な結果しか得られない - 差がでたところしかいうことはできない
# 実験計画書について
内容
1. コンテスト課題LMS参照
→ グループ（出席）に分かれてアイデア交流
1. 興味グループの仮設定 2. 参加コーストサブゼミ＆席など 3. 新歓お茶会 4/27 12:20~（12:10~お弁当を食べて）
### 連絡事項
### 調べてきたこと
- その他センサ：筋電センサ，皮膚センサなど生体センサー、
- 電気抵抗、豆電球による電圧を調整
- 可変抵抗：抵抗の値が変わる抵抗
- つまみ、ボリューム、スライダ
- 出力
- モータ（振動、リニア、サーボ）
- Arduinoについて
- 電源が必要、他の処理機をつけることも可能？
- PCなら
- 入力：マウス、カメラ、Image sansor、PCのボタン
- 出力：モニター- 計算はPCなどにさせるなどもできる
- 呼吸センサ、 - センサは手作りせよ（そこそこ動くやつ）高いものもよりもよい
### 次回課題
- アンケートをする
# 第3回 分析について（わからなくなったら見返してください）04/20
# 卒論ドラフト
# 実験計画書について
## 検証について
- 例：551のあるときとないときを比べる - **分散分析**
- 例：結果が直線（線形）か直線以外（非線形）か - ある一定までは得点が上がっていくが高すぎると下がっていくなど - ピークがどこか - **回帰分析**
- 答えがわからない・想定ができないときに使う - 例：「総情生の印象は？」というアンケート結果の形容詞対 - 複数の形容詞対を使って評価軸を見つける - 「探す」のあとに「比べる」をできる - **因子分析**
### 分散分析
- 色要因：赤vs黄色 - 味要因：辛いvsふつう - 2要因2水準の4条件（赤辛い、赤ふつう、黄色辛い、黄色ふつう） - ※要因：比べる要素 - ※水準：条件がいくつあるか
- 全員をグループ分けする（今回の場合は1個食べる）→被験者**間** - 全員がすべての条件分食べる（今回の場合は4個食べる）→被験者**内** - 2要因2水準の被験者間（内）実験計画のように呼ぶ
- 男vs女 - 性別は被験者**間**要因（性別は両方体験できるものではない） - 3要因2水準の**混合計画**と呼ぶ
- 辛いのから食べる人もふつうのから食べる人もいる - 前の条件の影響がでてしまう恐れがあるから - 例：辛い後にふつうをたべると物足りない - 感覚を使う場合は刺激が終わるたびにリフレッシュが必要な場合もある - ラテン方各法 - 先生のサイトの右側の Latin Squareを押す - [http://www.res.kutc.kansai-u.ac.jp/~yone/src/programs.html](http://www.res.kutc.kansai-u.ac.jp/~yone/src/programs.html) - パターン数の人数がいれば実験は行える - **実験参加者はパターン数の倍数の人数**にする - カウンターバランスは最後に解除しておかないと結果がおかしくなる
### 評価項目について
- 「おいしい」だけでなく、「また食べたい」など - 何の得点を付けるのか
- アンケートなど
- 数値でとらえられる - センサで取得したものや観察から得られたもの - ex．体温、脳波、うなずきの回数、回答時間など
### 評価値の例
| 赤 | 黄色 | |||
| --- | --- | --- | --- | --- |
| パターン | 辛い | ふつう | 辛い | ふつう |
| 1 | 5 | 1 | 3 | 5 |
| 2 | 3 | 2 | 1 | 5 |
| 3 | 4 | 4 | 2 | 4 |
### 分散分析
- [https://www.hju.ac.jp/~kiriki/anova4/](https://www.hju.ac.jp/~kiriki/anova4/) - 下部のデータを直接書き込むをチェック
- 大学のPCで使える（高度な分析）
- 有意差があるといえるp値の基準をつくる - 基本は0.05
- 水準が3つ以上あるときにどの要因とどの要因に差があるのかを見る - sなら有意差あり - nsなら有意差なし - 限定的な結果しか得られない - 差がでたところしかいうことはできない
# 実験計画書について
## 来週までの宿題 4/12ー4/19
### 卒論について
- ex．「私は○○と考える」→「○○と考えられる」（受け身文）
### 卒論の書き方
- 研究の背景や提案手法について - 研究背景（1.1） - 研究の動機（1.2）
- 自分の研究に関連のある先行研究の紹介 - 関連研究をグループ化
- システムの概要（3.1）
- 目的、動作（入出力）、結果を書く
- 図表もあったほうがわかりやすい
- スクショや写真
- 大体同じ構成になっている
- システム構成（3.2）
- ハードウェアの構成（パソコンの情報・その他ハードウェア）
- ソフトウェアの構成（システムを動かすために必要なソフトウェア・自作プログラムの構成）
- 「○○部」（感情生成部・ユーザ状況取得部など）に分けるとわかりやすい
- 何のソフトやライブラリを使っているのかも記入（FaceAPI，Blenderなど）
- それをつくって何を作ったのか
- 必要なら詳細・モード説明（3.3）
- ソフトウェア動作のセットなどのデータとその説明
- 複雑でない人は必要ない
- 問題文の説明用のモードや一緒に考えるモードなど
- 動作例（3.4）
- 複数例を書く- 実験内容と結果 - 何と何を比較するのか - 結果からわかったことはここに書く
- 実験結果の考察 - 自分の考えを書いていく
- まとめ - 今後について
### ドラフトチェック
### 連絡事項
連絡事項
院に進学する人は早めに相談！
木5に卒研の相談の時間
水1も相談できる
院棟の2階にスペース追加、k棟は実験室（予約制）
ゼミの合宿は対面でやる予定
3回生に実験で誘えるように
夏か冬に旅行にいくかも
ツリーグループについて
内容ごとのグループを作っている
ドクターが常駐で2人いる
それぞれがグループリーダー
石田
岩元
柳
角谷
藤井（大澤）
ひょう
西村
岩國
野口・森山（大澤）
西村
西野
住本
安永
角
小林
松島
吉次・美馬
眞鍋
太田
しもうら
花川
大林・米谷
徐
小野
宮上
桑野
赤坂
グループの中で卒研のチェックをしてもらう
同じグループの中では被験者になれない
他大学から来た方の紹介
野口さん
子供向けの知育玩具を視覚障害のある子供でも使えるように
藤井さん
ロボットのネガティブな内部状態を不随意表現
柳さん
萌えについての調べもの
システムの改良
Processingにおけるアウトオブメモリーの回避
ProcessingをGPU処理できるようにした
かわいいデザイン賞に応募予定
ヤンデレのキャラをピックアップ
ピックアップされたキャラの印象評価
ヤンデレの検討
先生コメント
ヤンデレの定義
赤坂さん
迷路ゲーム作成
相手視点は未実装
通ったらボールが落ちる
先生コメント
移動速度によって相手に位置がバレやすいなど
岩元さん
童謡ふるさとで喜怒哀楽
感情ごとに作成
テンポ、スタッカートを変化させた
楽しみは「っ」をいれて強調
悲しみは「ー」でなめらかにした、長調から短調に
今後は音声モーフィング
先生コメント
ボリュームも使うとい
堂々としてるときは大きく悲しい時は小さい
実験の時はパターンをいくつか作る
角谷さん
Unityでエージェント作成
Vロイドスタジオ
まばたき
頷きの動きをBlenderで作成中
共感の論文を読んだ
先生コメント
横に立たせる
奥行きを考える
教室で座っているイメージ
太田さん
自己類似でお手本が自分にできる感
お手本行動の論文
望ましさがわかれない行動
正解がある行動を対象にする
他己評価
先生コメント
今月中に具体化を進める
小野さん
スポットライト
Unityで実装
先生コメント
屋外でのスポットライトの意味は？
夜だと暗いから
明るいステージのときでも出ていて暗くなるとよりわかりやすくなるようにする
許さん
UnityとPythonの通信
UDP通信
通信はできたが動作が遅い
これを改善していきたい
マルチスレッドにするといいと調べたが上手くいかず
会話の内容
内容を膨らませる
先生のコメント
愚痴だけでなくやろうというところまで持っていく
何回か渋ることを想定
松村さんがUnityのプログラムをもっている→あとでもらう
pythonでUnityの動きを制御
下浦さん
音声生成をやりたかった
FOMMだと声からしか動かない
先生コメント
最低限何が必要かを考える
あんまりリップシンクをしないというのも手
角さん
振付の適切なオノマトペ
文献調査
実験方法・仮説を立てる
ボイスボックスでオノマトペ
イントネーション、話速などを変えられる
先生コメント
合成音声のオノマトペは作っている
松村さんのものに近づいてきてる
西村さん
佐藤くんのプログラムをもらった
文献調査
バーチャルリアリティにおける視覚提示技術
先生コメント
ハードウェア的な部分を頑張る
花川さん
今までのコメントを反映
4本の木で日本の四季を再現
聴覚の働きかけを検討
先生コメント
同じ空間に4本あるのがいいのか個別にあるのがいいか
実装的にはどちらも難しくない
多さよりもリアリティ
距離が遠いと不自然ではないが、近いと空間がゆがんでいる感じ
自然と超自然との対比
カメラ位置を変えられないAR
方向で感じ方を変える（同時には見せない）
同時に見せると別の要因を感じる
わびさびを感じるなら同じ空間で変わる方がいい
自然じゃなくて落ち着いた自分を見る
眞鍋さん
顔画像モーフィング
FaceAPIで感情推定
先生コメント
GANでおかしくなる
古典的なモーフィング
特徴点を抽出する
宮上さん
論文調査
松村さんと作ったシステムの理解
APIの使い方
安永さん
竹村さんと相談
ExcelのやつをProcessigに落とす
先生コメント
先輩に聞くとすぐにできるかも
4月中にあるといい
就活で休むときはどこに行くのかを提出
卒論までの流れ
文献追加は常に
システム完了
実験計画
卒論ドラフト
上記は6月末まで
宿題
文献調査
卒論ドラフト（タイトルをつけてGoogle docsで共有）
## 1. 本日の内容
- 出席管理グループTA
- ツリー構造の内容毎グループ
- 連絡手段と一日一回check再確認
- 木曜３→三回 木曜４→四回 火曜２→ ラボ
- 木曜１（三回補講ラボクラス）
- 木曜５（四回卒研・三回サポート院生）
- 院棟にスペース追加，K棟208は実験など（予約制）- テーマ決め - プロトタイピング - コンテスト（ゼミ内外） - レポート・発表 - 文献調査（五月以降） - 合宿 - ゼミ旅行 - その他イベント（新歓など）
- ツリーGroup - 物品貸し出し：名簿登録者のみ - 物品購入依頼：フォームとSlackとメール - その他相談：随時
- 次回課題（コンテスト内容メモ）
## 2. 内容
大澤チーム
森山チーム
西野チーム
石田チーム
