22_Kakutani_Note の履歴(No.11) - PukiWiki

[ トップ ] [ 新規 | 一覧 | 検索 | 最終更新 | ヘルプ ]

研究の概要†

肉声と合成音声とではイントネーションや声色など、どこが異なるのか、どのようにすれば不快感がない合成音声を作ることができるのかを考え、『教育に向いた合成音声』というものを研究する

研究タイトル†

教育向け合成音声

研究キーワード†

イントネーション
- 重要な部分の強調
声色
- 場面に合わせた声
- 音声加工
間
- 緩急
体制や人の動きにたいするアプローチ
原稿に対するアプローチ
肉声と合成音声との違い

研究は何を目指すものか（目標）†

合成音声の授業を聞く生徒に対してだけではなく、ネット上に自身の音声を載せたくないなどの理由により合成音声を活用し授業を作成する教員にも、使いやすく役に立つものを作れれば良いと考えています。

この研究がうまくいけば何が実現するのか（将来、可能性、応用など）†

教育だけではなく、さまざまな場面に使えるようになると思います。

この研究の新規性・新奇性†

学習支援全体にスポットを当てるのではなく、教員にスポットを当てていきたいです。
また、聞く人や場面に合わせた合成音声など、さらに日常的な音声になることを目指します。

この研究の有用性†

目指すシステムの形（どういう入力でどういう出力があるか。何ができるか。）†

人の体の動き(入力)や表情(入力)に合わせ、加工された音声(出力)
イントネーションやリズムがつくことで、聞き取りやすくなるのではないでしょうか。

システムのターゲットユーザ†

教員

システムの活用シーン†

学校教育

研究トピック（議題）整頓†

合成音声/寄り添い/行動

研究ノート†

研究根本メモ
https://docs.google.com/document/d/10jPKqvaO42Ij5yqoZSpFzMU2pdoIo2GmzqifOfwgj8k/edit?usp=sharing
授業メモ
https://docs.google.com/document/d/1fnNbgCSMLTPkGSTohWU6BD-iRZ9cwn3sdv_Ko96tUT8/edit?usp=sharing
冬課題
- 22_Kakutani_Fuyu
春課題
arduinoとprocessingに触れたかったので軽く電子工作を行なった。
曲げセンサを使用し、簡易的な楽器を作成。

添付ファイルの画像

添付ファイルの画像

反省点
曲げセンサの対応する数値の設定が、細かすぎて狙った音を拾いにくい。
今、何の音が鳴っているのか視覚的にわかりやすくしたかったが、できなかった。

更新
5/11
firmataを使い、さらに簡略されたプログラムを考えています
今はあまりまとまった時間が取れないのですが、時間が出来次第pdを使用しやってみたいです

動画
https://www.dropbox.com/sh/p51p3k3ze5ktzpg/AACwvUc-BWFt-37FcG102Xzpa?dl=0
１回目は、前の音が残留
２回目は視覚的にわかりにくい。また、数値の制御がシビア

似ている人†

添付ファイルの画像

文献ノート†

自分が日々読む、論文や書籍の記録を取る。

著者	タイトル	発表場所や出版社	URL	掲載ページ	発行年	内容の簡潔なまとめ	内容の詳細メモ	自分の研究との関連性のメモ
三谷雅純	生涯学習施設の館内放送はどうあるべきか : 聴覚実験による肉声と人工合成音声の聞きやすさの比較	兵庫県立人と自然の博物館「人と自然」	https://www.jstage.jst.go.jp/article/hitotoshizen/25/0/25_63/_pdf	63~73	2014	合成音声と肉声音声の比較。また、女性男性での聞き取りやすさの差をアナウンサーの声で比較している	合成音声はやはり、肉声よりも聞き取りにくい。合成音声のみで聞いた時にはあまり聞き取りづらさを感じないが、肉声と比較すると圧倒的に聞き取りづらいことがわかる。また、言葉とリズムの関係性を研究している。この文献では、リズムをつけても聞き取りやすさには関係ないとある。しかし、聴覚に問題がある人には効果がある可能性を提示している。聞き取りにくい合成音声であっても、文字やイラストなど、視覚にアプローチすると良い。	言葉のリズムや、周波数などの関係性も少し描かれているため合成音声の聞き取りやすさを考える時に役立つ。
井田志乃	授業動画の音声の種類と理解度の関係	宮崎公立大学人文学部紀要	https://miyazaki-mu.repo.nii.ac.jp/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=1407&item_no=1&page_id=13&block_id=17	1-17	2022	動画配信形式のオンデマンド型授業を想定した授業動画における聴覚情報である音声の種類が，授業内容の理解のしやすさと授業動画としての好ましさに及ぼす影響について	オンデマンド授業における、合成音声と肉声での授業の差を授業で実際に実践し、アンケートで聞いている。その結果，授業内容の理解のしやすさと授業動画としての好ましさともに，聴覚情報としては肉声及び肉声でも合成音声でも違いはないと回答した被験者の割合が高かった.小テストの平均点も，聴覚情報が肉声である動画を確認したグループが僅かながら高く，授業動画における聴覚情報として肉声が支持される傾向が示唆された。	合成音声に対してのネガティブなイメージは、抑揚がない。淡々としている。という、予想した通りの結果であった。ネガティブなイメージ、ポジティブなイメージをもとに音声を変化させることができれば良いと感じる。
赤木正人	音声に含まれる感情情報の認識 : 感情空間をどのように表現するか	日本音響学会誌 / 66 巻 (2010) 8 号	https://www.jstage.jst.go.jp/article/jasj/66/8/66_KJ00006537917/_article/-char/ja/	393-398	2010	音声によるコミュニケーションでは言語情報だけではなくこれらの情報にも重要な役割が含まれていると言われており，音声対話の精緻な解析のためにはこれら双方を考慮する必要がある.機械のための言葉の感情理解	母音の高さや、言葉の周波数などによりさまざまな感情が表現される。曖昧な部分が多い。その中でどのように分類や考え方をすれば、機械に言葉の感情を理解できるかを考える。難しいため、論文をさらに読み込む必要があると感じる	この論文は機械に感情音声の理解をさせるために考えられていたが、逆に考えると、機械に感情的な言葉を話させる時に参考になるのではないかと感じた。また、合成音声ではないが、何か聞いた言葉をメモする機能などで支援する時に機械が感情を理解して赤線を引くなどできたら面白そうだと感じた。

22_Kakutaniに戻る