![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
[[13_Kawaguchi]] *無線モジュールTWE-Lite DIP [#t9632b18] 2013/9/25~ 茶禅空（IVRC）に使う茶筅型デバイスに使用~ http://tocos-wireless.com/jp/products/TWE-Lite-DIP/index.html~ 特徴：~ ・特に設定をしなくても無線通信を行う。（電源を入れるだけ）~ ・アナログ、デジタル、シリアル三種類の通信方法に対応~ 使用方法：~ ・親機子機の設定は指定ピンのHIGH,LOWで。~ ・詳細な通信設定は「インタラクティブモード」で。~ 「インタラクティブモード」~ UART-USBモジュール（http://akizukidenshi.com/catalog/g/gK-01977/）などとTWE-Lite DIPを接続することで、詳細な通信設定を行える。~ 設定には端末エミュレータTera Termを使用。~ コメント：~ 加速度センサKXM52－1050（http://akizukidenshi.com/catalog/g/gI-01425/）の値を無線通信でArduinoに送信する目的で使用。~ 無線間をアナログ通信に設定、加速度センサの電源に抵抗（？Ω）を通し、オフセットを下げることで加速度の値を適切に送信することに成功した。~ TWE-Lite DIPには扱える電圧の範囲があり、そのためオフセットを下げる必要があったと考えられる。~ *個人研究 [#t9632b18] 2013/6/5~ タイトル：一般画像認識によるデジタル画像内の効果音再生~ 内容：~ デジタル画像内の物体（木・窓など）を認識する。~ →認識した物体がもつ固有の音（例えば「木が風にそよぐ音」など）を再生する。~ →認識した画像内の物体に、音に合わせた動きをもたせる。 効果・ターゲット：~ ・デジタル画像作成（撮影）時の、その瞬間の画像内の環境を視覚的・聴覚的に体感できる。~ ・例えば、病室などの制限された空間にいる人の閉塞感を和らげることができる可能性がある。~ ・つまりこのシステムは人が体感している世界を広げる。~ 新しい点：~ 類似作品の「アニメーテッド・サウンド － 画像認識によるサウンド生成プログラム」[1]は、デジタル画像と効果音データをそれぞれ独立させ、~ その特性によって独特なアニメーション作成システムとしての体をなしていた。~ しかしシステムの利用には、効果音用マーカやアニメーションのコマ割りシートなど種々の道具が必要である。~ 一方で「一般画像認識によるデジタル画像内の効果音再生」は、創作面での自由度こそ低いものの、~ デジタル画像がもつ雰囲気・臨場感を深く体感することができる。~ また、カメラなどを用いてデジタル画像を生成する場合、このシステムを応用すればその場で効果音・動きつき画像が生成できる。~ この即時性がこのシステムの新しい点であり強みである。~ 展望・課題：~ ・デジタル画像内の情報を現実と結びつける。~ ex.)（認識できれば）画像内の場所、物体の詳細表示→地図・通販サイト・検索サイトなどに誘導~ →大規模なデータベースが必要か。~ ・画像に動きと音をつけるなら、動画と変わらないのではないか？~ →動画ではなく画像である意義を明確にする必要がある。~ 使用言語・ハードウェア：C++~ 必要なもの：大量のデジタル画像~ [1] アニメーテッド・サウンド － 画像認識によるサウンド生成プログラム :~ http://www.ipa.go.jp/about/jigyoseika/05fy-pro/mito/2005-1266d.pdf~ 閲覧日2013/06/05~ ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー~ タイトル：デジタル画像のRGB値解析による和音生成~ 内容：~ 画像を複数の区画に分割する。~ →分割された区画ごとにRGB値を解析し、その平均の数値をとる。~ →0から255の数値を四つのグループに分け、それぞれのグループに和音を一つづつ対応させておく。（この際コード進行が不自然にならないよう対処しておく。）~ →画像の区画ごとに、RGBの平均値に対応した和音を再生する。~ ターゲット：視覚情報（デジタル画像）に遊び心を加えたい人たち~ 新しい点：~ 類似作品に「オーディブル・カラー」がある。「オーディブル・カラー」はカメラに認識された"一つの色"に対して、予め対応させた"和音の一つ"を再生するという作品である。~ 「オーディブル・カラー」の自由度が高いデータ入力方式に対し、「デジタル画像のRGB値解析による和音生成」は、決して自由度が高いとはいえない。しかし、データ入力方式を限定することによって、この作品の特徴が目立つと考える。~ 例えば「オーディブル・カラー」はそのデータ入力方式の自由度の高さ故に、メロディー作成などにおいていささか難易度が高い。（その自由度の高さこそがこの作品の売りだという考え方ももちろんある。）~ 一方「デジタル画像のRGB値解析による和音生成」はデータ入力方式の自由度こそ低いが、和音の振り分け設定・コード進行の制限などの種々の要素を発展させていくことで、多様かつ複雑なメロディーを作成できる可能性を秘めている。~ 使用言語・ハードウェア：未定~ 必要なもの：デジタルカメラ・ウェブカメラ~ [1] 音も色も鮮やか。色を音楽へと変換する『オーディブル・カラー』（動画あり）:~ http://www.kotaku.jp/2012/07/oto_iro.html 閲覧日2013/05/23~ *やりたいことリスト [#xa8d74b4] **(1)音声認識とARを組み合わせた教育支援システム [#afa34b26] a.~ 特定の音声（単語）を認識する。~ ↓~ その音声（単語）に対応したCGをAR(マーカベース)を用い表示する。~ 例えば、「ライオン」という音声を認識すると、マーカ上にライオンが出現する。~ b.~ 特定のCGをあらかじめ白黒でいくつか表示させておく。~ ↓~ 特定の音声（単語）を認識する。~ ↓~ その音声（単語）に対応したCGを色付きで表示する。~ 例えば、始めに白黒のカエル、ウシ、ウマなどが表示されており、「カエル」という音声を認識すると、マーカ上に色付きのカエルが出現する。~ **(2)センサーとARを組み合わせたインタラクション [#afa34b26] 人形にセンサーを取り付ける。~ ↓~ ARを用い、人形にCGを付与する。~ ↓~ ARとセンサーを連動させ、センサーの反応に応じてAR上のCGを変化（反応）させる。~ 距離の離れた人の映像をCGの代わりに投影し、どうにかこうにかその人の体温なども再現出来れば、何かが生まれるかもしれない…~ ※人形＝ミクさんに触れてみたいだけです。~ **(3)視覚情報の音楽化 [#o0927b87] ウェブカメラの映像を画像として取り込む。~ ↓~ 画像の色検知をする。~ ↓~ 画像内の色相・彩度・明度（HSV）に対応した、適切なBGMを再生する。~ BGMの効果により、例えば絵画が持つ臨場感や、風景から伝わる空気感をより直感的に感じることができる。~ ※『オーディブル・カラー』という作品の内容とほとんど一致している。~ ※音楽の可視化というのもおもしろそう。 **ボツ[#j1b5e40b] ・写真が動画のように動く新聞~ ・ARを教科書に利用~ 実現されていました。~ *プレゼミ [#e0c67558] マーカベースARの初歩的な課題~ 作成例： "Metasequoiaで作成したCGデータ（MQO形式）を、マーカ上に出現させる"~ 使用ライブラリ~ 「NyAR4psg」「MQOLoader」 processingの初歩的な課題~ 作成例： "CGにピッキング処理とツイート機能を追加"~ 使用ライブラリ~ 「Twitter4j」「Picking」 参考文献~ 橋本 直「ARプログラミング Processingでつくる拡張現実感のレシピ」 オーム社 2012年 **展望 [#v876978b] ・教育現場における学習支援~ ・文化財・芸術品の新たな鑑賞方法の開発~ などにおいてのAR技術の利用を目指す
