研究紹介（ロッキー）の履歴(No.12)

個人研究†

6/5

タイトル：一般画像認識によるデジタル画像内の効果音再生

内容：
　デジタル画像内の物体（木・窓など）を認識する。
　→認識した物体がもつ固有の音（例えば「木が風にそよぐ音」など）を再生する。
　→認識した画像内の物体に、音に合わせた動きをもたせる。

効果・ターゲット：
　・デジタル画像作成（撮影）時の、その瞬間の画像内の環境を視覚的・聴覚的に体感できる。
　・例えば、病室などの制限された空間にいる人の閉塞感を和らげることができる可能性がある。
　・つまりこのシステムは人が体感している世界を広げる。

新しい点：
　類似作品の「アニメーテッド・サウンド－画像認識によるサウンド生成プログラム」[1]は、デジタル画像と効果音データをそれぞれ独立させ、
その特性によって独特なアニメーション作成システムとしての体をなしていた。
　しかしシステムの利用には、効果音用マーカやアニメーションのコマ割りシートなど種々の道具が必要である。
　一方で「一般画像認識によるデジタル画像内の効果音再生」は、創作面での自由度こそ低いものの、
デジタル画像がもつ雰囲気・臨場感を深く体感することができる。
　また、カメラなどを用いてデジタル画像を生成する場合、このシステムを応用すればその場で効果音・動きつき画像が生成できる。
　この即時性がこのシステムの新しい点であり強みである。

展望・課題：
　・デジタル画像内の情報を現実と結びつける。
　　ex.)（認識できれば）画像内の場所、物体の詳細表示→地図・通販サイト・検索サイトなどに誘導
　　→大規模なデータベースが必要か。
　・画像に動きと音をつけるなら、動画と変わらないのではないか？
　　→動画ではなく画像である意義を明確にする必要がある。

使用言語・ハードウェア：C++
必要なもの：大量のデジタル画像

[1] アニメーテッド・サウンド－画像認識によるサウンド生成プログラム :
http://www.ipa.go.jp/about/jigyoseika/05fy-pro/mito/2005-1266d.pdf
閲覧日2013/06/05

ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー

タイトル：デジタル画像のRGB値解析による和音生成

内容：
　画像を複数の区画に分割する。
　→分割された区画ごとにRGB値を解析し、その平均の数値をとる。
　→0から255の数値を四つのグループに分け、それぞれのグループに和音を一つづつ対応させておく。（この際コード進行が不自然にならないよう対処しておく。）
　→画像の区画ごとに、RGBの平均値に対応した和音を再生する。

ターゲット：視覚情報（デジタル画像）に遊び心を加えたい人たち

新しい点：
　類似作品に「オーディブル・カラー」がある。「オーディブル・カラー」はカメラに認識された"一つの色"に対して、予め対応させた"和音の一つ"を再生するという作品である。
　「オーディブル・カラー」の自由度が高いデータ入力方式に対し、「デジタル画像のRGB値解析による和音生成」は、決して自由度が高いとはいえない。しかし、データ入力方式を限定することによって、この作品の特徴が目立つと考える。
　例えば「オーディブル・カラー」はそのデータ入力方式の自由度の高さ故に、メロディー作成などにおいていささか難易度が高い。（その自由度の高さこそがこの作品の売りだという考え方ももちろんある。）
　一方「デジタル画像のRGB値解析による和音生成」はデータ入力方式の自由度こそ低いが、和音の振り分け設定・コード進行の制限などの種々の要素を発展させていくことで、多様かつ複雑なメロディーを作成できる可能性を秘めている。

使用言語・ハードウェア：未定
必要なもの：デジタルカメラ・ウェブカメラ

[1] 音も色も鮮やか。色を音楽へと変換する『オーディブル・カラー』（動画あり）:
http://www.kotaku.jp/2012/07/oto_iro.html　閲覧日2013/05/23

↑