流れ 2020年2月号 目次
― 特集テーマ：流体工学部門講演会 ２月号 ―
｜ リンク一覧にもどる ｜ |
音に夢を重ねて
福嶋 拓海 東京理科大学 |
1. 緒 言
東京理科大学工学研究科機械工学専攻に所属するチームラズベリーは2019年11月7日に愛知県豊橋市にて行われた第17回流れの夢コンテストに参加しました．私はリアルタイムに音を収集，可視化するアルゴリズムを開発し，持ち運び可能なデバイス（Raspberry Pi）に実装しました．この作品は誠にありがたいことに当コンテストにおいて「最優秀賞」を受賞いたしました．本稿では受賞に至るまでの開発の経緯やデバイスの詳細を記したいと思います．
2. コンセプト
当コンセプトのテーマは「流れの感触を表現しよう」でした．それを受けてチームのコンセプトを，「MP3プレイヤーのように持ち運び可能で日常の音を知ることができるデバイス」として，これの開発を行うこととしました．このデバイスの特徴はコンセプトの通り持ち運び可能ということと，音をリアルタイムに測定しそれを可視化するというものです．なぜこのようなコンセプトを設定したのかというと，「流れの感触」を考えるうちに音について興味が湧いてきたからです．日常に音はあふれています．言葉，飛行機の飛ぶ音や電車の通る音，イヤホンが発する音楽など数え始めたらきりがありません．私たちはこれらの音に囲まれながら情報や情緒を受けとり，感情をかき立てられるのです．私は，物理的には空気の疎密波の連続に過ぎない音がなぜここまで影響を及ぼすことができるのかという点にとても疑問を抱きました．そこでどんな波形が身の回りにあるのか，どんな波形が私たちにどのような感覚をもたらすのか視覚的に知りたいと思い，持ち運び可能な身の回りの音を把握できるデバイスの開発をコンセプトに定めることにしました．
3. 作品について
3・1 開発準備
冒頭に述べたようなデバイスを開発するにあたり図1に示すような機材を用意しました．図1には小型のコンピュータであるRaspberry Piをはじめ，USBマイク，冷却用ファン付きケース，3.5インチディスプレイを示しています．Raspberry Piは名刺サイズの小型なコンピュータで，LinuxのディストリビューションであるRaspbianを搭載しており，開発言語はPythonで行いました．
図1 開発に使用した機材（左上；ラズベリーパイと冷却ケース，右上：3.5インチディスプレイ，下：USBマイク）
3・2 リアルタイムFFTアナライザ
まず，リアルタイムに音を収集し，それを解析させるための準備としてリアルタイムのFFTアナライザを実装しました．図2はこのアナライザの表示画面となっており，上部に音の波形の瞬時図，下部にFFT解析を行った結果を示しています．これにより音を構成している周波数が把握でき，この波は660 Hzと倍音の関係にある1,320 Hzの二つの波で構成されていることが分かるようになっています．マイクやマイコンの性能，リアルタイム性等を勘案の上，サンプリング点数を約9,600点，サンプリングレート48 kHzで0.3秒ごとに計測とFFTの処理を行うことにしました．
図2 リアルタイムFFTアナライザの表示画面
3・3 ビジュアライザについて
次に，先述したFFTアナライザから取得できる情報を利用して製作した可視化のアルゴリズムについて述べたいと思います．この可視化には基準円の半径，基準円上の波形，色，内側の多角形の4つのパラメータを使用しています．図3にマイクに音を取り込んだ際に表示される動画のキャプチャを，図4にその構成を示します．円周方向には時間スケールの波形を示し，音の大きさを円の半径にしています．これら二つのパラメータによりふわふわと概形を変えながら大小に円が変化します．色は，図2右側方に示したカラーバーに従って変化しています．計測した音の最も大きなピークの周波数を取得してそれがドに近ければ赤，ファに近ければ青，高いオクターブになるほど緑の度合いを増すようにしました．色のレンジはピアノに合わせて65 Hzから約4,200 Hzとし，ピアノとの対応関係を取りやすいように設計をしました．円内部にある多角形はピークの多さを示しています．これは言い換えると音の複雑さを示しています．多くの周波数で構成されているような広帯域な音では円に近くなり，単音が強くなれば三角形となります．同じ色や大きさであっても構成する周波数の数が違えば異なる多角形となり，その音の特徴をきちんと捉えられるようにしました．
このビジュアライザを作成する上で重要だと感じたのは，音と色の対応関係と図形の動き方です．色は個人により感じ方が異なるために音と色の対応関係は慎重に設定するべきであると思いました．必要によってはカラーバーを個人によって柔軟に設定できるような自由度があると，なおよい表示になると思います．図形の動き方も非常に重要です．約0.3秒ごとに描写を更新していますが，観測したデータをそのまま反映させてしまうと色や形の変化が非常に大きくなり，視認性が極めて悪くなります．そこで前2フレームの結果を参照し，それらと重み付けを施した平均化処理を加えました．これによって次のフレームの制御値が前回の結果に引っ張られ，色や大きさの変化が緩やかになります．重み付けは変化の早さを決定するため，特に多くの試行錯誤を行い視認性の向上を図りました．
図3 ビジュアライザの様子(1)
図4 ビジュアライザの構成
3・4 携帯性やその他の用途
図5に示すようにこのデバイスは携帯性にも優れています．このマイクロコンピュータは処理に使用できるリソースが制限される代わりに，HDMI出力で，5V3Aの電源であるためディスプレイのサイズは選ばず，高速充電用のスマートフォン用バッテリーなどで電源が代用できることから持ち運びが容易であることが利点です．この携帯性により日常の音の周波数特性が分かるだけでなく可視化によって何気ない音でも楽しむことができます．ほかには有機ELなどにつなげて壁紙にし，音楽鑑賞のビジュアライザとしての使用や環境音をモニターする等の用途が考えられます．
図5 3.5インチディスプレイ接続時
4. 流れの夢コンテストに参加して
流れの夢コンテストに参加して音に対する私たちの感覚とはどういうものなのかということについて深く考えることができました．開発を行った約一か月間，本当に多くの試行錯誤や技術的な障壁を抱えながらできる限りの時間を費やしてなんとか完成にこぎつけることができました．この課題を通してPythonやマイコンに対する基礎知識がついたのはもちろんのこと，音に対する私たちの得もいわれぬ感覚の一端に触れたような気がしています．コンテストが終了した今もなお思考を巡らせており，非常に興味深いテーマであると感じています．デモ発表の際に多くの方々の目に触れ多様な意見を頂けたのも非常に貴重な機会でした．これからも開発を継続し，より良いものができればと考えております．このコンテストを通じて新しい体験をたくさんすることができ，参加して本当に良かったと思います．
5. まとめと今後の可能性
チームラズベリーは第17回流れの夢コンテストにおいて，音をリアルタイムに計測，それを時間，周波数スケール，色覚に展開し可視化する持ち運び可能なデバイスの開発を行い多くの方々から好評をいただきました．
デモ発表の際に行った有意義なディスカッションを通じてまだまだ可能性を秘めていると感じましたので，以下にその一部を記します．
- 会話の内容を自然言語処理等で解析し，これを色などのパラメータに反映させることで，会議室等で行われている商談などがうまくいっているのかどうかを会話の秘匿性を維持しながら抽象的に把握することができる．
- 機械の故障検知において音の状態を抽象的に表示させることで専門的な知識のない者であっても機械に異常があるかどうかを簡便に確認することができる．
- 聴覚障がい者や遮蔽物の存在など音が直接，伝ぱしにくいような環境にいる人に対してどんな音が発生しているのかを色，形，大きさなどを介して直感的に把握することができる．
- スマートフォン用のアプリケーションを製作することで多くの方々が使用できるようになる．
このような意見は大変貴重であると感じており，今後の開発に活かしていく所存です．
6. 最後に
流れの夢コンテストの参加にあたって，多くの方々のお世話になりました．このコンテストに参加を勧めてくださった石川仁先生や実行委員の先生方，作品制作の際に様々な意見を共有してくれた研究室のメンバー，当日の設営を手伝ってくれた研究室の後輩など多くの方々のご尽力がありこのような栄誉ある賞を受賞することができました．この場を借りて厚くお礼を申し上げます．
参考
| (1) | ロベルト・シューマン，「子供の情景」，作品15：第7曲トロイメライ |