THine Value カメラの組み込みを多面的にサポートする体制を構築、「カメラのSWARM/IoT」の実現に向けて大幅前進へ
2019.02.12
- 記事
- コラム
スマートフォンやデジタルカメラだけでなく、カメラ機能を搭載するアプリケーションが急増している。自動車はもちろん、XR端末や産業機器、医療機器、教育機器、ドローンなどでカメラ機能を搭載する製品が増加している。しかし、本連載の1回目と2回目で指摘した通り、カメラ機能をアプリケーションに組み込む作業は一筋縄ではいかない。ハードウエアとファームウエアの両方の知識が必要だからだ。ザインエレクトロニクスが提供するカメラ開発キット「CDK」を使えば、ファームウエア開発の労力を大幅に軽減できる。しかし、カメラ機能の組み込みに初挑戦する設計者には、それだけでは不十分だろう。そこでザインでは、新しい取り組みに着手した。カメラ機能の組み込み作業を多面的にサポートする体制を構築するとともに、新しいアプリケーションに最適化したISP（イメージ・シグナル・プロセッサ）とCDKの開発である。
センサー・ネットワークの構築が進む
「SWARM（スウォーム）」という言葉をご存知だろうか。これは、数多くのセンサーを世の中に数多く取り付け、それぞれが無線でデータをやり取りするネットワークを指す技術用語である。虫や鳥の大群のようにセンサーが存在することからSWARM（群れ）と名付けられた。名付け親は、米カリフォルニア大学バークレー校 教授のJan Rabaey（ジャン・ラバイエ）氏である。
SWARMは、センサー・ネットワークという言葉とほぼ同義だ。現在では、センサー・ネットワークはIoT（Internet of Things）という言葉に置き換えられ、世界中で使われる技術用語になっている。
センサー・ネットワークの構築は世界中で進んでおり、SWARM、言い換えればIoTは徐々に実現されつつある。その一方で、カメラについても各種センサーに負けず劣らず、様々な場所に数多く設置され始めている。監視カメラやスマートフォン、自動車、XR端末、産業機器、医療機器、教育機器、ドローンなどにカメラ機能を搭載することは、もはや当たり前になったと言えるだろう。いずれは「カメラのSWARM」や「カメラのIoT」も現実のものとなるはずだ。
SWARMは、センサー・ネットワークという言葉とほぼ同義だ。現在では、センサー・ネットワークはIoT（Internet of Things）という言葉に置き換えられ、世界中で使われる技術用語になっている。
センサー・ネットワークの構築は世界中で進んでおり、SWARM、言い換えればIoTは徐々に実現されつつある。その一方で、カメラについても各種センサーに負けず劣らず、様々な場所に数多く設置され始めている。監視カメラやスマートフォン、自動車、XR端末、産業機器、医療機器、教育機器、ドローンなどにカメラ機能を搭載することは、もはや当たり前になったと言えるだろう。いずれは「カメラのSWARM」や「カメラのIoT」も現実のものとなるはずだ。
カメラの活躍の場が広がる
カメラ機能を搭載するアプリケーションは急速に増えている。かつてはモバイル機器と自動車が「2大ユーザー」だったが、最近になってこの状況は確実に変化している。XR端末や産業機器、医療機器、教育機器などでもカメラ機能の搭載が一気に進んでいるからだ。
例えば、産業用途では、VR（仮想現実）やAR（拡張現実）、MR（混合現実）のメンテナンス作業への活用が進んでいる。航空機のメンテナンスにARを使えば、カメラで作業状況を撮影しながら、ヘッドマウント・ディスプレイにその映像を表示し、必要に応じて映像の一部にマニュアルを表示することが可能になる（図1）。MRを活用すれば、カメラで撮影した現実空間の中に3D（3次元）の物体を表示し、手などの動きでその物体を操作できるようになる。現実のものを使わずに、仮想的にバルブを回すといった整備作業のトレーニングが可能になるわけだ。
例えば、産業用途では、VR（仮想現実）やAR（拡張現実）、MR（混合現実）のメンテナンス作業への活用が進んでいる。航空機のメンテナンスにARを使えば、カメラで作業状況を撮影しながら、ヘッドマウント・ディスプレイにその映像を表示し、必要に応じて映像の一部にマニュアルを表示することが可能になる（図1）。MRを活用すれば、カメラで撮影した現実空間の中に3D（3次元）の物体を表示し、手などの動きでその物体を操作できるようになる。現実のものを使わずに、仮想的にバルブを回すといった整備作業のトレーニングが可能になるわけだ。
図1 AR（拡張現実）のイメージ
カメラが部品に
様々なアプリケーションにカメラ機能が搭載される。こうしたトレンドは、「カメラの部品化」を意味していると言えるだろう。部品化が進めば、より多様なメーカーがカメラ機能を搭載するようになるはずだ。
しかし、カメラ機能の組み込みはそう簡単ではない。本連載の1回目と2回目で指摘した通り、カメラ機能を組み込むには、ISP（イメージ・シグナル・プロセッサ）を使いこなすためにハードウエアとファームウエアの両面において、比較的高い知識が必要になるからだ（図2）。通常、ハードウエアに強い企業は組み込みファームウエアの開発で、組み込み開発に強い企業はハードウエア開発で苦戦するケースが多いようだ。
しかも、である。カメラが部品化して様々なメーカーが採用するようになれば、その中には、従来はエレクトロニクスとまったく関係のない分野で事業を展開していたメーカーが含まれることになるだろう。例えば、ヘルメットを製造していたメーカーがVR/AR/MR機能を搭載した製品の開発に取り組んだり、車載用ドアミラーを作っていたメーカーが鏡をカメラに置き換えたりするケースが出てくるはずだ。
こうしたメーカーは、ハードウエアとファームウエアに関する知識をあまり蓄積していないことが予想される。このためカメラ機能の組み込み作業が難航する可能性が高い。最悪の場合、開発が失敗に終わってしまうかもしれない。こうした事態は絶対に避けなければならないだろう。
しかし、カメラ機能の組み込みはそう簡単ではない。本連載の1回目と2回目で指摘した通り、カメラ機能を組み込むには、ISP（イメージ・シグナル・プロセッサ）を使いこなすためにハードウエアとファームウエアの両面において、比較的高い知識が必要になるからだ（図2）。通常、ハードウエアに強い企業は組み込みファームウエアの開発で、組み込み開発に強い企業はハードウエア開発で苦戦するケースが多いようだ。
図2 ISP（イメージ・シグナル・プロセッサ）「THP7312」
しかも、である。カメラが部品化して様々なメーカーが採用するようになれば、その中には、従来はエレクトロニクスとまったく関係のない分野で事業を展開していたメーカーが含まれることになるだろう。例えば、ヘルメットを製造していたメーカーがVR/AR/MR機能を搭載した製品の開発に取り組んだり、車載用ドアミラーを作っていたメーカーが鏡をカメラに置き換えたりするケースが出てくるはずだ。
こうしたメーカーは、ハードウエアとファームウエアに関する知識をあまり蓄積していないことが予想される。このためカメラ機能の組み込み作業が難航する可能性が高い。最悪の場合、開発が失敗に終わってしまうかもしれない。こうした事態は絶対に避けなければならないだろう。
バリューチェーン構築へ
そこでザインエレクトロニクスは、カメラ機能の組み込み開発をサポートする体制の構築を急いでいる。基本的には、サポートが必要なメーカーの状況に応じて多面的なサポートを用意する考えだ。サポート体制は大別すると3つある。
1つ目は、本連載の1回目と2回目に紹介したカメラ開発キット「CDK」を提供することである。CDKは、ソフトウエア開発キット（SDK）と評価ボード（EVB）、GUIツール（3T：THine Tuning Tool）で構成されている（図3）。
これを使えば、GUIツールでパラメータなどを設定するだけでファームウエアを自動生成できる(図4)。つまり、ノンプログラミング、もしくはコーディングレスでファームウエアを開発できる。ファームウエア開発のしきい値をグッと下げることが可能になるわけだ。
ただし、CDKを使いこなすにも、カメラや画像処理の知識は必要になる。しかもCDKを使っても、プログラミング作業が求められる場合がある。具体的には、使用するイメージ・センサーごとにレジスタ設定が異なるため、それに対応したドライバ・ソフトウエアを開発するケースである。外部からドライバ・ソフトウエアを入手できなければ、自ら開発するしかほかに方法はない。
カメラや画像処理に関する知識に自信がない。もしくはプログラミングの経験が乏しい。そういったユーザーに対して用意しているサポート体制が、2つ目のWebカンファレンスである。ザインエレクトロニクスでは、ハードウエア開発とソフトウエア開発のそれぞれに向けたデータベースを構築済みである。これを利用して、ユーザーが開発作業で陥りそうなポイントを開発初期段階で推定し、それに応じて適切なサポート情報を提供する。大半のケースは、1回の短時間のWebカンファレンスで問題を解決できる。
しかし場合によっては、Webカンファレンスでも問題を解決できないケースもある。その際に出番となるのが3つ目のサポート体制である。それはカメラ機能の組み込みを専門とするシステム・インテグレータをユーザーに紹介することである。
ザインエレクトロニクスは、ISPやCDKを数多くのユーザーに提供しているため様々なユーザーとの接点がある。その中には、カメラ機能のシステム・インテグレータも含まれている。さらに、イメージ・センサー向けドライバ・ソフトウエアについても、ザインエレクトロニクスがライブラリとしてライセンスしているものもあるが、ユーザーが過去に開発したドライバ・ソフトウエアをライセンスしてくれるケースもある。ザインエレクトロニクスは、こうしたシステム・インテグレータやドライバ・ソフトウエアの開発メーカーと、カメラ機能の組み込みで悩むユーザーの間を取り持つ役割を果たしていく考えだ。
実際に、ザインエレクトロニクスのカメラ技術チームでプロダクトマネージャを務める桑山克己は、同社が開催するセミナーの懇親会で、ユーザーやサポーターに対して「日本発のカメラ開発コミュニティーをCDKで構築できれば楽しいと思いませんか？」と投げ掛けている。そのために今後も、カメラ機能の組み込みに関する「バリューチェーンの構築」に総力を挙げて取り組んでいく。
1つ目は、本連載の1回目と2回目に紹介したカメラ開発キット「CDK」を提供することである。CDKは、ソフトウエア開発キット（SDK）と評価ボード（EVB）、GUIツール（3T：THine Tuning Tool）で構成されている（図3）。
図3 カメラ開発キット（CDK）に含まれる評価ボード（EVB）
これを使えば、GUIツールでパラメータなどを設定するだけでファームウエアを自動生成できる(図4)。つまり、ノンプログラミング、もしくはコーディングレスでファームウエアを開発できる。ファームウエア開発のしきい値をグッと下げることが可能になるわけだ。
パソコンに表示したGUIツール「3T」に必要なパラメータなどを入力するだけで、ファームウエアを記述できる。
図4 「3T（THine Tuning Tool）」を利用している様子
ただし、CDKを使いこなすにも、カメラや画像処理の知識は必要になる。しかもCDKを使っても、プログラミング作業が求められる場合がある。具体的には、使用するイメージ・センサーごとにレジスタ設定が異なるため、それに対応したドライバ・ソフトウエアを開発するケースである。外部からドライバ・ソフトウエアを入手できなければ、自ら開発するしかほかに方法はない。
カメラや画像処理に関する知識に自信がない。もしくはプログラミングの経験が乏しい。そういったユーザーに対して用意しているサポート体制が、2つ目のWebカンファレンスである。ザインエレクトロニクスでは、ハードウエア開発とソフトウエア開発のそれぞれに向けたデータベースを構築済みである。これを利用して、ユーザーが開発作業で陥りそうなポイントを開発初期段階で推定し、それに応じて適切なサポート情報を提供する。大半のケースは、1回の短時間のWebカンファレンスで問題を解決できる。
しかし場合によっては、Webカンファレンスでも問題を解決できないケースもある。その際に出番となるのが3つ目のサポート体制である。それはカメラ機能の組み込みを専門とするシステム・インテグレータをユーザーに紹介することである。
ザインエレクトロニクスは、ISPやCDKを数多くのユーザーに提供しているため様々なユーザーとの接点がある。その中には、カメラ機能のシステム・インテグレータも含まれている。さらに、イメージ・センサー向けドライバ・ソフトウエアについても、ザインエレクトロニクスがライブラリとしてライセンスしているものもあるが、ユーザーが過去に開発したドライバ・ソフトウエアをライセンスしてくれるケースもある。ザインエレクトロニクスは、こうしたシステム・インテグレータやドライバ・ソフトウエアの開発メーカーと、カメラ機能の組み込みで悩むユーザーの間を取り持つ役割を果たしていく考えだ。
実際に、ザインエレクトロニクスのカメラ技術チームでプロダクトマネージャを務める桑山克己は、同社が開催するセミナーの懇親会で、ユーザーやサポーターに対して「日本発のカメラ開発コミュニティーをCDKで構築できれば楽しいと思いませんか？」と投げ掛けている。そのために今後も、カメラ機能の組み込みに関する「バリューチェーンの構築」に総力を挙げて取り組んでいく。
ユーザーの声を集約して次世代品開発へ
ザインエレクトロニクスは前述の通り、ISPとCDKの提供を通じて、カメラ機能を必要とする多くのユーザーとの関係を構築している。このため、様々なユーザーの「声」をいち早く聞くことができる立場にある。
当然ながら、カメラ機能に対する要求はアプリケーションで違う。一眼レフ・カメラであれば、美しく撮影することが最も重要である。しかし、医療用途であれば、美しく撮影するよりも、疾病を確実に発見することが優先される。正常な部分と病理がある部分の差異を鮮明に撮影しなければならない。さらに、XR端末や産業用途などでもそれぞれ必要とする最優先事項が存在する。しかも、そうした最優先事項は日々変化・進化して行く。
つまり、カメラ機能の組み込み作業は、従来のモバイル機器と自動車の2軸から、現在は医療用途や産業用途、XR端末などが加わることでN軸に変化したことになる。従って、その変化に合わせて、ISPやCDKを最適化していくことが求められる。
すでにザインエレクトロニクスでは、様々なユーザーの声を吸収して、次世代のISPやCDKの開発に生かす活動に着手している。現時点において、CDKについては医療・デジタルヘルスやXR端末などの用途に向けて、新しい機能を開発しているところだ。一部の機能については、先行ユーザーでの試行が始まっている。
一方でISPについても次世代品の検討に着手している。次世代品では、現行品の4K（3840×2160画素）にとどまらず、8K（7680× 4320画素）などの高解像度に対してより高いフレームレートで対応することに加えて、新しいアプリケーションに向けた新機能を搭載する考えである。例えば、ダイナミック・レンジを拡張する機能や、オート・フォーカス（AF）とオート・エクスポージャー（AE）、オート・ホワイト・バランス（AWB）から成る「3A」の機能・性能の増強などである。
さらに、こうした新機能の一部を専用ハードウエアで実現すれば、ISPのチップ寸法や消費電力を抑えつつ、後段のエッジ・コンピュータのCNNやクラウド・コンピュータのGPUでのソフトウエア処理を格段に楽にし、性能を高めることができる。現在、このハードとソフトの役割分担をパートナー企業と検討中である。
当然ながら、カメラ機能に対する要求はアプリケーションで違う。一眼レフ・カメラであれば、美しく撮影することが最も重要である。しかし、医療用途であれば、美しく撮影するよりも、疾病を確実に発見することが優先される。正常な部分と病理がある部分の差異を鮮明に撮影しなければならない。さらに、XR端末や産業用途などでもそれぞれ必要とする最優先事項が存在する。しかも、そうした最優先事項は日々変化・進化して行く。
つまり、カメラ機能の組み込み作業は、従来のモバイル機器と自動車の2軸から、現在は医療用途や産業用途、XR端末などが加わることでN軸に変化したことになる。従って、その変化に合わせて、ISPやCDKを最適化していくことが求められる。
すでにザインエレクトロニクスでは、様々なユーザーの声を吸収して、次世代のISPやCDKの開発に生かす活動に着手している。現時点において、CDKについては医療・デジタルヘルスやXR端末などの用途に向けて、新しい機能を開発しているところだ。一部の機能については、先行ユーザーでの試行が始まっている。
一方でISPについても次世代品の検討に着手している。次世代品では、現行品の4K（3840×2160画素）にとどまらず、8K（7680× 4320画素）などの高解像度に対してより高いフレームレートで対応することに加えて、新しいアプリケーションに向けた新機能を搭載する考えである。例えば、ダイナミック・レンジを拡張する機能や、オート・フォーカス（AF）とオート・エクスポージャー（AE）、オート・ホワイト・バランス（AWB）から成る「3A」の機能・性能の増強などである。
さらに、こうした新機能の一部を専用ハードウエアで実現すれば、ISPのチップ寸法や消費電力を抑えつつ、後段のエッジ・コンピュータのCNNやクラウド・コンピュータのGPUでのソフトウエア処理を格段に楽にし、性能を高めることができる。現在、このハードとソフトの役割分担をパートナー企業と検討中である。