THine ARTICLES

ザインエレクトロニクスに集う社員の熱い思いを語るコラムやストーリー、
また、これまでお客様にご評価いただいたソリューションの一部をご紹介します。

開発コラム NEW

CDKを中心とした新しいカメラ・システム開発環境、カメラとAIの融合が引き起こす新課題を解決へ

監視カメラやスマートグラス、電子ミラー、見守りカメラ、バイオメトリクス、スマートフォン、車載カメラ、マシンビジョン・・・。今後、カメラ・モジュールを搭載した電子機器(カメラ・システム)は急増し、AI(人工知能)機能を使ったさまざまな画像認識が実行される。しかし、この「カメラ+AI」の融合が新しい課題を引き起こすことになりそうだ。その課題とは、カメラ・モジュールの個体差が原因で、AIによる画像認識が正しく実行できなくなるというもの。ザインエレクトロニクスは、この新しい課題を解決するために、カメラ開発キット(CDK)を中心としたカメラ開発環境の構築に着手した。

「カメラだらけの世界」がやってくる

もう間もなく、我々が住む地球には、「カメラだらけの世界」が到来するだろう(図1)。
図1 「カメラだらけの世界」がやってくる

街には、無数の監視カメラや防犯カメラが設置され、建物の入り口にはバイオメトリクス用カメラが取り付けられる。街ゆく人たちはスマートグラスを掛ける。住宅の中には電子ミラー(スマートミラー)や高齢者の見守りカメラなどが置かれ、自動車には車載カメラが複数台搭載されて搭乗者と歩行者の安全を確保する。さらに、工場では数多くのマシンビジョン用カメラが利用され、人間の手を介することなくさまざまなモノが生産されるようになる。

こうしたカメラには、漏れなくAI(人工知能)技術が利用される。カメラで撮影した画像や映像に対して、AIを使ってさまざまな認識処理を実行する必要があるからだ。例えば、監視カメラであれば歩行者認識、バイオメトリクス用カメラであれば虹彩や指紋、静脈などに対する生体認証、見守りカメラであれば転倒認識や落下認識、車載カメラであれば歩行者や危険物の認識などを実行するようになる。

カメラ+AIが招く新たな課題

「カメラ+AI」。実は、この2つの機能の融合によって、新しい課題が顕在化しようとしている。それは、カメラ・モジュールの個体差が大きいため、AIが常に正しい判断を下せなくなるという課題だ。大きな個体差が存在すれば、それぞれのカメラ・モジュールで撮影した画像の色味や明るさ、SN比などが違ってくる。その結果、同じ被写体を撮影したとしてもカメラによって得られる画像に違いが生じるため、AIによる画像認識の結果が変化してしまう事態を招く。

もちろん、カメラ・モジュールに限らず、電子部品にはある程度の個体差が存在する。しかし、ザインエレクトロニクスによると、「カメラ・モジュールの個体差は、半導体チップや受動部品などとは比べものにならないくらいに大きい」という。

なぜなのか。理由は大きく分けて2つある。1つは、一般的な半導体や受動部品とは異なり、カメラ・モジュールの特性の定義や、その特性の測定方法が業界で統一されていないことだ。もう1つは、メーカごとで製造環境がバラバラであることである。クリーン・ルームで製造するメーカもあれば、人の出入りが多い工場の一室で製造するメーカもある。

カメラ・モジュールは、イメージ・センサやレンズ、アクチュエータ(ボイス・コイル・モータ)などで構成されている(図2)。
図2 カメラ・システム開発のエコシステム

こうした構成要素の中で、個体差が特に大きいのがレンズである。さらに、カメラ・モジュールの組み立て工程における製造ばらつきも個体差を拡大させる大きな要因の1つになっている。

課題解決に乗り出す

カメラ・モジュールの個体差問題。この課題を簡単に解決できなければ、「カメラだらけの世界」の実現が大きく遅れてしまうかもしれない。そうした事態は、カメラ・モジュール・メーカだけでなく、それに向けた画像処理プロセッサ(ISP:Image Signal Processor)を製品化する半導体メーカにとっても好ましくないと言えるだろう。そこでISPを製品化する半導体メーカであるザインエレクトロニクスは、新課題への対策に乗り出した。

もちろん、個体差を吸収する方法は従来から存在している。それは2つのステップを踏む方法だ。第1ステップでは、カメラ・モジュールのレンズ・シェーディングやホワイト・バランスなどの特性を測定して、それを個体差情報としてカメラ・モジュール内の不揮発性メモリに格納する。そして第2ステップで、この個体差情報を元に、ISPに集積した専用回路とファームウエアを使って補正処理を実行する。この方法を実践すれば、カメラ・モジュールの個体差を吸収することができる。

しかし、この方法を忠実に実行することは、決して簡単ではない。理由は大きく2つある。1つは、個体差情報の補正に向けたISP用ファームウエアを開発しなければならないことだ。当然ながら、この開発には、カメラやソフトウエアなどに関する専門的な知識が不可欠になる。もう1つは、アプリケーションごとに補正をかける特性(項目)が異なる上に、微妙な「画質の味付け」が求められることである。

微妙な画質の味付けとは、例えば、バイオメトリクス用途の場合では、虹彩(アイリス)認証や静脈認証などを行うために、可視光と赤外光を組み合わせて認証しやすい画質の画像を撮影する必要がある。デジタル・スチル・カメラやスマートフォンなどでは、人間が見て美しく感じる「画づくり」が求められる。しかも、画づくりは、カメラ・メーカごとに独自の感性がある。これを反映させなければならない。

「CDK+CAO」を提供へ

そこでザインエレクトロニクスが用意したのは、カメラ開発キット(CDK:Camera Development Kit)と CAO(Camera Application Option)を組み合わせた課題解決のソリューションである。これをカメラ・モジュール搭載のカメラ・システムを開発するメーカや、そうしたメーカから開発作業を請け負う独立系設計企業(IDH:Independent Design House)に対して、ISPと共に提供する。

CDKは、ソフトウエア開発キット(SDK)、GUIベースのパラメータ設定ツール群(3T:THine Tuning Tools)、評価ボード(EVB)からなるものだ。これを使えば、プログラミング作業をほぼ実行することなくファームウエアを開発できる。前述の個体差情報の補正に向けたISPファームウエアについては、CDKを使えばその大部分を開発できる(図3、図4)。
図3 人と機械にやさしい画像を創る
 
図4  AIにやさしい画像を創る

一方のCAOは、CDKと組み合わせて使用する、いわば「アドイン・ツール」という位置付けである。これを使うことで、さまざまなアプリケーションに合わせた個体差情報の補正や、微妙な画質の味付けを実現できるようになる。

しかし前述の通り、アプリケーションごとに「CDK+CAO」に対する要求は異なる。CDKはすべてのユーザが共通して使えるツールだが、CAOはユーザごとに求められる仕様が異なる。ザインエレクトロニクスがユーザ企業ごとに最適なCAOを一つ一つ開発するのは現実的ではない。

カメラ・システムのLinuxを目指す

そこでザインエレクトロニクスが検討しているが、IDHを巻き込んで、カメラ・システム開発に関するエコシステムを構築することである。

IDHは、電子機器メーカからカメラ・システムの開発を請け負う。その際に、ザインエレクトロニクスのISPとCDKを採用したとすれば、その開発過程でアプリケーションに応じたCAOを開発することになる。IDHは、カメラ・システム開発に長けた企業だ。そのIDHが開発したCAOは、完成度が極めて高いと予想される。

そこでザインエレクトロニクスはIDHと話し合い、開発したCAOをCDKのアドイン・ツールとしてほかの電子機器メーカやIDHに対して提供することを了解してもらう。つまり、CAOを横展開するわけだ。

その一方でザインエレクトロニクスは、CAOの提供を了承してもらったIDHを「ISPゴールド・パートナ(IGP)」に認定する。IGPに認定してもらったIDHのメリットは大きい。電子機器メーカに対して技術力の高さを宣伝できるようになり、新しい顧客を獲得できる可能性が高まるからだ。こうして「ウィン-ウィン」の関係を作り、カメラ・システム開発に関するエコシステムを構築して行く。

ザインエレクトロニクスが目指すのは、CDKを「カメラ・システムのLinux(リナックス)」に仕立て上げることだ。Linuxは、コンピュータ用OS(オペレーティング・システム)であり、当初はオープンオースとして無償配布された。しかしその後、さまざまな企業がLinux上で動作するアプリケーション・ソフトウエアやアドイン・ツールなどを開発し、無償もしくは有償で提供している。こうしてLinuxのエコシステムは現在、極めて大きな規模に成長しており、パソコンやサーバー、スーパーコンピュータ、組み込み機器などで幅広く採用されている。

CDKについても、ユーザ企業を広げると同時に、IDHと協力してCAOのポートフォリオを拡大していく。こうしてユーザ企業やIDHなどから構成されるエコシステムの大規模化を図る考えだ。将来、ザインエレクトロニクスは、ISPを提供する半導体メーカであると同時に、完成したエコシステムの「事務局」を務めるようになるだろう。

カメラの開発環境を変える

CDKでカメラ・システムにおけるLinuxの座。これはザインエレクトロニクスにとって非常に大きな目標だが、最終的にはもっと大きな目標の達成を思い描いている。それは、「日本におけるカメラの開発環境を変える」という目標だ。

かつて日本は、カメラ強国だった。エンジニア能力でも、商品企画力でも、ビジネスでも世界の先頭を走っていた。しかし、現在はどうだろうか。いずれも世界トップとは簡単に言えない状況にある。特にビジネスについては、米国や中国の企業に対し苦境に立たされていると言っても過言ではない。

現在の状況を招いた最大の理由についてザインエレクトロニクスでは、「カメラ・エンジニアリソースが不足している点にある」と分析している。実際にザインエレクトロニクスがISPビジネスを通じて感じ取った点は、中国や米国のカメラ・システム開発企業は多くのカメラ・エンジニアを抱えており、日本に比べて短い期間で開発が完了することである。例えば、米国では、社員数が10~20人と小規模なカメラ・システム開発企業でも、優秀なカメラ・エンジニアがCTO(最高技術責任者)などを務めており、若い優秀なエンジニアを手塩にかけて育てている。

一方で日本のカメラ・システム開発企業のエンジニアリソースが急速に減少しているように感じられる。能力の高いベテラン・エンジニアはいまだに健在だが、若手のエンジニアの大量アサインが困難になり、技術伝承の機会が減っているようだ。ベテラン・エンジニアが職場を去る前に日本の高いカメラ技術の伝承が必要だ。

そこでザインエレクトロニクスは、CDKを広く普及させることで、日本におけるカメラ・システムの開発環境を変革し、再びカメラ強国の座をつかむことを目論む。CDK+CAOを活用すれば、カメラ・システムの敷居がグッと低くなり、数多くの開発を経験できるようになるだろう。その結果、カメラ・エンジニアが育つ環境を用意できるようになる。「多くの若手エンジニアがカメラ・システムを設計できるようになってほしい。当社はそれをサポートしていく。日本の優れたカメラ技術を伝承したエンジニアが増えることを期待している」という。


224__RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY__

  • __RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY__
__RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY__

一覧に戻る

関連製品

ISP (Image Signal Processor) THP7312
16M画素センサー対応画像処理プロセッサ

ISP (Image Signal Processor)
ISP THPシリーズ

商品のご購入はこちら

関連アプリケーション

カメラ(Camera)
カメラ(Camera)