THine Value 카메라의 임베디드를 다면적으로 지원하는 체제를 구축, 「카메라SWARM/IoT」의 실현을 향해서 대폭 전진
2019.02.12
- 기사
- 칼럼
스마트폰과 디지털 카메라 뿐만 아니라, 카메라 기능을 탑재한 어플리케이션이 급증하고 있다. 자동차는 물론, XR 단말기와 산업기기, 의료기기, 교육기기, 드론 등에서 카메라 기능을 탑재한 제품이 증가하고 있다. 그러나 본 연재의 1회와 2회에서 지적한 대로, 카메라 기능을 어플리케이션에 임베디드 하는 작업은 보통 수단으로는 안 된다. 하드웨어와 펌웨어 양쪽의 지식이 필요하기 때문이다. 자인 일렉트로닉스가 제공하는 카메라 개발 키트 「CDK」를 사용하면, 펌웨어 개발의 노력을 대폭으로 경감할 수 있다. 그러나, 카메라 기능의 임베디드에 첫도전하는 설계자에게는 그것만으로는 불충분할 것이다. 그래서 자인에서는 새로운 임베디드에 착수했다. 카메라 기능의 임베디드 작업을 다면적으로 지원하는 체제를 구축하는 것과 동시에 새로운 어플리케이션에 최적화한 ISP(Image Signal Processor)와 CDK의 개발이다.
센서 네트워크 구축을 진행하다
「SWARM(스웜)이라는 말을 아십니까? 이것은, 수많은 센서를 세상에 설치하여 각각이 무선으로 데이터를 주고 받는 네트워크를 가리키는 기술 용어이다. 벌레나 새의 대군과 같이 센서가 존재하는 점에서 SWARM(무리)이라고 이름 붙여졌다. 이름을 붙인 사람은 미국 캘리포니아 대학 버클리교 교수인 Jan Rabaey(잰 라베이)이다.
SWARM은 센서 네트워크라고 하는 말과 거의 같은 뜻이다. 현재, 센서 네트워크는 IoT(Internet of Things)라는 말로 대체되어 전 세계에서 사용되는 기술 용어가 되고 있다.
센서 네트워크의 구축은 전세계에서 진행되고 있으며, SWARM, 다시 말하면 IoT는 서서히 실현되고 있다. 한편, 카메라에 대해서도 각종 센서에 못지 않게 다양한 장소에 많이 설치되기 시작했다. 감시 카메라나 스마트폰, 자동차, XR 단말기, 산업기기, 의료기기, 교육기기, 드론 등에 카메라 기능을 탑재하는 것도 이제 당연해졌다고 할 수 있다. 언젠가는 「카메라 SWARM」이나 「카메라 IoT」도 현실화될 것이다.
SWARM은 센서 네트워크라고 하는 말과 거의 같은 뜻이다. 현재, 센서 네트워크는 IoT(Internet of Things)라는 말로 대체되어 전 세계에서 사용되는 기술 용어가 되고 있다.
센서 네트워크의 구축은 전세계에서 진행되고 있으며, SWARM, 다시 말하면 IoT는 서서히 실현되고 있다. 한편, 카메라에 대해서도 각종 센서에 못지 않게 다양한 장소에 많이 설치되기 시작했다. 감시 카메라나 스마트폰, 자동차, XR 단말기, 산업기기, 의료기기, 교육기기, 드론 등에 카메라 기능을 탑재하는 것도 이제 당연해졌다고 할 수 있다. 언젠가는 「카메라 SWARM」이나 「카메라 IoT」도 현실화될 것이다.
카메라 활약의 장이 넓어지다
카메라 기능을 탑재하는 어플리케이션은 급속히 늘어나고 있다. 전에는 모바일 기기와 자동차가 「2대 사용자」였지만, 최근에 이 상황은 확실히 변화하고 있다. XR 단말기나 산업기기, 의료기기, 교육기기 등에서도 카메라 기능의 탑재가 한꺼번에 진행되고 있기 때문이다.
예를 들면, 산업 용도에서는 VR(가상현실)이나 AR(증강현실), MR(혼합현실)의 유지 작업으로의 활용이 진행되고 있다. 항공기의 점검에 AR을 사용하면, 카메라로 작업 상황을 촬영하면서 헤드 마운티드 디스플레이에 그 영상을 표시하고 필요에 따라 영상의 일부에 매뉴얼을 표시할 수 있게 된다(Fig.1). MR을 활용하면, 카메라로 촬영한 현실 공간 안에 3D(3차원) 물체를 표시하고, 손 등의 움직임으로 그 물체를 조작할 수 있게 된다. 현실의 것을 사용하지 않고, 가상적으로 밸브를 돌린다고 하는 정비 작업의 트레이닝이 가능하게 되는 것이다.
예를 들면, 산업 용도에서는 VR(가상현실)이나 AR(증강현실), MR(혼합현실)의 유지 작업으로의 활용이 진행되고 있다. 항공기의 점검에 AR을 사용하면, 카메라로 작업 상황을 촬영하면서 헤드 마운티드 디스플레이에 그 영상을 표시하고 필요에 따라 영상의 일부에 매뉴얼을 표시할 수 있게 된다(Fig.1). MR을 활용하면, 카메라로 촬영한 현실 공간 안에 3D(3차원) 물체를 표시하고, 손 등의 움직임으로 그 물체를 조작할 수 있게 된다. 현실의 것을 사용하지 않고, 가상적으로 밸브를 돌린다고 하는 정비 작업의 트레이닝이 가능하게 되는 것이다.
Fig.1 AR(증강현실) 이미지
카메라가 부품으로
다양한 어플리케이션에 카메라 기능이 탑재된다. 이런 트렌드는 「카메라의 부품화」를 뜻한다고 할 수 있다. 부품화가 진행되면, 보다 다양한 업체가 카메라 기능을 탑재하게 될 것이다.
그러나, 카메라 기능의 내장은 그렇게 간단하지 않다. 본 연재의 1회와 2회에서 지적한대로 카메라 기능을 내장하는 것은 ISP(Image Signal Processor)를 잘 다루기 위하여 하드웨어와 펌웨어 모두 비교적 높은 지식이 필요하기 때문이다(Fig.2). 통상, 하드웨어에 강한 기업은 임베디드 펌웨어의 개발에서, 펌웨어의 개발에 강한 기업은 하드웨어 개발에서 고전하는 경우가 많은 것 같다.
게다가 카메라를 부품화해서 여러 업체가 채용하게 되면, 그 중에는 기존에 일렉트로닉스와 전혀 관계 없는 분야에서 사업을 전개했던 업체가 포함될 것이다. 예를 들면, 헬멧을 제조하고 있던 업체가 VR/AR/MR 기능을 탑재한 제품의 개발에 몰두하거나 차량용 도어 미러를 만들고 있던 업체가 거울을 카메라에 옮겨 두거나 하는 케이스가 나올 것이다.
이런 업체는 하드웨어와 펌웨어에 관한 지식을 별로 축적하고 있지 않을 것으로 예상된다. 이 때문에 카메라 기능의 내장 작업이 난항을 겪을 가능성이 높다. 최악의 경우, 개발이 실패로 끝나버릴지도 모른다. 이런 사태는 절대 피해야 할 것이다.
그러나, 카메라 기능의 내장은 그렇게 간단하지 않다. 본 연재의 1회와 2회에서 지적한대로 카메라 기능을 내장하는 것은 ISP(Image Signal Processor)를 잘 다루기 위하여 하드웨어와 펌웨어 모두 비교적 높은 지식이 필요하기 때문이다(Fig.2). 통상, 하드웨어에 강한 기업은 임베디드 펌웨어의 개발에서, 펌웨어의 개발에 강한 기업은 하드웨어 개발에서 고전하는 경우가 많은 것 같다.
Fig.2 ISP(Image Signal Processor)「THP7312」
게다가 카메라를 부품화해서 여러 업체가 채용하게 되면, 그 중에는 기존에 일렉트로닉스와 전혀 관계 없는 분야에서 사업을 전개했던 업체가 포함될 것이다. 예를 들면, 헬멧을 제조하고 있던 업체가 VR/AR/MR 기능을 탑재한 제품의 개발에 몰두하거나 차량용 도어 미러를 만들고 있던 업체가 거울을 카메라에 옮겨 두거나 하는 케이스가 나올 것이다.
이런 업체는 하드웨어와 펌웨어에 관한 지식을 별로 축적하고 있지 않을 것으로 예상된다. 이 때문에 카메라 기능의 내장 작업이 난항을 겪을 가능성이 높다. 최악의 경우, 개발이 실패로 끝나버릴지도 모른다. 이런 사태는 절대 피해야 할 것이다.
밸류 체인 구축
그래서 자인 일렉트로닉스는, 카메라 기능의 임베디드 개발을 지원하는 체제의 구축을 서두르고 있다. 기본적으로는, 지원이 필요한 업체의 상황에 따라 다면적인 지원을 준비할 생각이다. 지원 체제는 크게 나누면 3가지이다.
1번째는, 본 연재의 1회와 2회에 소개한 카메라 개발 키트 「CDK」를 제공하는 것이다. CDK는 소프트웨어 개발 키트(SDK)와 평가보드(EVB), GUI 툴(3T: THine Tuning Tool)로 구성되어 있다(Fig.3).
이것을 사용하면 GUI 툴에서 파라미터 등을 설정하는 것만으로 펌웨어를 자동 생성할 수 있다(Fig.4). 즉, 논프로그래밍 혹은 코딩레스로 펌웨어를 개발할 수 있다. 펌웨어 개발의 문턱 값을 내릴 수 있게 된다.
다만, CDK를 잘 다루어도 카메라나 영상처리의 지식은 필요하다. 게다가 CDK를 사용해도 프로그래밍 작업이 요구되는 경우가 있다. 구체적으로는 사용하는 이미지 센서마다 레지스터 설정이 다르기 때문에, 거기에 대응한 드라이버 소프트웨어를 개발하는 경우이다. 외부에서 드라이버 소프트웨어를 입수할 수 없으면, 스스로 개발할 수 밖에 없다.
카메라나 영상처리에 관한 지식에 자신이 없다. 혹은 프로그래밍 경험이 부족하다. 그러한 사용자에게 준비하고 있는 지원 체제가 2번째의 Web 회의이다. 자인 일렉트로닉스에서는 하드웨어 개발과 소프트웨어 개발을 위한 각각의 데이터베이스를 구축했다. 이것을 이용하여 사용자가 개발 작업에서 빠지기 쉬운 포인트를 개발 초기 단계에서 추정하고, 그에 따른 적절한 지원 정보를 제공한다. 대부분의 경우는 한번의 짧은 Web 회의로 문제를 해결할 수 있다.
하지만 경우에 따라서는, Web 회의로도 문제를 해결할 수 없는 경우도 있다. 그때 차례가 되는게 3번째의 지원 체제이다. 그것은 카메라 기능의 내장을 전문을 하는 시스템 인테그레이터를 사용자에게 소개하는 것이다.
자인 일렉트로닉스는 ISP나 CDK를 수많은 사용자들에게 제공하고 있기 때문에 다양한 사용자들과의 접점이 있다. 그 중에는 카메라 기능의 시스템 인테그레이터도 포함되어 있다. 게다가, 이미지 센서용 드라이버 소프트웨어에 대해서도 자인 일렉트로닉스가 라이브러리로서 라이센스하고 있는 것도 있지만, 사용자가 과거에 개발한 드라이버 소프트웨어를 라이센스 해주는 경우도 있다. 자인 일렉트로닉스는 이러한 시스템 인테그레이터나 드라이버 소프트웨어의 개발 업체와 카메라 기능의 내장으로 고심하는 사용자 사이를 주선하는 역할을 할 생각이다.
실제로 자인 일렉트로닉스의 카메라 기술팀에서 프로덕트 매니저를 맡고 있는 쿠와야마 카츠키는, 동사가 개최하는 세미나의 친목회에서 사용자가 서포트에 대하여 「일본의 카메라 개발 커뮤니티를 CDK로 구축할 수 있으면 재미있을 거라고 생각하지 않습니까?」라고 제기하고 있다. 그 때문에, 앞으로도 카메라 기능의 내장에 관하여 「밸류 체인 구축」에 총력을 기울여 전념할 것이다.
1번째는, 본 연재의 1회와 2회에 소개한 카메라 개발 키트 「CDK」를 제공하는 것이다. CDK는 소프트웨어 개발 키트(SDK)와 평가보드(EVB), GUI 툴(3T: THine Tuning Tool)로 구성되어 있다(Fig.3).
Fig.3 카메라 개발 키트(CDK)에 포함된 평가보드(EVB)
이것을 사용하면 GUI 툴에서 파라미터 등을 설정하는 것만으로 펌웨어를 자동 생성할 수 있다(Fig.4). 즉, 논프로그래밍 혹은 코딩레스로 펌웨어를 개발할 수 있다. 펌웨어 개발의 문턱 값을 내릴 수 있게 된다.
컴퓨터에 표시한 GUI 툴 「3T」에 필요한 파라미터 등을 입력하는 것만으로 펌웨어를 기술할 수 있다.
Fig.4 「3T(THine Tuning Tool)」을 이용하는 모습
다만, CDK를 잘 다루어도 카메라나 영상처리의 지식은 필요하다. 게다가 CDK를 사용해도 프로그래밍 작업이 요구되는 경우가 있다. 구체적으로는 사용하는 이미지 센서마다 레지스터 설정이 다르기 때문에, 거기에 대응한 드라이버 소프트웨어를 개발하는 경우이다. 외부에서 드라이버 소프트웨어를 입수할 수 없으면, 스스로 개발할 수 밖에 없다.
카메라나 영상처리에 관한 지식에 자신이 없다. 혹은 프로그래밍 경험이 부족하다. 그러한 사용자에게 준비하고 있는 지원 체제가 2번째의 Web 회의이다. 자인 일렉트로닉스에서는 하드웨어 개발과 소프트웨어 개발을 위한 각각의 데이터베이스를 구축했다. 이것을 이용하여 사용자가 개발 작업에서 빠지기 쉬운 포인트를 개발 초기 단계에서 추정하고, 그에 따른 적절한 지원 정보를 제공한다. 대부분의 경우는 한번의 짧은 Web 회의로 문제를 해결할 수 있다.
하지만 경우에 따라서는, Web 회의로도 문제를 해결할 수 없는 경우도 있다. 그때 차례가 되는게 3번째의 지원 체제이다. 그것은 카메라 기능의 내장을 전문을 하는 시스템 인테그레이터를 사용자에게 소개하는 것이다.
자인 일렉트로닉스는 ISP나 CDK를 수많은 사용자들에게 제공하고 있기 때문에 다양한 사용자들과의 접점이 있다. 그 중에는 카메라 기능의 시스템 인테그레이터도 포함되어 있다. 게다가, 이미지 센서용 드라이버 소프트웨어에 대해서도 자인 일렉트로닉스가 라이브러리로서 라이센스하고 있는 것도 있지만, 사용자가 과거에 개발한 드라이버 소프트웨어를 라이센스 해주는 경우도 있다. 자인 일렉트로닉스는 이러한 시스템 인테그레이터나 드라이버 소프트웨어의 개발 업체와 카메라 기능의 내장으로 고심하는 사용자 사이를 주선하는 역할을 할 생각이다.
실제로 자인 일렉트로닉스의 카메라 기술팀에서 프로덕트 매니저를 맡고 있는 쿠와야마 카츠키는, 동사가 개최하는 세미나의 친목회에서 사용자가 서포트에 대하여 「일본의 카메라 개발 커뮤니티를 CDK로 구축할 수 있으면 재미있을 거라고 생각하지 않습니까?」라고 제기하고 있다. 그 때문에, 앞으로도 카메라 기능의 내장에 관하여 「밸류 체인 구축」에 총력을 기울여 전념할 것이다.
사용자들의 소리를 집약하여 차세대 제품 개발
자인 일렉트로닉스는 전술한 대로, ISP와 CDK의 제공을 통해서 카메라 기능을 필요로 하는 많은 사용자들과의 관계를 구축하고 있다. 이 때문에, 다양한 사용자들의 「소리」를 재빨리 들을 수 있는 입장에 있다.
당연히 카메라 기능에 대한 요구는 어플리케이션에 따라 다르다. SLR 카메라라면 아름답게 촬영하는 것이 가장 중요하다. 그러나, 의료용도라면 아름답게 촬영하기 보다 질병을 확실하게 발견하는 것이 우선시된다. 정상적인 부분과 병리가 있는 부분의 차이를 선명하게 촬영해야 한다. 나아가 XR 단말기나 산업용도 등에서도 각각 필요로 하는 최우선 사항이 존재한다. 게다가, 그러한 최우선 사항은 날마다 변화・진화해 간다.
즉, 카메라 기능의 내장 작업은 기존의 모바일 기기와 자동차의 2축에서 현재는 의료용도나 산업용도, XR 단말기 등이 더해져 N축으로 변화한 것이다. 그 결과, 그 변화에 맞추어 ISP나 CDK의 최적화가 요구된다.
이미 자인 일렉트로닉스는 다양한 사용자들의 소리를 흡수하여, 차세대 ISP나 CDK의 개발에 적용하는 활동에 착수하고 있다. 현시점에서 CDK에 대해서는 의료・디지털 헬스나 XR 단말기 등의 용도로 새로운 기능을 개발하고 있는 중이다. 일부의 기능에 대해서는 선행 유저의 시행이 진행 중이다.
한편으로 ISP에 대해서도 차세대품의 검토에 착수하고 있다. 차세대품에서는 현행품인 4K(3840×2160 화소)에 그치지 않고, 8K(7680×4320 화소) 등의 고해상도에 대해서도 더 높은 프레임 레이트에 대응하고 새로운 어플리케이션을 위한 새 기능을 탑재할 생각이다. 예를 들면, 다이나믹 레인지를 확장하는 기능이나, 오토 포커스(AF)와 오토 익스포저(AE), 오토 화이트 밸런스(AWB)로 구성된 「3A」의 기능・성능의 증강 등이다.
또한, 이런 신기능의 일부를 전용 하드웨어로 실현하면, ISP의 칩 사이즈나 소비전력을 억제하면서 후단 엣지 컴퓨터의 CNN이나 클라우드 컴퓨터의 GPU에서의 소프트웨어 처리를 현격히 쉽게하고, 성능을 높일 수 있다. 현재, 이 하드와 소프트의 역할 분담을 파트너 기업과 검토중이다.
당연히 카메라 기능에 대한 요구는 어플리케이션에 따라 다르다. SLR 카메라라면 아름답게 촬영하는 것이 가장 중요하다. 그러나, 의료용도라면 아름답게 촬영하기 보다 질병을 확실하게 발견하는 것이 우선시된다. 정상적인 부분과 병리가 있는 부분의 차이를 선명하게 촬영해야 한다. 나아가 XR 단말기나 산업용도 등에서도 각각 필요로 하는 최우선 사항이 존재한다. 게다가, 그러한 최우선 사항은 날마다 변화・진화해 간다.
즉, 카메라 기능의 내장 작업은 기존의 모바일 기기와 자동차의 2축에서 현재는 의료용도나 산업용도, XR 단말기 등이 더해져 N축으로 변화한 것이다. 그 결과, 그 변화에 맞추어 ISP나 CDK의 최적화가 요구된다.
이미 자인 일렉트로닉스는 다양한 사용자들의 소리를 흡수하여, 차세대 ISP나 CDK의 개발에 적용하는 활동에 착수하고 있다. 현시점에서 CDK에 대해서는 의료・디지털 헬스나 XR 단말기 등의 용도로 새로운 기능을 개발하고 있는 중이다. 일부의 기능에 대해서는 선행 유저의 시행이 진행 중이다.
한편으로 ISP에 대해서도 차세대품의 검토에 착수하고 있다. 차세대품에서는 현행품인 4K(3840×2160 화소)에 그치지 않고, 8K(7680×4320 화소) 등의 고해상도에 대해서도 더 높은 프레임 레이트에 대응하고 새로운 어플리케이션을 위한 새 기능을 탑재할 생각이다. 예를 들면, 다이나믹 레인지를 확장하는 기능이나, 오토 포커스(AF)와 오토 익스포저(AE), 오토 화이트 밸런스(AWB)로 구성된 「3A」의 기능・성능의 증강 등이다.
또한, 이런 신기능의 일부를 전용 하드웨어로 실현하면, ISP의 칩 사이즈나 소비전력을 억제하면서 후단 엣지 컴퓨터의 CNN이나 클라우드 컴퓨터의 GPU에서의 소프트웨어 처리를 현격히 쉽게하고, 성능을 높일 수 있다. 현재, 이 하드와 소프트의 역할 분담을 파트너 기업과 검토중이다.