THine Value CDK중심의 새로운 카메라 개발환경, 카메라와 AI융합으로 인한 새로운 과제를 ISP로 해결한다
2019.05.21
- 기사
- 칼럼
감시 카메라나 스마트 글라스, 전자미러, 모니터링 카메라, 바이오 메트릭스, 스마트폰, 차량용 카메라, 머신비전・・・. 앞으로, 카메라 모듈을 탑재한 전자기기(카메라 시스템)는 급증하고, AI(인공지능) 기능을 이용한 다양한 영상인식이 실행된다. 그러나, 이 「카메라＋AI」의 융합이 새로운 과제를 일으킬 것 같다. 그 과제란, 카메라 모듈의 단품별 차이가 원인으로, AI에 의한 영상인식을 올바르게 실행할 수 없게 되는 것. 자인 일렉트로닉스는 이 새로운 과제를 해결하기 위해서, 카메라 개발 키트(CDK)를 중심으로 한 카메라 개발 환경 구축에 착수했다.
「카메라로 가득한 세계」가 다가온다
이제 곧, 우리가 사는 지구에는 「카메라로 가득한 세계」가 도래할 것이다(그림1).
거리에는 무수한 감시 카메라나 방범 카메라가 설치되고, 건물 입구에는 바이오 메트릭스 카메라가 설치된다. 행인들은 스마트 글라스를 쓴다. 주택 안에는 전자미러(스마트 미러)나 고령자의 모니터링 카메라 등을 놓고, 자동차에는 차량용 카메라가 여러대 탑재되어 탑승자와 보행자의 안전을 확보한다. 게다가, 공장에서는 수많은 머신비전용 카메라가 이용되어 인간의 손을 거치지 않고 다양한 물건을 생산하게 된다.
이런 카메라에는 빠짐없이 AI(인공지능) 기술이 이용된다. 카메라로 촬영한 영상에 대하여, AI를 사용하여 다양한 인식처리를 실행할 필요가 있기 때문이다. 예를 들어, 감시 카메라라면 보행자 인식, 바이오 메트릭스용 카메라라면 홍채나 지문, 정맥 등에 대한 생체인증, 모니터링 카메라라면 전도인식이나 낙하인식, 차량용 카메라라면 보행자나 위험물의 인식 등을 실행하게 된다.
그림1 「카메라로 가득한 세계」가 다가온다
거리에는 무수한 감시 카메라나 방범 카메라가 설치되고, 건물 입구에는 바이오 메트릭스 카메라가 설치된다. 행인들은 스마트 글라스를 쓴다. 주택 안에는 전자미러(스마트 미러)나 고령자의 모니터링 카메라 등을 놓고, 자동차에는 차량용 카메라가 여러대 탑재되어 탑승자와 보행자의 안전을 확보한다. 게다가, 공장에서는 수많은 머신비전용 카메라가 이용되어 인간의 손을 거치지 않고 다양한 물건을 생산하게 된다.
이런 카메라에는 빠짐없이 AI(인공지능) 기술이 이용된다. 카메라로 촬영한 영상에 대하여, AI를 사용하여 다양한 인식처리를 실행할 필요가 있기 때문이다. 예를 들어, 감시 카메라라면 보행자 인식, 바이오 메트릭스용 카메라라면 홍채나 지문, 정맥 등에 대한 생체인증, 모니터링 카메라라면 전도인식이나 낙하인식, 차량용 카메라라면 보행자나 위험물의 인식 등을 실행하게 된다.
카메라 ＋AI가 초래하는 새로운 과제를 ISP로 해결
「카메라＋AI」. 실제, 이 2가지 기능의 융합에 의해서, 새로운 과제를 표면화하려 한다. 그것은, 카메라 모듈의 단품별 차이가 크기 때문에, AI가 항상 올바른 판단을 내릴 수 없게 된다는 과제다. 큰 단품별 차이가 존재하면, 각각의 카메라 모듈로 촬영한 영상의 색감이나 밝기, SN비 등이 달라진다. 그 결과, 같은 피사체를 촬영했다고 해도 카메라에 따라서 얻을 수 있는 영상에 차이가 생기기 때문에, AI에 의한 영상 인식의 결과가 변화해 버리는 사태를 초래한다.
물론, 카메라 모듈에 한정하지 않고, 전자부품에서는 어느 정도의 단품별 차이가 존재한다. 그러나, 자인 일렉트로닉스에 의하면, 「카메라 모듈의 단품별 차이는 반도체 칩이나 수동부품 등과는 비교가 되지 않을 만큼 크다」고 한다.
왜일까. 이유는 크게 2가지다. 하나는, 일반적인 반도체나 수동부품과는 달리 카메라 모듈 특성의 정의나 그 특성의 측정방법이 업계에서 통일되어 있지 않다는 것이다. 또 하나는, 업체마다 제조환경이 제각각인 것이다. 크린룸에서 제조하는 업체도 있지만, 사람의 출입이 많은 공장의 한켠에서 제조하는 업체도 있다.
카메라 모듈은 이미지 센서나 렌즈, 액추에이터(보이스코일 모터) 등으로 구성되어 있다(그림2).
그림2 카메라 시스템 개발의 에코시스템
이런 구성 요소 중에서 단품별 차이가 특히 큰 것이 렌즈이다. 게다가 카메라 모듈의 조립 공정에서 제조 편차도 단품별 차이를 확대시키는 큰 요인 중 하나다.
물론, 카메라 모듈에 한정하지 않고, 전자부품에서는 어느 정도의 단품별 차이가 존재한다. 그러나, 자인 일렉트로닉스에 의하면, 「카메라 모듈의 단품별 차이는 반도체 칩이나 수동부품 등과는 비교가 되지 않을 만큼 크다」고 한다.
왜일까. 이유는 크게 2가지다. 하나는, 일반적인 반도체나 수동부품과는 달리 카메라 모듈 특성의 정의나 그 특성의 측정방법이 업계에서 통일되어 있지 않다는 것이다. 또 하나는, 업체마다 제조환경이 제각각인 것이다. 크린룸에서 제조하는 업체도 있지만, 사람의 출입이 많은 공장의 한켠에서 제조하는 업체도 있다.
카메라 모듈은 이미지 센서나 렌즈, 액추에이터(보이스코일 모터) 등으로 구성되어 있다(그림2).
그림2 카메라 시스템 개발의 에코시스템
이런 구성 요소 중에서 단품별 차이가 특히 큰 것이 렌즈이다. 게다가 카메라 모듈의 조립 공정에서 제조 편차도 단품별 차이를 확대시키는 큰 요인 중 하나다.
과제해결에 나서다
카메라 모듈의 단품별 차이 문제. 그 과제를 간단하게 해결하지 못하면, 「카메라로 가득찬 세계」의 실현이 크게 늦어질지도 모른다. 그러한 사태는 카메라 모듈 업체만이 아닌, 그것을 위한 영상처리(ISP：Image Signal Processor)를 제품화하는 반도체 업체에게 있어서도 바람직하지 않다고 말할 수 있을 것이다. 그래서 ISP를 제품화하는 반도체 업체인 자인 일렉트로닉스는 신과제의 대책에 나섰다.
물론, 단품별 차이를 흡수하는 방법은 종래부터 존재하고 있다. 그것은 2가지 단계를 거치는 방법이다. 1단계에서는, 카메라 모듈의 렌즈 쉐이딩이나 화이트 밸런스 등의 특성을 측정하고, 이를 단품별 차이 정보로서 카메라 모듈 내에 비휘발성 메모리에 저장한다. 그리고 2단계에서, 이 단품별 차이 정보를 토대로 ISP에 집적한 전용회로와 펌웨어를 사용하여 보정처리를 실행한다. 이 방법을 실천하면 카메라 모듈의 단품별 차이를 흡수할 수 있다.
그러나, 이 방법을 충실하게 실행하는 것은, 결코 간단하지 않다. 이유는 크게 2가지다. 하나는 단품별 차이 정보의 보정을 위한 ISP용 펌웨어를 개발해야 하는 것이다. 당연히, 이 개발에는 카메라나 소프트웨어 등에 관한 전문적인 지식이 불가결하게 된다. 다른 하나는, 어플리케이션 마다 보정을 하는 특성(항목)이 다른데, 미묘한 「화질의 조정」이 요구되는 것이다.
미묘한 화질의 조정이란, 예를 들면 바이오 메트릭스 용도의 경우에는, 홍채(iris)인증이나 정맥인증 등을 하기 위해서 가시광과 적외광을 조합해 인증하기 쉬운 화질의 영상을 촬영할 필요가 있다. 디지털 스틸 카메라나 스마트폰 등에서는 인간이 보고 아름답다고 느끼는 「이미지 만들기」가 요구된다. 게다가, 이미지 만들기는 카메라 업체마다 독자적인 감성이 있다. 이를 반영해야 한다.
물론, 단품별 차이를 흡수하는 방법은 종래부터 존재하고 있다. 그것은 2가지 단계를 거치는 방법이다. 1단계에서는, 카메라 모듈의 렌즈 쉐이딩이나 화이트 밸런스 등의 특성을 측정하고, 이를 단품별 차이 정보로서 카메라 모듈 내에 비휘발성 메모리에 저장한다. 그리고 2단계에서, 이 단품별 차이 정보를 토대로 ISP에 집적한 전용회로와 펌웨어를 사용하여 보정처리를 실행한다. 이 방법을 실천하면 카메라 모듈의 단품별 차이를 흡수할 수 있다.
그러나, 이 방법을 충실하게 실행하는 것은, 결코 간단하지 않다. 이유는 크게 2가지다. 하나는 단품별 차이 정보의 보정을 위한 ISP용 펌웨어를 개발해야 하는 것이다. 당연히, 이 개발에는 카메라나 소프트웨어 등에 관한 전문적인 지식이 불가결하게 된다. 다른 하나는, 어플리케이션 마다 보정을 하는 특성(항목)이 다른데, 미묘한 「화질의 조정」이 요구되는 것이다.
미묘한 화질의 조정이란, 예를 들면 바이오 메트릭스 용도의 경우에는, 홍채(iris)인증이나 정맥인증 등을 하기 위해서 가시광과 적외광을 조합해 인증하기 쉬운 화질의 영상을 촬영할 필요가 있다. 디지털 스틸 카메라나 스마트폰 등에서는 인간이 보고 아름답다고 느끼는 「이미지 만들기」가 요구된다. 게다가, 이미지 만들기는 카메라 업체마다 독자적인 감성이 있다. 이를 반영해야 한다.
「CDK＋CAO」를 제공
그래서 자인 일렉트로닉스가 준비한 것은, 카메라 개발 키트(CDK：Camera Development Kit)와 CAO(Camera Application Option)를 조합한 과제 해결의 솔루션이다. 이것을 카메라 모듈 탑재의 카메라 시스템을 개발하는 업체나 그런 업체로부터 개발 작업을 도급받는 돌립계 설계 기업(IDH：Independent Design House)에게 ISP와 함께 제공한다.
CDK는 소프트웨어 개발 키트(SDK), GUI 기반의 파라미터 설정 툴(3T：THine Tuning Tools), 평가보드(EVB)로 이루어진 것이다. 이것을 사용하면, 프로그래밍 작업을 거의 실행하지 않고 펌웨어를 개발할 수 있다. 전술한 단품별 차이 정보의 보정을 위한 ISP 펌웨어에 대해서는, CDK를 사용하면 그 대부분을 개발할 수 있다(그림3, 그림4).
그림3 사람과 기계에 친근한 영상을 만들다
그림4 AI에 친근한 영상을 만들다
CAO는 CDK와 조합하여 사용하는, 말하자면 「애드인 툴(Add-in Tool)」로 자리매김한다. 이것을 사용하는 것으로, 다양한 어플리케이션에 맞춘 단품별 차이 정보의 보정이나 미묘한 화질의 조정을 실현할 수 있게 된다.
그러나 전술한 대로, 어플리케이션마다 「CDK＋CAO」에 대한 요구는 다르다. CDK는 모든 고객이 공통적으로 사용할 수 있는 툴이지만, CAO는 고객마다 요구되는 사양이 다르다. 자인 일렉트로닉스가 고객사 마다 최적의 CAO를 하나씩 개발하는 것은 현실적이지 않다.
CDK는 소프트웨어 개발 키트(SDK), GUI 기반의 파라미터 설정 툴(3T：THine Tuning Tools), 평가보드(EVB)로 이루어진 것이다. 이것을 사용하면, 프로그래밍 작업을 거의 실행하지 않고 펌웨어를 개발할 수 있다. 전술한 단품별 차이 정보의 보정을 위한 ISP 펌웨어에 대해서는, CDK를 사용하면 그 대부분을 개발할 수 있다(그림3, 그림4).
그림3 사람과 기계에 친근한 영상을 만들다
그림4 AI에 친근한 영상을 만들다
CAO는 CDK와 조합하여 사용하는, 말하자면 「애드인 툴(Add-in Tool)」로 자리매김한다. 이것을 사용하는 것으로, 다양한 어플리케이션에 맞춘 단품별 차이 정보의 보정이나 미묘한 화질의 조정을 실현할 수 있게 된다.
그러나 전술한 대로, 어플리케이션마다 「CDK＋CAO」에 대한 요구는 다르다. CDK는 모든 고객이 공통적으로 사용할 수 있는 툴이지만, CAO는 고객마다 요구되는 사양이 다르다. 자인 일렉트로닉스가 고객사 마다 최적의 CAO를 하나씩 개발하는 것은 현실적이지 않다.
카메라 시스템의 Linux를 지향한다
그래서 자인 일렉트로닉스가 검토하고 있는, IDH를 끌여들여 카메라 시스템 개발에 관한 에코시스템을 구축하는 것이다.
IDH는, 전자기기 업체로부터 카메라 시스템의 개발을 도급 받는다. 그때, 자인 일렉트로닉스의 ISP와 CDK를 채용했다면, 그 개발 과정에서 어플리케이션에 따른 CAO를 개발하게 된다. IDH는 카메라 시스템 개발에 능한 기업이다. 이 IDH가 개발한 CAO는 완성도가 매우 높을 것으로 예상된다.
그래서 자인 일렉트로닉스는 IDH와 협의하여, 개발한 CAO를 CDK의 애드인 툴로서 다른 전자기기 업체나 IDH에 대하여 제공하는 것에 양해를 구한다. 즉, CAO를 전개하는 것이다.
한편 자인 일렉트로닉스는, CAO의 제공을 승낙받은 IDH를 「ISP Gold Partner(IGP)」로 인정한다. IGP로 인정받은 IDH의 장점은 크다. 전자기기 업체에 대하여 기술력의 높이를 선전할 수 있게 되어, 새로운 고객을 획득할 수 있는 가능성이 높아지기 때문이다. 이렇게 「Win-Win」 관계를 만들고, 카메라 시스템 개발에 관한 에코시스템을 구축해 간다.
자인 일렉트로닉스가 목표하는 것은, CDK를 「카메라 시스템의 Linux(리눅스)」로 만드는 것이다. Linux는, 컴퓨터용 OS(Operating System)로, 당초는 오픈 소스로서 무상배포되었다. 그러나 그 후에, 다양한 기업이 Linux 상에서 동작하는 어플리케이션 소프트웨어나 애드인 툴 등을 개발해, 무상 또는 유상으로 제공하고 있다. 이렇게 Linux의 에코시스템은 현재, 매우 큰 규모로 성장하고 있으며 PC나 서버, 슈퍼컴퓨터, 임베디드 기기 등에서 폭넓게 채용되고 있다.
CDK에 대해서도 고객사를 넓히는 것과 동시에 IDH와 협력해 CAO의 포트폴리오를 확대해 나간다. 이렇게 고객사나 IDH 등에서 구성된 에코시스템의 대규모화를 도모할 생각이다. 향후, 자인 일렉트로닉스는 ISP를 제공하는 반도체 업체인 동시에 완성한 에코시스템의 「사무국」을 맡게 될 것이다.
IDH는, 전자기기 업체로부터 카메라 시스템의 개발을 도급 받는다. 그때, 자인 일렉트로닉스의 ISP와 CDK를 채용했다면, 그 개발 과정에서 어플리케이션에 따른 CAO를 개발하게 된다. IDH는 카메라 시스템 개발에 능한 기업이다. 이 IDH가 개발한 CAO는 완성도가 매우 높을 것으로 예상된다.
그래서 자인 일렉트로닉스는 IDH와 협의하여, 개발한 CAO를 CDK의 애드인 툴로서 다른 전자기기 업체나 IDH에 대하여 제공하는 것에 양해를 구한다. 즉, CAO를 전개하는 것이다.
한편 자인 일렉트로닉스는, CAO의 제공을 승낙받은 IDH를 「ISP Gold Partner(IGP)」로 인정한다. IGP로 인정받은 IDH의 장점은 크다. 전자기기 업체에 대하여 기술력의 높이를 선전할 수 있게 되어, 새로운 고객을 획득할 수 있는 가능성이 높아지기 때문이다. 이렇게 「Win-Win」 관계를 만들고, 카메라 시스템 개발에 관한 에코시스템을 구축해 간다.
자인 일렉트로닉스가 목표하는 것은, CDK를 「카메라 시스템의 Linux(리눅스)」로 만드는 것이다. Linux는, 컴퓨터용 OS(Operating System)로, 당초는 오픈 소스로서 무상배포되었다. 그러나 그 후에, 다양한 기업이 Linux 상에서 동작하는 어플리케이션 소프트웨어나 애드인 툴 등을 개발해, 무상 또는 유상으로 제공하고 있다. 이렇게 Linux의 에코시스템은 현재, 매우 큰 규모로 성장하고 있으며 PC나 서버, 슈퍼컴퓨터, 임베디드 기기 등에서 폭넓게 채용되고 있다.
CDK에 대해서도 고객사를 넓히는 것과 동시에 IDH와 협력해 CAO의 포트폴리오를 확대해 나간다. 이렇게 고객사나 IDH 등에서 구성된 에코시스템의 대규모화를 도모할 생각이다. 향후, 자인 일렉트로닉스는 ISP를 제공하는 반도체 업체인 동시에 완성한 에코시스템의 「사무국」을 맡게 될 것이다.
카메라의 개발 환경을 바꾼다
CDK로 카메라 시스템에서 Linux의 자리. 이것은 자인 일렉트로닉스에게 있어서는 매우 큰 목표이지만, 최종적으로는 더 큰 목표 달성을 꿈꾸고 있다. 그것은 「일본의 카메라 개발 환경을 바꾼다」라는 목표다.
과거 일본은 카메라 강국이었다. 엔지니어 능력에서도, 상품 기획력에서도, 비지니스에서도 세계 선두를 달렸었다. 그러나 현재는 어떨까. 어느 것도 세계 톱이라고 간단히 말할 수 없는 상황이다. 특히 비지니스에 대해서는 미국이나 중국의 기업에 비해 곤경에 처해 있다고 해도 과언이 아니다.
현재의 상황을 부른 최대의 이유에 대해서, 자인 일렉트로닉스에서는 「카메라 엔지니어 리소스가 부족한 점에 있다」라고 분석하고 있다. 실제로 자인 일렉트로닉스가 ISP 비지니스를 통해 느낀 점은 중국이나 미국의 카메라 시스템 개발 기업은 많은 카메라 엔지니어를 보유하고 있으며, 일본에 비해 짧은 기간에 개발을 완료하는 것이다. 예를 들면, 미국에서는 사원수가 10～20명인 소규모 카메라 시스템 개발 기업에서도 우수한 카메라 엔지니어가 CTO(최고 기술 책임자) 등을 역임하고 있으며, 젊고 우수한 엔지니어를 돌보며 키우고 있다.
한편 일본의 카메라 시스템 개발 기업의 엔지니어 리소스가 급속히 감소하고 있는 것처럼 느껴진다. 능력이 높은 베테랑 엔지니어는 아직 건재하지만, 젊은 엔지니어의 대량 배치가 곤란해져 기술 전승의 기회가 줄고 있는 것 같다. 베테랑 엔지니어가 직장을 떠나기 전에 일본의 높은 카메라 기술의 전승이 필요하다.
그래서 자인 일렉트로닉스는, CDK를 넓게 보급시키는 것으로 일본의 카메라 시스템 개발 환경을 변혁하고, 다시 카메라 강국의 자리를 탈환하는 것을 목표로 한다. CDK＋CAO를 활용하면, 카메라 시스템의 문턱이 점점 낮아져 수많은 개발을 경험할 수 있게 될 것이다. 그 결과, 카메라 엔지니어를 키우는 환경을 준비할 수 있게 된다. 「많은 젊은 엔지니어가 카메라 시스템을 설계할 수 있게 되길 바란다. 당사는 그것을 지원해 나갈 것이다. 일본의 뛰어난 카메라 기술을 전승한 엔지니어가 늘어날 것을 기대하고 있다」라고 한다.
과거 일본은 카메라 강국이었다. 엔지니어 능력에서도, 상품 기획력에서도, 비지니스에서도 세계 선두를 달렸었다. 그러나 현재는 어떨까. 어느 것도 세계 톱이라고 간단히 말할 수 없는 상황이다. 특히 비지니스에 대해서는 미국이나 중국의 기업에 비해 곤경에 처해 있다고 해도 과언이 아니다.
현재의 상황을 부른 최대의 이유에 대해서, 자인 일렉트로닉스에서는 「카메라 엔지니어 리소스가 부족한 점에 있다」라고 분석하고 있다. 실제로 자인 일렉트로닉스가 ISP 비지니스를 통해 느낀 점은 중국이나 미국의 카메라 시스템 개발 기업은 많은 카메라 엔지니어를 보유하고 있으며, 일본에 비해 짧은 기간에 개발을 완료하는 것이다. 예를 들면, 미국에서는 사원수가 10～20명인 소규모 카메라 시스템 개발 기업에서도 우수한 카메라 엔지니어가 CTO(최고 기술 책임자) 등을 역임하고 있으며, 젊고 우수한 엔지니어를 돌보며 키우고 있다.
한편 일본의 카메라 시스템 개발 기업의 엔지니어 리소스가 급속히 감소하고 있는 것처럼 느껴진다. 능력이 높은 베테랑 엔지니어는 아직 건재하지만, 젊은 엔지니어의 대량 배치가 곤란해져 기술 전승의 기회가 줄고 있는 것 같다. 베테랑 엔지니어가 직장을 떠나기 전에 일본의 높은 카메라 기술의 전승이 필요하다.
그래서 자인 일렉트로닉스는, CDK를 넓게 보급시키는 것으로 일본의 카메라 시스템 개발 환경을 변혁하고, 다시 카메라 강국의 자리를 탈환하는 것을 목표로 한다. CDK＋CAO를 활용하면, 카메라 시스템의 문턱이 점점 낮아져 수많은 개발을 경험할 수 있게 될 것이다. 그 결과, 카메라 엔지니어를 키우는 환경을 준비할 수 있게 된다. 「많은 젊은 엔지니어가 카메라 시스템을 설계할 수 있게 되길 바란다. 당사는 그것을 지원해 나갈 것이다. 일본의 뛰어난 카메라 기술을 전승한 엔지니어가 늘어날 것을 기대하고 있다」라고 한다.