THine Value 以CDK为中心的新型摄像机・系统开发环境、摄像机与AI的融合引发的新课题将得到解决
2019.05.21
- 文章
- 专栏
监控摄像机与SmartGlass、电子镜、看护摄像机、生物量学、智能手机、车载摄像机、机器视觉・・・今后，装载摄像机模组的电子设备（摄像机系统）会继续急速增加，使用AI（人工智能）功能的各种图像识别系统也会盛行。但这一「摄像机＋AI」的融合将引发新的课题。这一课题即为摄像机模组的个体差会导致AI的图像识别无法正确运行。THine Electronics为解决这一新课题，已着手构建以摄像机开发工具（CDK）为中心的摄像机开发环境。
「到处都是摄像机的世界」正在到来
马上我们居住的地球即将迎来「到处都是摄像机的世界」（图1）。
大街上设置这无数的监控摄像机和防盗摄像机；建筑物的入口有生物量学用摄像机。路上的行人会使用SmartGlass。住宅中会设置有电子镜（智能镜）和面向老年人的看护摄像机等，汽车上会装载数台车载摄像机来确保步行者的安全。此外，工厂也会使用到很多机器视觉用摄像机，使各种不同产品的生产不需要经由人手。
这些摄像机上全部会运用到AI（人工智能）技术。需要使用AI对摄像机拍摄的图像和影像进行各种识别处理。例如监控摄像机的话，需要进行步行者识别；生物量学用摄像机的话需要对虹膜或指纹、静脉等进行生物识别；看护摄像机的话需要进行摔倒识别和跌落识别；车载摄像机的话需对步行者和危险物进行识别。
图1 「到处都是摄像机的世界」正在到来
大街上设置这无数的监控摄像机和防盗摄像机；建筑物的入口有生物量学用摄像机。路上的行人会使用SmartGlass。住宅中会设置有电子镜（智能镜）和面向老年人的看护摄像机等，汽车上会装载数台车载摄像机来确保步行者的安全。此外，工厂也会使用到很多机器视觉用摄像机，使各种不同产品的生产不需要经由人手。
这些摄像机上全部会运用到AI（人工智能）技术。需要使用AI对摄像机拍摄的图像和影像进行各种识别处理。例如监控摄像机的话，需要进行步行者识别；生物量学用摄像机的话需要对虹膜或指纹、静脉等进行生物识别；看护摄像机的话需要进行摔倒识别和跌落识别；车载摄像机的话需对步行者和危险物进行识别。
摄像机＋AI将引发新的课题
「摄像机＋AI」。事实上，随着这两个功能的融合，一些新课题正越来越显现出来。这就是由于摄像机模组的个体差较大，AI会无法进行正确的判断。只要存在较大的个体差，各种设想及模组拍摄的图像的色调、明暗度、SN比等都会不同。结果就会使即使被拍摄体相同，拍出来的图像也会不同，会导致AI的图像识别结果出现变化。
当然，不仅是摄像机模组，电子部件总是会有不同程度的个体差。但THine Electronics认为：「摄像机模组的个体差会是半导体芯片和被动部件等的个体差无法比较的大」。
为什么呢？理由大致分为2点。第一，与一般的半导体和被动部件不同，摄像机模组的特性和定义、包括其特性的测量方法在业界中都没有统一。另一点就是不同厂家的制造环境也参差不齐。有的厂家在无尘室中制造；但有些厂家在人流出入量很多的工厂的某个房间内制造。
摄像机模组是有图像传感器、镜片、传动装置（音圈马达）等构成（图2）。
这些构成要素中，个体差特别大的是镜片。此外，组装摄像机模组的工序中制造方的参差不齐也会扩大个体差。
当然，不仅是摄像机模组，电子部件总是会有不同程度的个体差。但THine Electronics认为：「摄像机模组的个体差会是半导体芯片和被动部件等的个体差无法比较的大」。
为什么呢？理由大致分为2点。第一，与一般的半导体和被动部件不同，摄像机模组的特性和定义、包括其特性的测量方法在业界中都没有统一。另一点就是不同厂家的制造环境也参差不齐。有的厂家在无尘室中制造；但有些厂家在人流出入量很多的工厂的某个房间内制造。
摄像机模组是有图像传感器、镜片、传动装置（音圈马达）等构成（图2）。
图2 摄像机系统开发的自主生态系统
这些构成要素中，个体差特别大的是镜片。此外，组装摄像机模组的工序中制造方的参差不齐也会扩大个体差。
积极解决课题
不能简单地解决摄像机模组的个体差问题，「到处都是摄像机的世界」的到来可能会大幅延迟。这一事态无论是摄像机模组制造商还是为这些厂商制造图像处理器（ISP：Image Signal Processor）的半导体厂商来说都不是好现象。因此作为制造ISP产品的半导体厂商，THine Electronics已开始积极探讨解决新课题的对策。
当然，吸收消化个体差的方法早已有之。这种方法分为两个步骤：第1步、测量摄像机模组的镜片阴影等特性，将其作为个体差信息收容在摄像机模组内的非挥发性存储器里。第1步、根据这一个体差信息，使用ISP内集聚的专用电路与固件进行修正处理。通过实践这种方法，就能吸收消化摄像机模组的个体差。
但要严格实行这一方法并不容易。主要有两大理由：第一、需要开发供修正个体差信息的ISP用的固件。这种开发当然需要摄像机和软件等的专业知识。另一点、根据用途不同，需要修正的特性（项目）也会不同，就会要求有少许「画质上的讲究」。
所谓画质上的讲究，举例来说：生物量学用途上为了进行虹膜（光圈）和静脉等认证，需要组合可视光与红外线来拍摄容易认证的画质的图像；数字静物摄影机或智能手机等则需要看起来更美观的「画质制作」。而且关于画质，不同摄像机厂商也会有各自独到的见解。这些都需要反映进去。
当然，吸收消化个体差的方法早已有之。这种方法分为两个步骤：第1步、测量摄像机模组的镜片阴影等特性，将其作为个体差信息收容在摄像机模组内的非挥发性存储器里。第1步、根据这一个体差信息，使用ISP内集聚的专用电路与固件进行修正处理。通过实践这种方法，就能吸收消化摄像机模组的个体差。
但要严格实行这一方法并不容易。主要有两大理由：第一、需要开发供修正个体差信息的ISP用的固件。这种开发当然需要摄像机和软件等的专业知识。另一点、根据用途不同，需要修正的特性（项目）也会不同，就会要求有少许「画质上的讲究」。
所谓画质上的讲究，举例来说：生物量学用途上为了进行虹膜（光圈）和静脉等认证，需要组合可视光与红外线来拍摄容易认证的画质的图像；数字静物摄影机或智能手机等则需要看起来更美观的「画质制作」。而且关于画质，不同摄像机厂商也会有各自独到的见解。这些都需要反映进去。
「CDK＋CAO」的提供
为此，THine Elctronics准备的是摄像机开发工具（CDK：Camera Development Kit）与 CAO（Camera Application Option）组合的解决课题的方案。我们将与ISP一起，为开发装载有摄像机模组的摄像机系统的厂商以及承包这些厂商的开发工程的独立设计企业（IDH：Independent Design House）提供这一方案。
CDK是由软件开发工具（SDK）、GUI bass的参数设定工具群（3T：THine Tuning Tools）与评价板（EVB）构成。使用CDK就能几乎不需要进行编程就能开发固件。上述为修正个体差信息的ISP固件，只要使用CDK就能开发大部分（图3、图4）。
另一方面CAO是与CDK组合使用的一种所谓「追加工具」。通过使用它就可以实现适用于各种不同用途的个体差信息修正和在画质上的微妙讲究。
但也正如前面所说，根据用途不同对「CDK＋CAO」的要求也不同。CDK是所有用户都能共同使用的工具；但CAO会根据用户要求不同具有不同规格。要THine Elctronics为所有用户企业一个个开发最合适的CAO也并不现实。
CDK是由软件开发工具（SDK）、GUI bass的参数设定工具群（3T：THine Tuning Tools）与评价板（EVB）构成。使用CDK就能几乎不需要进行编程就能开发固件。上述为修正个体差信息的ISP固件，只要使用CDK就能开发大部分（图3、图4）。
图3 创造出更适合人与设备的图像
图4 创造出更适合AI的图像
另一方面CAO是与CDK组合使用的一种所谓「追加工具」。通过使用它就可以实现适用于各种不同用途的个体差信息修正和在画质上的微妙讲究。
但也正如前面所说，根据用途不同对「CDK＋CAO」的要求也不同。CDK是所有用户都能共同使用的工具；但CAO会根据用户要求不同具有不同规格。要THine Elctronics为所有用户企业一个个开发最合适的CAO也并不现实。
目标是摄像机系统的Linux
因此THine Elctronics在探讨的是通过联合IDH，来构建摄像机系统开发的自主生态系统。
IDH会承包电子设备厂商的摄像机系统开发。这时，使用THine Elctronics的ISP与CDK，在开发过程中也就能根据所需用途完成CAO的开发。IDH是擅长开发摄像机系统的企业。因此IDH开发的CAO其完成度也会很高。
THine Elctronics将与IDH商讨，让其理解并同意将开发的CAO作为CDK的追加工具提供给其他的电子设备厂商与IDH。也就是将CAO横向展开。
另一方面THine Elctronics会将同意提供CAO的IDH认证为「ISP Gold・Partner（IGP）」。被认证为IGP对IDH来说会有很大好处。即可向各电子设备厂商宣传其高度的技术能力；也会有更大可能性获得新的客户。通过这样一种「双赢」的关系，就能构建出摄像机开发上的自主生态系统。
THine Elctronics的目标是将CDK打造成「摄像机系统的Linux系统」。Linux是一种计算机用OS（操作系统），最早是一种无偿供应的Open OS。但之后，各企业纷纷开发出在Linux上操作的不同用途的软件和追加工具等，并无偿或有偿提供。因此Linux的自主生态系统现在得到了非常大规模地成长，在计算机和服务器、超级计算机、组装设备等用途上被广泛使用。
对于CDK我们也将在扩张用户企业的同时，与IDH合作，扩大CAO的配比组合。目的是通过这些用户企业和IDH构建起自主的生态系统。将来，THine Elctronics作为提供ISP的半导体厂商的同时，也将成为完成后的自主生态系统的「事务局」。
IDH会承包电子设备厂商的摄像机系统开发。这时，使用THine Elctronics的ISP与CDK，在开发过程中也就能根据所需用途完成CAO的开发。IDH是擅长开发摄像机系统的企业。因此IDH开发的CAO其完成度也会很高。
THine Elctronics将与IDH商讨，让其理解并同意将开发的CAO作为CDK的追加工具提供给其他的电子设备厂商与IDH。也就是将CAO横向展开。
另一方面THine Elctronics会将同意提供CAO的IDH认证为「ISP Gold・Partner（IGP）」。被认证为IGP对IDH来说会有很大好处。即可向各电子设备厂商宣传其高度的技术能力；也会有更大可能性获得新的客户。通过这样一种「双赢」的关系，就能构建出摄像机开发上的自主生态系统。
THine Elctronics的目标是将CDK打造成「摄像机系统的Linux系统」。Linux是一种计算机用OS（操作系统），最早是一种无偿供应的Open OS。但之后，各企业纷纷开发出在Linux上操作的不同用途的软件和追加工具等，并无偿或有偿提供。因此Linux的自主生态系统现在得到了非常大规模地成长，在计算机和服务器、超级计算机、组装设备等用途上被广泛使用。
对于CDK我们也将在扩张用户企业的同时，与IDH合作，扩大CAO的配比组合。目的是通过这些用户企业和IDH构建起自主的生态系统。将来，THine Elctronics作为提供ISP的半导体厂商的同时，也将成为完成后的自主生态系统的「事务局」。
改变摄像机的开发环境
通过CDK在摄像机系统中得到Linux的地位--这对THine Elctronics来说是一个非常大的目标；但我们描绘的最终目标却更大。那就是「改变日本的摄像机开发环境」。
曾经日本是摄像机强国。无论是工程师能力、商品企划能力、还是商业上都走在了世界的前沿。但是，现在怎么样呢？现在任何一方面都不能轻易说成是世界第一。尤其是在商业上，面对美国与中国的企业甚至可以说都处于困境。
导致这一现状的最大理由，THine Elctronics认为是「摄像机工程师资源不足」。实际上THine Elctronics通过ISP业务感受到的一点是，中国和美国的摄像机系统开发企业拥有很多的摄像机工程师；与日本相比，可在短时间内完成开发。例如在美国，即使是员工人数为10-20人的小规模的摄像机系统开发企业，优秀的摄像机工程师也能担任CTO(最高技术负责人)等，亲手培养年轻优秀的工程师。
而感觉日本的摄像机系统开发企业的工程师资源在急速减少。能力强的资深工程师到现在还健在，但年轻工程师的大量分配变得困难，技术传承的机会在减少。在资深工程师离开其职位前，必须传承日本高超的摄像机技术。
因此，THine Elctronics希望能通过广泛普及CDK，变革日本摄像机系统的开发环境，争取再次抓住摄像机强国的宝座。活用CDK+CAO，摄像机系统的门槛就会一下子降低，可以使大家更多地积累开发经验。其结果，可以制造摄像机工程师能得到更多成长的环境。「希望更多的年轻工程师能设计摄像机系统。本公司将对其进行支持。我们期待着有越来越多的工程师继承日本优秀的摄像机技术」。
曾经日本是摄像机强国。无论是工程师能力、商品企划能力、还是商业上都走在了世界的前沿。但是，现在怎么样呢？现在任何一方面都不能轻易说成是世界第一。尤其是在商业上，面对美国与中国的企业甚至可以说都处于困境。
导致这一现状的最大理由，THine Elctronics认为是「摄像机工程师资源不足」。实际上THine Elctronics通过ISP业务感受到的一点是，中国和美国的摄像机系统开发企业拥有很多的摄像机工程师；与日本相比，可在短时间内完成开发。例如在美国，即使是员工人数为10-20人的小规模的摄像机系统开发企业，优秀的摄像机工程师也能担任CTO(最高技术负责人)等，亲手培养年轻优秀的工程师。
而感觉日本的摄像机系统开发企业的工程师资源在急速减少。能力强的资深工程师到现在还健在，但年轻工程师的大量分配变得困难，技术传承的机会在减少。在资深工程师离开其职位前，必须传承日本高超的摄像机技术。
因此，THine Elctronics希望能通过广泛普及CDK，变革日本摄像机系统的开发环境，争取再次抓住摄像机强国的宝座。活用CDK+CAO，摄像机系统的门槛就会一下子降低，可以使大家更多地积累开发经验。其结果，可以制造摄像机工程师能得到更多成长的环境。「希望更多的年轻工程师能设计摄像机系统。本公司将对其进行支持。我们期待着有越来越多的工程师继承日本优秀的摄像机技术」。