THine Value 可输出4K、30fps的非压缩影像信号、且面向i.MX 8M Family的Linux相机套件开始发售

2021.11.04
  • 文章
  • 专栏
 装载相机的电子设备正在迅速增加。比如智能手机和平板终端、工业设备、医疗设备、汽车、安防设备、教育设备、无人机等,不胜枚举。但虽然都统称为「相机」,但不同电子设备对规格和性能、以及成本都有不同的要求。有时一些电子设备会优先考量成本而不是画质;有时也有只重视开发难易度的电子设备。当然也有些电子设备需要即时显示高画质影像甚至需要极高的画质。
  为了顺应装载相机的电子设备的快速增长,THine Electronics已于2021 年 6 月发售了符合通过USB接口传输影像信号的标准--「UVC(USB Video Class)」标准的4K分辨率相机套件「THSCU101」;也就是所谓的「UVC 相机」。它无需准备专用驱动程序,只需要连接到电脑,就能将相机拍摄的影像显示到显示器上。用销售部产品经理桑山克己的话来说:“它能够轻松实现装载相机的电子设备的PoC(概念验证),因此受到了很多电子设备制造商的好评。”
  但刚才也说了,相机的用途在迅速地扩大,对于相机的要求也越来越多样化。因此,单靠这台UVC相机,基本上是无法应对所有电子设备对相机的要求的;需要一些其他的对策。

MIPI CSI-2输出

 THine Electronics的下一步动作是什么呢?我们在2021 年 8 月发售了可以30帧/秒(fps)的速度输出4K分辨率的无压缩影像信号的相机开发套件「THSCM101」(图1)。它的定位是「比 UVC 相机更适合专业用户的产品」(桑山)。我们将其称为「Linux 相机」。
 
图1  发售的Linux相机

 UVC相机有「只要有一台电脑就可以随时使用」这样一个优势:但它也有一个问题—那就是与电脑连接的USB接口的带宽。UVC相机的影像信号输出接口采用USB 3.2规格,数据传输速度高达5Gbit/秒或10Gbit/秒,但实际有效的数据传输速度仅为1/3左右;甚至连带宽也不能保证。因此,UVC相机无法传输未压缩的4K、30fps 影像信号,而是将它压缩为JPEG格式并发送。但一般的电脑CPU无法即时执行JPEG的解码处理,会出现丢帧的现象。因此,对即时显示高画质影像有强烈要求的一些应用上就很难使用UVC相机。例如工厂、仓库和商店的监控摄像头、维护用工业AR相机(增强现实)、医疗手术用摄像机以及教育用摄像机等。
而Linux相机改变了影像信号的输出格式。具体来说就是MIPI CSI-2信号的格式。相机套件的主板上装载了CMOS图像传感器和图像处理器(ISP),通过这一图像处理器将未压缩的YUV422信号作为MIPI CSI-2信号输出到主板外部(图2)。
 
图2  Linux相机主板

 MIPI CSI-2信号采用4 lane配置,每条lane的数据传输速度高达1.2 Gbit/秒;也就是说4条lane的总数据传输速度能达到4.8 Gbit/秒。这超过了4K、30 fps 影像信号传输所需的4.75 Gbit/秒,因此可以直接传输未压缩的影响信号(表 1)。
 
表1  对应的影像分辨率

可轻松安装驱动程序

  MIPI CSI-2信号可以传输到装载来自荷兰NXP半导体公司的64 bit处理器(SoC)「i.MX 8M / i.MX 8M Mini」的单板电脑上;OS系统则可使用Linux OS。这就是我们将其命名为Linux相机的原因。
  这里需要注意的是驱动程序软件。使用UVC相机无需准备专用的驱动程序,用户只需用USB线将UVC相机连接到电脑即可。但Linux相机就必须准备专用驱动程序并将它安装到Soc上,否则就无法传输影像信号。但这样一来实装作业就会变得复杂和困难,那么使用Linux相机的用户就会比较局限了。
  因此,THine Electronics准备了一种简化在SoC 上安装专用驱动程序的方法。首先,我们开发了专用的驱动软件源代码供用户使用。此外,关于将此源代码与Linux OS合并、编写并在SoC上实装,“我们准备了一份入门指南。按照上面步骤进行操作,任何人都能轻松地将专用驱动程序软件实装到SoC上。” (桑山)

自动对焦采用PDAF

 这次发售的相机开发套件由装载了CMOS图像传感器和图像处理器(ISP) 的主板和mini-SAS线组成。CMOS图像传感器与UVC相机一样,采用了Sony Semiconductor Solutions 的IMX258。像素约为1300万(4224像素×3192像素),最高帧速30帧/秒。ISP 使用的是THine Electronics 的 THP7312-P,它的MIPI CSI-2信号传输速度高达每条lane 1.2 G bit/秒;而UVC相机中使用的ISP「THP7312」的每条lane最大速度为1.0 G bit/秒。主板的外部尺寸仅有35 mm x 55 mm x 1.2 mm。Linux相机与单板电脑间可连接的距离约为数十公分。
  自动对焦的功能则除了一般的对比法外,还采用了相位差检测方法(PDAF:Phase Detection Auto Focus)。与对比法相比,PDAF可以在更短的时间内对焦,因此可获得更高画质的影像。“可以传输非压缩的4K、30fps的影像并采用PDAF的高画质相机开发套件能产品化,可以说是业界首创。”(桑山)
  拍摄的影像/图像的亮度和对比度则可以使用Linux OS准备的相机用指令「V4L2 (Video for Linux ver.2) 」来调整。至于镜头阴影、去除马赛克、色调映射等详细的画质定制,还可以使用THine Electronics提供的ISP相机开发套件(CDK)来完成。此外,它还装载了调整相机模组内置的CMOS图像传感器的个体差异的功能。一般来说,相机模组的CMOS图像传感器和镜头的特性总会有些差异,镜头的色调、亮度、阴影度等都会各有不同。因此,这次我们对相机镜头模组的特性进行了测量,并将根据得到的结果求出的校正系数写入到相机镜头模组内置的EEPROM中。当系统启动时,ISP会读取这些数据并对输出的影像/图像信号进行校正,来控制相机镜头模组的个体差异。

扩展能对应的单板电脑

 这次发售的相机开发套件(Linux相机)已经开始在美国Digi-Key Electronics的网站上销售。价格约为28,000日元。<购买网址
 THine Electronics计划在未来扩展可接收MIPI CSI-2信号传输的单板电脑类型。目前,我们正在规划的有装载NXP Semiconductors的64 bit处理器「i.MX 8M Nano / i.MX 8M Plus」的单板电脑和美国NVIDIA的单板电脑「Jetson」等等。