THine Value 变成「大型智能手机」的自动售货机，挑战拓展影像接口
2024.01.05
- NEW
- 文章
- 专栏
现今，各种电子设备正在转变为「大型智能手机」；这就是所谓的「智能手机化」。 当然智能手机化并不代表「可以随身携带这些电子设备用来打电话或使用SNS服务或玩游戏」；而是指这些电子设备內部的系统配置变得与智能手机非常相似。 具体来说它搭载了很丰富的功能：如显示器、相机、音频设备、各种传感器、LTE通信功能、Wi-Fi（无线LAN）功能、蓝牙功能和GNSS功能等，并且将这些功能通过很高演算处理能力的处理器来控制。
这类智能手机化的电子设备其典型例子就是銷售软饮料、含酒精饮料和糖果等产品的自动售货机。过去自动售货机只能投入纸钞或硬币来购买所需商品。 但近年来自动售货机装备了显示商品广告的显示器、用于二维码支付的摄像头、共享销售信息的LTE通信等功能；并且未来还将安装用于预防犯罪的监控摄像头以及用于掌握买家属性的边缘AI功能。这几乎就是从「按键式手机到智能手机」的变化。
智能手机化的电子设备可以通用实际用于智能手机中的大量半导体芯片和电子部件。因此可以说能使设计更简单，成本更低。但在某些情况下也会遇到新的设计问题。这是因为智能手机和自动售货机的外部尺寸完全不同。智能手机尺寸最多也就约160mm x 80mm x 9mm。因此用于传输显示器上显示的影像信号和相机拍摄的影像信号的接口长度可以非常短。即便是使用最多只能连接几十cm的MIPI D-PHY都没有问题。但自动售货机的尺寸非常大，最大高度为2m。所以需要在其内部传输影像信号，接口间长度可能会超过1.5m，甚至达到3m。使用MIPI D-PHY和LVDS通常受到距离限制，在设备的设计上需要花更多功夫。
这类智能手机化的电子设备其典型例子就是銷售软饮料、含酒精饮料和糖果等产品的自动售货机。过去自动售货机只能投入纸钞或硬币来购买所需商品。 但近年来自动售货机装备了显示商品广告的显示器、用于二维码支付的摄像头、共享销售信息的LTE通信等功能；并且未来还将安装用于预防犯罪的监控摄像头以及用于掌握买家属性的边缘AI功能。这几乎就是从「按键式手机到智能手机」的变化。
智能手机化的电子设备可以通用实际用于智能手机中的大量半导体芯片和电子部件。因此可以说能使设计更简单，成本更低。但在某些情况下也会遇到新的设计问题。这是因为智能手机和自动售货机的外部尺寸完全不同。智能手机尺寸最多也就约160mm x 80mm x 9mm。因此用于传输显示器上显示的影像信号和相机拍摄的影像信号的接口长度可以非常短。即便是使用最多只能连接几十cm的MIPI D-PHY都没有问题。但自动售货机的尺寸非常大，最大高度为2m。所以需要在其内部传输影像信号，接口间长度可能会超过1.5m，甚至达到3m。使用MIPI D-PHY和LVDS通常受到距离限制，在设备的设计上需要花更多功夫。
年轻工程师迎接挑战
「让我们实际试作一下智能手机化的自动售货机吧！」
2023年6月初，就职训练（On the Job Training）导师找到了于同年4月加入公司的宇野。宇野从产业技术高级专门学校毕业后，进入了丰桥技术科学大学，并在大学研究院完成了硕士课程，是备受期待的年轻工程师。
导师给宇野的开发主题如下：系统构成包括用于监控/预防犯罪的摄像头、二维码支付用摄像头以及用于显示广告的10.1英寸液晶面板，这些都是由THine Electronics的子公司Cathay销售的Smart Module「SIM8918JP」控制（图1）。正常情况下，自动售货机中销售的商品广告和监控/预防犯罪的摄像头拍摄的影片每三分钟就会在液晶屏上依序显示一次。当顾客（购买者）扫描二维码时，影像就会转换为该画面来进行结算。
Smart Module SIM8918JP将美国Qualcomm的64bit处理器「QCM2290」、LTE通信功能、无线LAN功能、蓝牙功能、GNSS功能等整合到一个封装内（图2）。 QCM2290除了配备四个英国Arm的Cortex-A53核之外，还整合了作为高效图形处理器(GPU)的「Adreno720」，利用Android操作系统来运行。
这个课题对进公司才2个月的年轻工程师来说有点难。但宇野却说「确实最开始觉得这个课题挺难的。但4月和5月一直在参加讲座，好不容易有能动手的课题，感到非常高兴。」
导师给宇野的开发主题如下：系统构成包括用于监控/预防犯罪的摄像头、二维码支付用摄像头以及用于显示广告的10.1英寸液晶面板，这些都是由THine Electronics的子公司Cathay销售的Smart Module「SIM8918JP」控制（图1）。正常情况下，自动售货机中销售的商品广告和监控/预防犯罪的摄像头拍摄的影片每三分钟就会在液晶屏上依序显示一次。当顾客（购买者）扫描二维码时，影像就会转换为该画面来进行结算。
Smart Module SIM8918JP将美国Qualcomm的64bit处理器「QCM2290」、LTE通信功能、无线LAN功能、蓝牙功能、GNSS功能等整合到一个封装内（图2）。 QCM2290除了配备四个英国Arm的Cortex-A53核之外，还整合了作为高效图形处理器(GPU)的「Adreno720」，利用Android操作系统来运行。
这个课题对进公司才2个月的年轻工程师来说有点难。但宇野却说「确实最开始觉得这个课题挺难的。但4月和5月一直在参加讲座，好不容易有能动手的课题，感到非常高兴。」
图2 Smart Module和它的评价板
开发时间仅3个半月
完成开发的日期已经确定。那是一个将于约5个月后，在2023年10月下旬举行的展览会。在展览会上必须要展示自动售货机的原型。考虑到实际生产所开发的自动售货机所需的时间，开发最晚要在9月中旬完成；也就是说，实际的开发时间只有三个半月。
开发项目主要有两个。一个是影像接口的扩展，这对于实现智能手机化自动售货机至关重要。具体来说，连接Smart Module和监控摄像头的影像接口以及连接Smart Module和液晶面板的接口之间的传输距离必须延长至2米左右。另一个则是Android操作系统APP的开发。具体地说需要一个在监控/预防犯罪用摄像头画面和广告之间切换，并能执行二维码支付的APP。
这两个开发项目必须在短短三个半月內完成。不过宇野并没与焦急。因为THine Electronics推出了「MIPI相机SerDes入门套件（以下简称入门套件）」。这次，我们使用符合「V-by-One HS」或「V-by-One HS II (*1)」规格的SerDes芯片（串行IC和解串IC）作为扩展影像接口的方法。具体来说就是将串行IC「THCV241A」和解串IC「THCV242A」用于连接Smart Module和监控/预防犯罪摄像头的影像接口，而连接Smart Module和LCD面板的影像接口则采用触控屏的理想解决方案--串行IC「THCV333」和解串IC「THCV334」。
无论哪种情况都需要根据影像接口的传输速度、影像/控制信号的配置等，来记述写入串行IC和解串IC寄存器的代码。但这次使用的入门套件还附带了保证正确操作的寄存器代码。当然这个寄存器代码不能直接使用，需要根据适用的系统进行修改。
＃＃（注释）
(*1) V-by-One HS II不会在不同的差动线上传输影像信号和控制信号，而是通过叠加控制信号到影像信号上，在一组差动线上进行传输的接口规格。
开发项目主要有两个。一个是影像接口的扩展，这对于实现智能手机化自动售货机至关重要。具体来说，连接Smart Module和监控摄像头的影像接口以及连接Smart Module和液晶面板的接口之间的传输距离必须延长至2米左右。另一个则是Android操作系统APP的开发。具体地说需要一个在监控/预防犯罪用摄像头画面和广告之间切换，并能执行二维码支付的APP。
这两个开发项目必须在短短三个半月內完成。不过宇野并没与焦急。因为THine Electronics推出了「MIPI相机SerDes入门套件（以下简称入门套件）」。这次，我们使用符合「V-by-One HS」或「V-by-One HS II (*1)」规格的SerDes芯片（串行IC和解串IC）作为扩展影像接口的方法。具体来说就是将串行IC「THCV241A」和解串IC「THCV242A」用于连接Smart Module和监控/预防犯罪摄像头的影像接口，而连接Smart Module和LCD面板的影像接口则采用触控屏的理想解决方案--串行IC「THCV333」和解串IC「THCV334」。
无论哪种情况都需要根据影像接口的传输速度、影像/控制信号的配置等，来记述写入串行IC和解串IC寄存器的代码。但这次使用的入门套件还附带了保证正确操作的寄存器代码。当然这个寄存器代码不能直接使用，需要根据适用的系统进行修改。
＃＃（注释）
(*1) V-by-One HS II不会在不同的差动线上传输影像信号和控制信号，而是通过叠加控制信号到影像信号上，在一组差动线上进行传输的接口规格。
发生问题的原因出乎意料・・・
有了入门套件的帮助，开发很顺利。但是好事多磨，问题突然就发生了：监控/预防犯罪用摄像头无法工作。即使重新打开电源或重新连接都没有反应。
为什么它不工作呢？实际上宇野自己设计了连接Smart Module的MIPI输入和串行IC的MIPI输出的转换板，并委托外部公司制造。也许是他的设计有错误；但仔细检查后没发现有什么错误。接下来怀疑的是从Smart Module发送过来的控制监控摄像头的I2C信号，可能信号没有送达或者不正确。于是用示波器仔细检查了I2C信号的波形，结果发现I2C信号并没有问题。
已经想不到其他可能导致问题的原因了，所以决定再次检查全部内容；然后发现有些回路的设计意图无法确认。它是相机的时钟振荡回路，这是OJT导师给他作为参考的回路。仔细检查这个时钟振荡回路后，发现低通滤波器的截断频率太低，切断了时钟信号。也就是说无法给相机提供时钟信号，这样当然无法工作。所以重新检查了构成时钟振荡回路的电阻和电容的回路常数，修正到最佳值，监控/预防犯罪用摄像头就能正常工作了。「发生这个问题是因为缺乏沟通。我误以为导师给我的时钟振荡回路是有实际应用业绩的，于是直接拿来就这么用了，这才导致了问题发生。但经历过这些问题也得到了意想不到的收获。为了找到问题原因我用示波器多次观察I2C信号，于是对I2C信号了解了更多。」
为什么它不工作呢？实际上宇野自己设计了连接Smart Module的MIPI输入和串行IC的MIPI输出的转换板，并委托外部公司制造。也许是他的设计有错误；但仔细检查后没发现有什么错误。接下来怀疑的是从Smart Module发送过来的控制监控摄像头的I2C信号，可能信号没有送达或者不正确。于是用示波器仔细检查了I2C信号的波形，结果发现I2C信号并没有问题。
已经想不到其他可能导致问题的原因了，所以决定再次检查全部内容；然后发现有些回路的设计意图无法确认。它是相机的时钟振荡回路，这是OJT导师给他作为参考的回路。仔细检查这个时钟振荡回路后，发现低通滤波器的截断频率太低，切断了时钟信号。也就是说无法给相机提供时钟信号，这样当然无法工作。所以重新检查了构成时钟振荡回路的电阻和电容的回路常数，修正到最佳值，监控/预防犯罪用摄像头就能正常工作了。「发生这个问题是因为缺乏沟通。我误以为导师给我的时钟振荡回路是有实际应用业绩的，于是直接拿来就这么用了，这才导致了问题发生。但经历过这些问题也得到了意想不到的收获。为了找到问题原因我用示波器多次观察I2C信号，于是对I2C信号了解了更多。」
显示器坏了么？
将显示器连接到Smart Module并检查影响是否可以正常显示时，结果根本无法显示任何影像。检查了一下显示器，显示器似乎坏了。为什么坏了呢？找不到原因。
所以他重新检查了从Smart Module到显示器的设计。然后意想不到的事发生了：在检查Smart Module时，发现在数据图表中写着「NC（No Connect）」的信号端子却输出了大约1V的电压。一般来说，NC端子的意思是「沒有冲压连接到封裝內部」的意思。也就是说它在电力上是浮动的，可以连接到地面。但NC端子这种说法有时也意味着「不能连接到外部」。也就是说在Smart Module上它似乎使用的是后者的定义。因此，通过物理断开NC端子使其无法连接地面后，就能在显示器上正常显影了。
在排除了上述两个问题后，硬件开发在9月中旬全部完成（图3）。
其实八月中旬大部分的事情都已告一段落。但显示器却迟迟未能到手，也就是说实际是等了一段时间的。利用这段时间宇野开始开发APP。事实上这是宇野第一次开发APP，但他边研读了好几本教科书边进行开发，最后在1个月不到的时间内完成了所有APP的开发。也就是说所有开发都如期在9月中旬完成了，并且结果比预期要来得好。
所以他重新检查了从Smart Module到显示器的设计。然后意想不到的事发生了：在检查Smart Module时，发现在数据图表中写着「NC（No Connect）」的信号端子却输出了大约1V的电压。一般来说，NC端子的意思是「沒有冲压连接到封裝內部」的意思。也就是说它在电力上是浮动的，可以连接到地面。但NC端子这种说法有时也意味着「不能连接到外部」。也就是说在Smart Module上它似乎使用的是后者的定义。因此，通过物理断开NC端子使其无法连接地面后，就能在显示器上正常显影了。
在排除了上述两个问题后，硬件开发在9月中旬全部完成（图3）。
图３ 为「智能手机化自动售货机」开发的内部系统
其实八月中旬大部分的事情都已告一段落。但显示器却迟迟未能到手，也就是说实际是等了一段时间的。利用这段时间宇野开始开发APP。事实上这是宇野第一次开发APP，但他边研读了好几本教科书边进行开发，最后在1个月不到的时间内完成了所有APP的开发。也就是说所有开发都如期在9月中旬完成了，并且结果比预期要来得好。
朝着梦想进发
在2023年10月底举行的展览会上，宇野忙着在他开发的「智能手机化的自动售货机」（图4）前向参观者进行说明。
参观者们有着浓厚的兴趣。「不仅是自动售货机，包括便利店和超市使用的自助结账机（POS终端）也连接了监控摄像头，越来越智能手机化。这一趋势正在受到高度关注。」
宇野的在职训练于10月底结束，11月1日开始在所属部门工作。该部分将负责IC开发/设计，他加入公司时的愿望实现了。在那里，他将从头开始学习IC开发/设计，他还有更远大的梦想。「有一天我想成为主导IC整体的开发/设计的工程师，想为世界设计出更多能让全球更多人使用的IC。」
以上
图4 「智能手机化自动售货机」
参观者们有着浓厚的兴趣。「不仅是自动售货机，包括便利店和超市使用的自助结账机（POS终端）也连接了监控摄像头，越来越智能手机化。这一趋势正在受到高度关注。」
宇野的在职训练于10月底结束，11月1日开始在所属部门工作。该部分将负责IC开发/设计，他加入公司时的愿望实现了。在那里，他将从头开始学习IC开发/设计，他还有更远大的梦想。「有一天我想成为主导IC整体的开发/设计的工程师，想为世界设计出更多能让全球更多人使用的IC。」
以上