THine Value 可輸出 4K、30fps 未壓縮影像訊號,且適用於 i.MX 8M Family的 Linux 相機套件開始發售

2021.11.04
  • 文章
  • 專欄
 搭載相機的電子設備的數量正迅速地增加。 智慧型手機、平板終端、工業設備、醫療設備、汽車、安全設備、教育設備、無人機等只是其中幾個例子。 但是,即使簡單地說「相機」,每個電子設備所需的規格、性能和成本也不完全相同。有優先考量成本而不是畫質的電子設備,也有重視開發難易度的電子設備。當然也有需要即時顯示高畫質影像或需要極高畫質影像的電子設備。
 為因應搭載相機的電子設備數量的快速增長,THine Electronics已於 2021 年 6 月發布了透過USB接口傳輸影像訊號且符合標準「UVC(USB Video Class)的4K分辨率相機開發套件「THSCU101」。 這就是所謂的「UVC 相機」。 無需準備專用驅動程式,只需連接到電腦,即可將相機拍攝的影像顯示在顯示器上。正因為如此,「它能夠輕鬆實現搭載相機的電子設備的 PoC(概念驗證),因此受到了許多電子設備製造商的好評。」營業部產品經理桑山 克己這麼說道。
 但如上所述,相機的應用日趨廣泛,對於相機的需求也日新月異。因此,單靠這台UVC相機基本上很難滿足所有電子設備對相機的要求。仍需要一些對策。

使用 MIPI CSI-2 輸出

 THine Electronics的下一步是什麼?我們在2021 年 8 月發布了可輸出 30 幀/秒 (fps) 4K 分辨率無壓縮影像訊號的相機開發套件「THSCM101」(圖 1)。 它的定位是「比 UVC 相機更適合專業用戶的產品」(桑山)。我們將其稱為「Linux 相機」。

 
                                                                       圖1 發布銷售的Linux相機

 UVC 相機有一個很大的優勢,那就是如果您有一台電腦就可以隨時使用,但它仍有一個問題。它是連接到電腦的 USB 接口的Bandwidth。 UVC相機影像訊號輸出接口採用USB 3.2規格,數據傳輸速度高達5Gbit/秒或10Gbit/秒,但有效數據傳輸速度僅為其1/3左右。甚至連Bandwidth也不能保證。因此,UVC 相機無法傳輸未壓縮的 4K、30fps 影像訊號,而是將它們壓縮為 JPEG 格式並發送。但是,一般的電腦CPU無法即時執行JPEG壓縮處理,會出現失幀的現象。因此,在需要即時顯示高畫質影像的應用中很難使用 UVC 相機。例如,用於工廠/倉庫/商店的監控攝影機、用於維護的工業用AR相機(實際擴張)、醫療手術用攝影機、教育用途的Document camera等。
 因此,Linux 相機改變了影像訊號的輸出格式。具體來說就是MIPI CSI-2訊號的格式。相機套件的Board搭載了CMOS 影像傳感器和影像處理處理器(ISP),該影像處理處理器將未壓縮的 YUV422 訊號作為 MIPI CSI-2 訊號輸出到Board外部(圖2)。
 
                                                                          圖2 Linux相機Board

 MIPI CSI-2訊號採用4 lane配置,每lane數據傳輸速度高達1.2 Gbit/秒。 即四個lane的總數據傳輸速率達到4.8 Gbit/秒。這超過了 4K、30 fps 影像訊號傳輸所需的 4.75 Gbit/秒,因此可以直接傳輸未壓縮的影像訊號(表 1)。
 
                                                                          表1 對應的影像解析度

可輕鬆安裝驅動程式

 MIPI CSI-2 訊號可以傳輸到搭載來自荷蘭 NXP 半導體公司的 64 bit處理器(SoC)「i.MX 8M / i.MX 8M Mini」的Single board computer。 可以使用 Linux 作業系統。這就是我們將其命名為 Linux 相機的原因。
 這裡讓人關注的是驅動程式軟體。使用UVC相機,無需準備專用的驅動程式,用戶只需用USB線將UVC相機連接到電腦即可。但是,對於 Linux 相機,除非在 SoC 上準備並安裝專用驅動程式,否則將無法傳輸影像訊號。如果這種實裝作業非常複雜困難的話,那麼使用Linux 相機用戶將僅限於少數人吧。
 因此,THine Electronics 準備了一種方法來簡化在 SoC 上實現專用驅動程式的工作。首先,我們開發專用的驅動軟體Source code給用戶使用。此外,對於將此Source code與 Linux OS 合併、編譯並在 SoC 上實現的一系列任務,「我們準備了一份入門指南,如果您按照上面步驟進行操作,任何人都可以輕鬆地將專用的驅動程式・軟體安裝在 SoC 中」(桑山)。

自動對焦採用PDAF

 發表的相機開發套件由搭載 CMOS 影像傳感器和影像處理處理器 (ISP) 的board和 mini-SAS Cable組成。 與 UVC 相機一樣,採用了Sony Semiconductor Solutions 的CMOS 影像傳感器IMX258。 畫素數約1300萬(4224像素×3192像素),最高幀速30幀/秒。 ISP 是使用 THine Electronics 的 THP7312-P,它對於 MIPI CSI-2 訊號具有每lane 1.2 G bit/秒的高速傳輸速度。 UVC 相機中使用的 ISP「THP7312」每lane最大為 1.0 G bit/秒。 board的外部尺寸僅有35 mm x 55 mm x 1.2 mm。 Linux相機與Single board computer之間的可連接距離約為數十公分。
 自動對焦功能,除了一般的對比度方法外,還採用了相位差檢測方法(PDAF:Phase Detection Auto Focus)。 與對比法相比,PDAF 可以在更短的時間內對焦,因此可以獲得高畫質的影像。「可以非壓縮傳輸4K,30fps的影像並採用PDAF的高畫質相機開發套件並使其商品化可說是業界首創」(桑山)。
 可以使用 Linux 作業系統準備的相機用指令「V4L2 (Video for Linux ver.2) 」來調整捕獲的影像/圖像的亮度和對比度。您可以使用THine Electronics提供的ISP相機開發套件(CDK)來達到鏡頭陰影、去馬賽克、色調映射等詳細的畫質定制。此外,它還搭載了調整內置 CMOS 影像傳感器的相機模組的個體差異的功能。一般來說,相機模組的CMOS影像傳感器和鏡頭的特性會有所不同,鏡頭的顏色、亮度、陰影特性等都各自不同。因此,這次對相機鏡頭模組的特性進行了測量,並將得到結果的修正係數寫入到相機鏡頭模組內置的EEPROM中。當系統啟動時,ISP 讀取這些數據並對輸出的影像/圖像訊號進行校正,以抑制相機鏡頭模組中的個體差異。

擴展對應的Single board computer

 這次發表的相機開發套件(Linux相機)已經開始在美國Digi-Key Electronics的網站上販售。 價格約為28,000日元。
  <點擊這裡購買>

  THine Electronics 計劃在未來擴展可接收 MIPI CSI-2 訊號傳輸的Single board computer的類型。 目前,我們正在規劃的有搭載NXP Semiconductors的64 bit處理器「i.MX 8M Nano / i.MX 8M Plus」的Single board computer和美國NVIDIA的Single board computer「Jetson」等等。