THine Value 不再依賴FPGA,開發ISP用韌體自動生成工具

2018.08.31
  • 文章
  • 專欄
捕捉圖像、影像的半導體裝置「影像感測器 (Image Sensor)」。搭載於各式電子設備中,如數位相機、智慧型手機、汽車。但是,光靠影像感測器(Image Sensor)還無法完全發揮效能。需與負責執行圖像處理的「Image Signal Processor(ISP)」併用,兩者缺一不可。令人頭痛的是,ISP的韌體(firmware)開發其實存在一定的難度。THine Electronics為了解決這個問題,因而開始提供「相機開發工具-Camera Development Kit(CDK)」。此次,我們將針對CDK的開發背景及採用後的實際效能來進行解說。

對影像感測器來說ISP是不可或缺的

影像感測器應用範圍廣泛。可搭載於數位相機、智慧型手機、汽車、監視器、產業用機器、實物投影機(visualizer)、WEB會議系統、醫療用電子設備、乃至AR(擴增實境) 、VR(虛擬實境) 、MR(混合實境)等應用於XR設備的使用率也急增。
「Image Signal Processor(ISP)」作為將影像感測器加入電子設備裡是不可或缺的一環。因為單使用影像感測器所拍攝出的影像,只能稱作「不完全的圖」。為了讓不完全的圖變得完整,則需使用ISP來去除雜訊、調整明暗、校正被拍攝物的焦點(focus)。具體來說,即是針對Demosaic(Debayer)、Noise Reduction、Auto Exposure (AE) 、Auto Focus等進行處理(圖1)。
 

因此,要在電子設備裡安裝影像感測器還需選擇與它最合適的ISP。但,根據不同的電子設備,ISP的外型也會有所不同。在智慧型手機中,多數情況下使用晶片組裡整合的ISP機能。極少有採用獨立晶片的例子。對於其他類別的電子設備中,採用獨立的ISP 晶片或是ISP IP core的FPGA則較為常見。
 

不容易使用

無論採用何種形式的ISP,想要完全熟悉並非一件容易的事。要完成一張「完全的圖」,需要開發韌體將各種參數設定在最適值上。為此,需要具備相當程度的軟體、相機(光學)、圖像處理等相關知識。

如果是智慧型手機大廠的話,因大量進貨整合ISP的晶片組,都可獲得晶片供應商的良好協助。也因此,開發韌體對他們來說絕非難事。

反觀中型以下的智慧型手機、產業用機器、監視器等的製造商而言,要進行韌體開發勢必存有一定的難度。因為他們無法指望在晶片組 、ISP晶片進貨量不多的情況下,能得到供應商良好的協助。

當然,這些製造商還是可以委託提供晶片組 、ISP晶片的半導體廠商來開發韌體。只是他們得承擔一筆不小的開發費用。這並不便宜。「倘若是年進貨量超過100萬個的application的話,還有辦法把開發成本吸收。但年進貨量只有10萬個左右的話,這樣的開發成本將是筆承重的負擔」(THine Electronics)。

縱使改採FPGA也很難改善。與上述相同,仍然無法自行開發韌體。而且幾乎無法指望ISP core供應商能提供支援。而FPGA,還得自行設計回路並組裝硬體。但這需具備一定程度的硬體相關技術才行。一般來說,電子設備製造商的硬體工程師可能比軟體工程師來的少。因此這也許不是個完美的解決辦法。

韌體自動生成

為解決這些問題,身為ISP晶片製造商的THine Electronics開始為其ISP晶片「THP7312」提供CDK(相機開發工具)。
CDK主要是由硬體與針對韌體開發的GUI工具「Thine Tuning Tool」、樣版韌體這3大項組成。硬體裡主要有搭載THP7312的ISP board、影像擷取卡(frame grabber) 、和搭載Image Sensor相機模組的header board (圖2)。
 
GUI工具是在電腦上操作的應用程式。透過電腦畫面上的選單輸入數值或從下拉式選單中選擇參數,重新將樣版韌體換成需要的韌體 (圖3)。實際上並不需要韌體開發的專業知識。因此可降低開發成本,同時還能讓開發期大幅縮短。
 

雖然現在有多家半導體製造商提供ISP晶片,但卻很少有提供韌體開發的GUI工具。即便有半導體製造商提供簡易工具,相較之下卻與敝司的GUI工具在執行效能上差上許多。(THine Electronics)FPGA也是如此。「據我們所知,目前並沒有ISP core的供應商在提供韌體開發用的GUI工具」(THine Electronics)。

因此,對於中型以下的智慧型手機、產業用機器、監視器、XR應用設備等的製造商來說,ISP晶片「THP7312」與CDK的組合也許是最佳選擇吧。意味著不需再依賴FPGA了。結果,還能得到減少功率消耗、印刷電路板(PCB)小型化的優點。對於需要大幅縮小尺寸的XR應用設備來說無非是個好消息。

下一章我們將針對CDK的GUI工具的技術、使用方法來進行詳細介紹。

 (待續)


 
※各圖的補充說明
(圖1 經ISP處理後的影像)
左為ISP處理前的影像。右為處理後的影像。各像素裡有一個顏色的RAW data
從處理數據到各像素裡的RGB3色,進而除去雜訊。亮度和焦點也由ISP控制。