THine ARTICLES

集結THine Electronics的員工熱情的討論。
以及受到客戶好評的解決方案之介紹。

開發專欄 NEW

不用Firmware coding就能帶出ISP的性能! 相機開發套件GUI工具的詳細解說

對於有搭載Image sensor的電子設備,負責影像處理的Image signal processor(ISP)是不可或缺的。這時候ISP firmware的開發即成為了一項課題。 本系列中的第一篇介紹了ISP firmware開發的現狀,並也對THine Electronics為解決開發問題所做的努力進行介紹。如果使用敝司提供的「相機開發套件(CDK:Camera Development Kit)」可以解決這個問題。 這次, 本系列的第二篇,我們將詳細描述構成相機開發套件之一的GUI工具「THine Tuning Tool」,通稱「3T」。透過這個工具,如果您已具有相機和影像處理的相關知識,即使沒有編寫firmware的開發經驗,也可以順利開發出ISP用的firmware。

CDK的優勢強大

THine Electronics之所以提供「相機開發套件(CDK)」,旨在為我們的ISP ChipTHP 7312」開發firmware。在構成上, 硬件部分有Frame grabber board, 搭載ISP Chipboard、搭載Image sensorheader board,軟件部分為Firmware library Source code開發用途的software development kitSDK)、與自定義SDKGUI工具「THine Tuning Tools3T)」(圖1)。

也就是說,使用hardware、software development kit, 及 GUI工具三個組件來開發ISP firmware。根據開發人員的說法,「有ISP chip廠商能提供software development kit,但能同時提供包括hardware和GUI工具的卻沒有(*)」。(*在著手開始開發當時)

在這三個組件中,特別是 GUI工具帶給用戶最大的幫助。只需在安裝了GUI工具的電腦上輸入數或從拖曳出來的選單中選擇項目,即可自動生成firmware。因此,在降低firmware開發費用的同時,開發的時間也縮短了。而且,只要具有相機(光學類)和影像處理的相關知識,就不需要特別聘請編寫firmware的專業工程師。
 
還有其他的優點。 由於firmware可以在短時間內輕鬆生成,使用者能有充分的時間反覆進行畫質的實驗/測試、嘗試不同性能的camera module、或更換光學鏡頭、確認紅外線(IRCut filter的效果等等,這些在相機開發時必須進行的本質作業

提供10種Configurator

那麼,就讓我們仔細看看GUI工具「3T」吧(2)
GUI工具的最大作用是優化影像的品質。如該系列在第一篇所述,使用Image sensor拍攝的影像數據不完整。因此,我們需要對影像數據進行各種處理。實現它的便是Configurator。過去,我們必須直接寫入ISP firmwareProgram code,但是透過使用GUI工具,將可以在電腦上簡單的自動生成ISPfirmware

提供10種Configurator。讓我們一個個簡單地看一下。

第一個是「AE: Register Configurator」。該Configurator負責調整自動曝光(Auto exposure)。 可以透過基本參數的設定,來達到影像明亮、變暗、及防止水波紋等。

第二個是「AE: Threshold Configurator」(3)。
Configurator與自動曝光有關連性。為解決閃爍問題等, 可以設定AE的追蹤性。

第三個是「AE: Window Configurator」。這也與自動曝光有關。它可以通過五種測光類型組合來執行AE(圖4)。
具體來說,可以將一個影像加權劃分為8×6個區域,可以在任意區域中進行光測。 例如在肖像的圖片下,可以設定著重中央部位的亮度。

第四個是「AE: Diagram Configurator」。這個是針對拍攝物件的明亮度, 透過線圖方式(diagram)來設定gain和曝光時間。gain和曝光時間是反比的關係。雖然曝光時間越短,防手震越強,但因為需要提高gain,所以雜訊也隨之增加。相反的,為了抑止雜訊,曝光時間越長的話,越容易受到手震影響。因此,根據不同的用途,很難只選擇一個設定。所以在該Configurator中,我們提供三種可登錄的模式。可以登錄優先抑制影像雜訊模式、或拍攝高速移動物件時防手震模式等。

第五個是「AWB/IQ: Register Configurator」。負責降低雜訊及銳利度相關的設定。關於降低雜訊,可利用ISP Chip hardwarefilter選擇自動和手動模式。Sharpness則是強化拍攝影像的輪廓。雖然肖像照片不會要求輪廓的清楚,但如果是具有許多文字的影像則可設定更高的銳利度。此外,也能進行白平衡、Tone MapOBOptical Black)和缺陷補正等等的調整。

更細緻的調色功能

第六個是「AWB/IQ: AWB Configurator」。在三種光源下使用EVB(Evaluation Board)均勻拍攝同一面(18%灰階表)的RAW影像,並自動調整白平衡的參數。

第七個是「AWB/IQ: Color Configurator」。這實際上是跟色彩(顏色)有關的Configurator。 可以為三種光源的每個顏色矩陣以及彩度、色調進行微調(圖5
其特徵是「因為它可以設定六個軸,因此對於細微的地方也可以進行微調」THine electronics)。 它可以根據相機的目的來製作影像。

第八個是「AWB/IQ: Shading Configurator」。一般而言在光學鏡頭+Image sensor從中心點起愈接近邊緣,就有受光越困難的特徵。如果不做任何修正,會變成中央部分明亮,但越往外圍時變得更暗。因此,在Lens · Shading Configurator中,只要輸入在AWB Configurator的三個光源下取得的RAW data,依據使用的光學鏡頭而自動生成Shading parameters。用戶可以自行設定明亮的程度。

第九個是「AWB/IQ: Tone map Configurator」。一般稱為gamma校正的Configurator。指定對影像階調的輸出特性。可以設定多個gamma曲線並個別調整。來實現用戶喜好的「影像色調」。

第十個是「AWB/IQ: Gain Based Parameter Configurator」。該Configurator不僅能根據設定的gain調整NR(noise reduction)、清晰度,還能調整彩度及飽和度。例如,昏暗的攝影環境下高gain, 高雜訊的條件下下,可藉由提高NR的強度來抑制雜訊,另一方面,在低gain時,將NR強度調低便能保持應有的影像感。

Configurator的使用方法

使用這10Configurator可以進行什麼樣的設定呢? 讓我們來看兩個不同的例子吧。

第一個是工業Machine vision的例子。以測試裝在控制板左上方和右下方的LSI的安裝情況來做思考。 假設兩個LSI的材料不同,為配合某一個的曝光調整而使另一個太黑或偏白。此時,我們使用第三個介紹的「AE window · configuratorConfigurator。首先,配合左上方LSI的曝光進行拍攝,然後配合右下方LSI曝光再拍攝。如此可以在必要的部分中獲取清晰的影像,並且可以無錯誤地執行測試。

另一個則是數位鏡子和美顏相機的例子。對於臉部照片,因國家的不同對肌膚喜好的顏色也有所不同。所以我們使用第七個介紹的「Color Configurator」來設定出自己喜歡的顏色。這樣的「影像編輯」 可以使數位相機的商業價更上一層

提供I/O設定等便利的機能

GUI工具中,除了十個影像畫質調整的Configurator外,我們還準備了I/O ConfiguratorDriving mode · configurator等便利的功能。

 I/O ConfiguratorISP Chip的訊號輸入/輸出設定有關(圖6)。
ISP Chip有兩種I/F輸入,可以輸入MIPI CSI-2訊號或parallel訊號。另一方面,I/F輸出則有三種,MIPI CSI-2parallel 8bit16bit。因此,需要根據前段和後段的裝置來選擇訊號格式設定輸入/輸出端子的功能。 一旦透過這次準備的I/O Configurator的話,可以簡單的在電腦上設定。

Driving mode · configurator會依據Image sensor影像大小與frame rate自動設定ISP ChipClock frequencyI/F bit rate。「THP 7312」可處理高達1600萬的畫素(16M畫素)。frame rate依據每個畫素大小,可對應最大30/秒(4K2K)、120/秒(1080p)、240/秒(720p)等。如選擇畫素大小和frame rate的話,則可自動設定ISP chip內的Clock frequency。同時,我們還準備了一個註冊多種Driving mode的功能。 可以註冊「4K 2K30 fps模式」,「Full HD60 fps模式」等。

這一次,我們對GUI工具「3T(THine Tuning Tool)搭載的Configurator進行了詳細的說明。不管是哪一種Configurator, 只要使用Image sensor的設備,如Machine vision、監視器、數位相機等應用上,都可以發揮極大的效果。但,這並不是GUI工具「3T」唯一涵蓋的應用。 我們已經在「XR機器」上使用這些功能。 下次(第三篇),我們將詳細說明其功能,並介紹相機開發套件下一代的策略。

待續


 


224__RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY__

  • __RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY__
__RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY____RCMS_CONTENT_BOUNDARY__

回到一覽表

相關產品

ISP (Image Signal Processor) THP7312
對應16M畫素Sensor影像處理系統

購買商品在此洽詢

相關應用

Camera
監視攝影機、視訊會議系統、車用監控攝影機