THine Value 不用Firmware coding就能帶出ISP的性能！ 相機開發套件GUI工具的詳細解說
2018.11.29
- 文章
- 專欄
對於有搭載Image sensor的電子設備，負責影像處理的Image signal processor（ISP）是不可或缺的。這時候ISP firmware的開發即成為了一項課題。 本系列中的第一篇介紹了ISP firmware開發的現狀，並也對THine Electronics為解決開發問題所做的努力進行介紹。如果使用敝司提供的「相機開發套件（CDK：Camera Development Kit）」可以解決這個問題。 這次, 本系列的第二篇，我們將詳細描述構成相機開發套件之一的GUI工具「THine Tuning Tool」，通稱「3T」。透過這個工具，如果您已具有相機和影像處理的相關知識，即使沒有編寫firmware的開發經驗，也可以順利開發出ISP用的firmware。
CDK的優勢強大
THine Electronics之所以提供「相機開發套件（CDK）」,旨在為我們的ISP Chip「THP 7312」開發firmware。在構成上, 硬件部分有Frame grabber board, 搭載ISP Chip的board、搭載Image sensor的header board，軟件部分為Firmware library 與Source code開發用途的software development kit（SDK）、與自定義SDK的GUI工具「THine Tuning Tools（3T）」（圖1）。也就是說，使用hardware、software development kit, 及 GUI工具三個組件來開發ISP firmware。根據開發人員的說法，「有ISP chip廠商能提供software development kit，但能夠同時提供包括hardware和GUI工具的卻沒有（*）」。（*在著手開始開發當時）
在這三個組件中，特別是 GUI工具帶給用戶最大的幫助。只需在安裝了GUI工具的電腦上輸入數值或從拖曳出來的選單中選擇項目，即可自動生成firmware。因此,在降低firmware開發費用的同時,開發的時間也縮短了。而且，只要具有相機（光學類）和影像處理的相關知識，就不需要特別聘請編寫firmware的專業工程師。
還有其他的優點。 由於firmware可以在短時間內輕鬆生成，使用者能有充分的時間反覆進行畫質的實驗/測試、嘗試不同性能的camera module、或更換光學鏡頭、確認紅外線（IR）Cut filter的效果…等等，這些在相機開發時必須進行的本質作業。
提供10種Configurator
那麼，就讓我們仔細看看GUI工具「3T」吧(圖2)。
此GUI工具的最大作用是優化影像的品質。如該系列在第一篇所述，使用Image sensor拍攝的影像數據不夠完整。因此，我們需要對影像數據進行各種處理。實現它的便是Configurator。過去，我們必須直接寫入ISP firmware的Program code，但是透過使用GUI工具，將可以在電腦上簡單的自動生成ISP的firmware。
提供10種Configurator。讓我們一個個簡單地看一下。
第一個是「AE: Register Configurator」。該Configurator負責調整自動曝光（Auto exposure）。 可以透過基本參數的設定，來達到影像明亮、變暗、及防止水波紋等。
第二個是「AE: Threshold Configurator」（圖3）。
該Configurator與自動曝光有關連性。為解決閃爍問題等, 可以設定AE的追蹤性。
第三個是「AE: Window Configurator」。這也與自動曝光有關。它可以通過五種測光類型組合來執行AE（圖4）。
具體來說，可以將一個影像加權劃分為8×6個區域，可以在任意區域中進行光測。 例如在肖像的圖片下，可以設定著重中央部位的亮度。
第四個是「AE: Diagram Configurator」。這個是針對拍攝物件的明亮度, 透過線圖方式（diagram）來設定gain和曝光時間。gain和曝光時間是反比的關係。雖然曝光時間越短，防手震越強，但因為需要提高gain，所以雜訊也隨之增加。相反的,為了抑止雜訊，曝光時間越長的話，越容易受到手震影響。因此，根據不同的用途，很難只選擇一個設定。所以在該Configurator中，我們提供三種可登錄的模式。可以登錄優先抑制影像雜訊模式、或拍攝高速移動物件時防手震模式等。
第五個是「AWB/IQ: Register Configurator」。負責降低雜訊及銳利度相關的設定。關於降低雜訊，可利用ISP Chip hardware的filter選擇自動和手動模式。Sharpness則是強化拍攝影像的輪廓。雖然肖像照片不會要求輪廓的清楚，但如果是具有許多文字的影像則可設定更高的銳利度。此外，也能進行白平衡、Tone Map、OB（Optical Black）和缺陷補正等等的調整。
提供10種Configurator。讓我們一個個簡單地看一下。
第一個是「AE: Register Configurator」。該Configurator負責調整自動曝光（Auto exposure）。 可以透過基本參數的設定，來達到影像明亮、變暗、及防止水波紋等。
第二個是「AE: Threshold Configurator」（圖3）。
第三個是「AE: Window Configurator」。這也與自動曝光有關。它可以通過五種測光類型組合來執行AE（圖4）。
第四個是「AE: Diagram Configurator」。這個是針對拍攝物件的明亮度, 透過線圖方式（diagram）來設定gain和曝光時間。gain和曝光時間是反比的關係。雖然曝光時間越短，防手震越強，但因為需要提高gain，所以雜訊也隨之增加。相反的,為了抑止雜訊，曝光時間越長的話，越容易受到手震影響。因此，根據不同的用途，很難只選擇一個設定。所以在該Configurator中，我們提供三種可登錄的模式。可以登錄優先抑制影像雜訊模式、或拍攝高速移動物件時防手震模式等。
第五個是「AWB/IQ: Register Configurator」。負責降低雜訊及銳利度相關的設定。關於降低雜訊，可利用ISP Chip hardware的filter選擇自動和手動模式。Sharpness則是強化拍攝影像的輪廓。雖然肖像照片不會要求輪廓的清楚，但如果是具有許多文字的影像則可設定更高的銳利度。此外，也能進行白平衡、Tone Map、OB（Optical Black）和缺陷補正等等的調整。
更細緻的調色功能
第六個是「AWB/IQ: AWB Configurator」。在三種光源下使用EVB（Evaluation Board）均勻拍攝同一面（18％灰階表）的RAW影像，並自動調整白平衡的參數。
第七個是「AWB/IQ: Color Configurator」。這實際上是跟色彩（顏色）有關的Configurator。 可以為三種光源的每個顏色矩陣以及彩度、色調進行微調（圖5）
其特徵是「因為它可以設定六個軸，因此對於細微的地方也可以進行微調」（THine electronics）。 它可以根據相機的目的來製作影像。
第八個是「AWB/IQ: Shading Configurator」。一般而言在光學鏡頭+Image sensor，從中心點起愈接近邊緣，就有受光越困難的特徵。如果不做任何修正，會變成中央部分明亮，但越往外圍時變得更暗。因此，在Lens · Shading Configurator中，只要輸入在AWB Configurator的三個光源下取得的RAW data，依據使用的光學鏡頭而自動生成Shading parameters。用戶可以自行設定明亮的程度。
第九個是「AWB/IQ: Tone map Configurator」。一般稱為gamma校正的Configurator。指定對影像階調的輸出特性。可以設定多個gamma曲線並個別調整。來實現用戶喜好的「影像色調」。
第十個是「AWB/IQ: Gain Based Parameter Configurator」。該Configurator不僅能根據設定的gain值調整NR（noise reduction）、清晰度，還能調整彩度及飽和度。例如，昏暗的攝影環境下高gain值, 高雜訊的條件下下，可藉由提高NR的強度來抑制雜訊，另一方面，在低gain時，將NR強度調低便能保持應有的影像感。
第七個是「AWB/IQ: Color Configurator」。這實際上是跟色彩（顏色）有關的Configurator。 可以為三種光源的每個顏色矩陣以及彩度、色調進行微調（圖5）
第八個是「AWB/IQ: Shading Configurator」。一般而言在光學鏡頭+Image sensor，從中心點起愈接近邊緣，就有受光越困難的特徵。如果不做任何修正，會變成中央部分明亮，但越往外圍時變得更暗。因此，在Lens · Shading Configurator中，只要輸入在AWB Configurator的三個光源下取得的RAW data，依據使用的光學鏡頭而自動生成Shading parameters。用戶可以自行設定明亮的程度。
第九個是「AWB/IQ: Tone map Configurator」。一般稱為gamma校正的Configurator。指定對影像階調的輸出特性。可以設定多個gamma曲線並個別調整。來實現用戶喜好的「影像色調」。
第十個是「AWB/IQ: Gain Based Parameter Configurator」。該Configurator不僅能根據設定的gain值調整NR（noise reduction）、清晰度，還能調整彩度及飽和度。例如，昏暗的攝影環境下高gain值, 高雜訊的條件下下，可藉由提高NR的強度來抑制雜訊，另一方面，在低gain時，將NR強度調低便能保持應有的影像感。
Configurator的使用方法
使用這10個Configurator可以進行什麼樣的設定呢？ 讓我們來看兩個不同的例子吧。
第一個是工業Machine vision的例子。以測試裝在控制板左上方和右下方的LSI的安裝情況來做思考。 假設兩個LSI的材料不同，為配合某一個的曝光調整而使另一個太黑或偏白。此時，我們使用第三個介紹的「AE window · configurator」Configurator。首先，配合左上方LSI的曝光進行拍攝，然後配合右下方LSI曝光再拍攝。如此可以在必要的部分中獲取清晰的影像，並且可以無錯誤地執行測試。
另一個則是數位鏡子和美顏相機的例子。對於臉部照片，因國家的不同對肌膚喜好的顏色也有所不同。所以我們使用第七個介紹的「Color Configurator」來設定出自己喜歡的顏色。這樣的「影像編輯」 可以使數位相機的商業價值更上一層。
第一個是工業Machine vision的例子。以測試裝在控制板左上方和右下方的LSI的安裝情況來做思考。 假設兩個LSI的材料不同，為配合某一個的曝光調整而使另一個太黑或偏白。此時，我們使用第三個介紹的「AE window · configurator」Configurator。首先，配合左上方LSI的曝光進行拍攝，然後配合右下方LSI曝光再拍攝。如此可以在必要的部分中獲取清晰的影像，並且可以無錯誤地執行測試。
另一個則是數位鏡子和美顏相機的例子。對於臉部照片，因國家的不同對肌膚喜好的顏色也有所不同。所以我們使用第七個介紹的「Color Configurator」來設定出自己喜歡的顏色。這樣的「影像編輯」 可以使數位相機的商業價值更上一層。
提供I/O設定等便利的機能
在GUI工具中，除了十個影像畫質調整的Configurator外，我們還準備了I/O Configurator和Driving mode · configurator等便利的功能。
I/O Configurator與ISP Chip的訊號輸入/輸出設定有關（圖6）。
ISP Chip有兩種I/F輸入，可以輸入MIPI CSI-2訊號或parallel訊號。另一方面，I/F輸出則有三種，MIPI CSI-2、parallel 8bit和16bit。因此，需要根據前段和後段的裝置來選擇訊號格式設定輸入/輸出端子的功能。 一旦透過這次準備的I/O Configurator的話，可以簡單的在電腦上設定。
Driving mode · configurator會依據Image sensor影像大小與frame rate自動設定ISP Chip內Clock frequency和I/F bit rate。「THP 7312」可處理高達1600萬的畫素（16M畫素）。frame rate依據每個畫素大小，可對應最大30幀/秒（4K2K）、120幀/秒（1080p）、240幀/秒（720p）等。如選擇畫素大小和frame rate的話，則可自動設定ISP chip內的Clock frequency。同時，我們還準備了一個註冊多種Driving mode的功能。 可以註冊「4K 2K、30 fps模式」，「Full HD、60 fps模式」等。
這一次，我們對GUI工具「3T」(THine Tuning Tool)上搭載的Configurator進行了詳細的說明。不管是哪一種Configurator, 只要使用Image sensor的設備,如Machine vision、監視器、數位相機等應用上，都可以發揮極大的效果。但，這並不是GUI工具「3T」唯一涵蓋的應用。 我們已經在「XR機器」上使用這些功能。 下次（第三篇），我們將詳細說明其功能，並介紹相機開發套件下一代的策略。
（待續）
I/O Configurator與ISP Chip的訊號輸入/輸出設定有關（圖6）。
Driving mode · configurator會依據Image sensor影像大小與frame rate自動設定ISP Chip內Clock frequency和I/F bit rate。「THP 7312」可處理高達1600萬的畫素（16M畫素）。frame rate依據每個畫素大小，可對應最大30幀/秒（4K2K）、120幀/秒（1080p）、240幀/秒（720p）等。如選擇畫素大小和frame rate的話，則可自動設定ISP chip內的Clock frequency。同時，我們還準備了一個註冊多種Driving mode的功能。 可以註冊「4K 2K、30 fps模式」，「Full HD、60 fps模式」等。
這一次，我們對GUI工具「3T」(THine Tuning Tool)上搭載的Configurator進行了詳細的說明。不管是哪一種Configurator, 只要使用Image sensor的設備,如Machine vision、監視器、數位相機等應用上，都可以發揮極大的效果。但，這並不是GUI工具「3T」唯一涵蓋的應用。 我們已經在「XR機器」上使用這些功能。 下次（第三篇），我們將詳細說明其功能，並介紹相機開發套件下一代的策略。
（待續）