AI讓手機照片立即賞心悅目

（2017-08-21）MIT Google的新技術，可以即時、快速的修飾手機照片，快到按下快門的同時，就看到賞心悅目的修飾結果。

下面的照片看起來一半是黑的，但細看之下還有影子，而且與亮的另一半是連在一起的，兩部分是屬於同一張照片。這張照片是 MIT 與 Google 合作的即時影像修飾技術的展示，數位照片用數位技術修飾，並不稀奇，可以用軟體藉人力修飾得非常好，像 Photoshop，也有用軟體自動修飾的，但須花耗計算資源與時間。現在都用手機拍照，光線太弱或太強，效果不會太好，MIT Google 這個新技術，可以即時、快速的修飾手機照片，快到按下快門的同時，就看到賞心悅目的修飾結果。

（MIT Google 合作的即時影像修飾技術，原影像左下角一半是攝影原像，右上角一半是新技術修飾的結果。圖片來源：MIT，取自網路）

Google 的新手機 Pixel，特點之一就是高品質照相，強光下的白雲，陰影裡的人臉，都照的很清楚，色彩也很真實，有人評論說，如果你是手機照相迷，Pixel 是目前最好的手機。除了高檔 Sony 12-megapixel Sensor，以及高通 Hexagon 數位信號處理晶片，Google 更發展高動態範圍 (HDR) 影像軟體，放在 Pixel 手機，每拍攝一張照片，軟體自動拍攝多張光線強弱不同的照片，然後選用幾張重疊，調節成我們肉眼看得較舒服的明暗與彩色。

MIT 早先也實驗一個手機照片修飾技術，手機照相機的解析度越來越高，但手機資源有限，不容易處理龐大資料的照片，所以傳到外面處理以後再傳回手機，也算是一個權且的方法。為了加快傳輸速度，先把高解析度的照片壓縮成低解析度，資料量大幅度減少，外傳到伺服器處理，然後傳回簡單的修正資料，用來修正手機原來的高解析度照片。

MIT Google 的合作，可以說是以上兩種技術的結合延伸，HDR 的處理複雜，不但需時間，更需要資源，造成手機電源的消耗，一般的照片可能還不覺得，高檔影像的處理就會感覺到，Google 不建議用 HDR 拍攝影片。MIT 用壓縮技術減低照片資料量，外傳固然節省頻寬，但用取樣的低解析度照片來分析，甚至猜測如何修正高解析度照片，品質無法達到最好。所以新技術換了一種方式，用智慧型、也就是人工智慧 AI 的方法。

大家都知道 AI 是要經過學習、或說是訓練的，MIT 與 Google 的專家，用 5000 張 Durand（歷史檔案照片典藏機構）與 Adobe 提供的照片，每一張都經過五個攝影師做不同程度的修飾，另外用數以萬計其他 AI 如 HDR 修飾後的照片，做為學習教材，周而復始的訓練這個AI，發展高品質修飾照片的能力。 。

為了節省資源，修飾後的結果不是另一張照片，而是一個簡單的公式，內涵修飾原照片的指令，例如原照片的哪一個色彩不佳的像素，應該換成另一個彩色正確的像素，這樣處理不但快速，更可以節省製造另一張與原照片大小的空間，所以這個 AI 軟體可以裝在手機。手機的容量與電源有限，手機的功能卻越來越多，節省資源就成為設計考量。

MIT Google 的新 AI 照片修飾，有 HDR 的高品質，速度僅有 100 分之一，用在手機上，幾乎在拍攝的同時，屏幕上出現賞心悅目的修飾照片。這一新技術是 MIT 與 Google 小組，上週在 Siggraph 數位圖像會議上發表的，手機攝影也因此進一大步，以後類似的技術出現在 Pixel 或別的手機上，也就不足為奇了。

（照片修飾效果比較。圖片來源：MIT-Google 在 Siggraph 會議發表的論文。取自網路）

上面這三張照片是不同修飾技術的比較：左圖是拍攝後以一般的「色調映射」(Tone mapping) 技術修飾的效果。中圖是以「高動態範圍」(HDR) 技術修飾後的效果，所用的時間是約 400-600 ms。右圖則是 MIT-Google 合作的 AI 技術，效果與 HDR 一樣好，但處理時間僅用了 61 ms，是 HDR 的 10 分之 1，而峰值信號雜訊比 （PSNR）高達 28.4 dB，接近 ISO 32.4 dB 的特優品質。

（以上是 Siggraph 會議上的一段短片，簡介這一新技術，有興趣的讀者或可以從中獲得一些概念。取自網路）

*本文取材自2017年8月9日「那福忠西海岸數位隨筆(19)：AI讓手機照片立即賞心悅目」                        
對本文有任何看法，歡迎 eMail：frank.na@gmail.com 給作者，分享您對本文的看法。