康乃爾大學提出RAISR技術，透過機器學習提升照片圖像銳利度

在我們日常生活中，許多數位的圖片檔案都經過縮放處理，無論是照片後製、裁切，還是在顯示時配合螢幕尺寸進行調整，都會改變圖片尺寸。然而要將小圖放大的時候，往往會產生許多鋸斷或模糊等狀況，為了要讓增加圖像的品質，研發團隊利用機械學習改善處理流程，讓放大後的圖像更加清晰銳利。

快又精準地提升圖像品質

RAISR的全名是Rapid and Accurate Image Super-Resolution，意思是「快速、精確的超解析度」技術，其用途為能夠在放大圖像的過程中維持清晰度。該技術由美國康乃爾大學（Cornell University）的Yaniv Romano、John Isidoro、Peyman Milanfar等人提出，完整的論文以從這邊下載。

該篇論文提到，我們都希望能在放大圖片的過程中，讓圖像能夠具有更大的尺寸、更多的像素，以呈現更高的畫質，但如果只是使用一般的濾鏡處理，可能會讓圖像便成充滿馬賽克或是模糊不清。

RAISR的做法是提供電腦充足的訓練資料，例如成對的高畫質與低畫質圖片，就能瞭解運用哪些濾鏡的組合，能夠帶來更好的放大品質。在電腦「學會」如何放大圖片之後，就能將成果套用於訓練資料以外的其他圖片。

更棒的是根據研發團隊表示，使用RAISR處理圖片的速度，比現今最理想的處理方式約快上10到100倍，而且能夠得到差不多或是更好的圖像品質，也就是說這種技術相當適合應用在智慧型手機、平板電腦等運算效能較低的裝置。

▲左圖為使用雙線性（Bilinear）濾鏡，放大後的圖像顯得相當模糊。中央為RAISR在學習階段產生的圖像，右方為學習完成的圖像，可以看到圖像比較清晰。（圖片來源：RAISR: Rapid and Accurate Image Super Resolution，下同）

▲圖為另一組範例，左方的圖a為原始圖片，右方圖b為使用雙三線性（Bicubic）放大的圖片。

▲左方的圖c為使用RAISR、無進行銳化學習，右方圖d為使用RAISR、有進行銳化學習。

▲左方為混用圖b與c的成果，右方則為混用圖b與d，可以看到放大後的圖像仍能維持銳利、無鋸齒且不模糊的高品質。

2種不同訓練方式

RAISR具有2種不同的學習模式，第一種是直接學習模式，系統會直接在低畫質圖片上套用各種濾鏡，並與高畫質圖片相互比對，看看在什麼樣的組合之下會得到最好的法大品質。

至於第二種方式則是間接學習模式，系統會先對低畫質圖片進行效能需求較低的升頻（即放大圖片尺寸），然後在將濾鏡套用至升頻後的圖片，最後才與高畫質圖片進行比對。相較起來，直接模式的處理速度比較快，間接模式雖然比較慢，但是能夠處理非整數倍放大的圖片。

無論使用哪種模式，RAISR都會根據圖像中亮暗梯度、色彩梯度、紋理等等邊緣的特徵進行學習，例如邊緣呈現的角度、強度（Strength，銳利的邊緣具有較高的強度）與一致性。

RAISR可以在約1小時內，完成10,000組配對圖片的學習，並得知最適合的慮鏡應用組合。相較於使用線性（Linear）、雙三線性（Bicubic）、Lancos等濾鏡放大圖片，RAISR可以保留更多細節並提供更清晰的圖像，有助於在縮放圖片的時候，降低運算效能需求，並提升圖像品質。

▲從另一組RAISR範例中可以看到，左方為原始圖像，中央為使用雙三線性濾鏡，圖像較為模糊，右方為使用RAISR，圖像清晰許多。（圖片來源：Google，下同）

▲上方為原始圖像，下方為使用2倍RAISR放大，毛髮細節更加清楚。

▲左方為原始圖像，右方為使用3倍RAISR放大，從背景的樹葉可以看出明顯差異。

▲左方為原始圖像，具有嚴重的混疊（Aliasing），右方使用RAISR處理，能夠消除不正常的紋路。