從一開始我們本來的主題是The
Applications of Super-Resolution on H.264,主要是探討直接經由H.264編碼與H.264編碼在經過超解析技術之後所產生的結果去比較圖像解析度,抑或改變量化bitrates參數經H.264後的比較。所以我們分為兩個部份Super-Resolution與H.264的部份,我是部份為H.264的,首先在寒假時閱讀H.264的相關書籍與paper,瞭解其原理與應用。
接著利用網路上
http://lcavwww.epfl.ch/software/superresolution/index.html
找到的程式去實做super
resolution
不過適用於多張圖片且在Global Motion的情況下,Super-Resolution出來的圖片才會清楚,在只有小部分地方動的sequence,出來的結果會使動的部分較模糊不清,而Global
Motion的sequence則較為清楚。我們利用此程式與H.264與我們自己寫的內插法程式去作比較:
不過最後出來的結果不是很理想,所以必須尋另一種方法。
接下來閱讀之前學長的paper及其他super
resolution的論文,不過也不是我們所期待的。之後根據另一個同學寫的三種基本內插法,加入銳化及中值濾波的效果。銳化為增加影像的強度讓邊界能夠凸出,使影像更為清楚。而中值濾波則是清除雜訊的部份
最後我們想出一種super resolution的方式,其流程圖如下:
」
第一個部分要先參考前後張影像的資訊,首先將欲放大影像之前張取出,選定前張影像中間部分,如下圖所示將其分成九個區塊:
從第一個區塊開始,和欲放大影像相對應區塊之灰階值比較。比較時我們會設定一範圍,讓前後張區塊在此範圍內搜索,以找出範圍內與欲放大區塊之灰階值最接近者,並紀錄其區塊座標,然後繼續從第二個區塊一直做到第九個區塊。最後將記錄下來所有座標平均,即可得到我們要的MV
(motion vector)。下一張也是一樣的方法。
第二個部分則是做影像重建的工作,首先將欲放大影像用內插法放大,再將前後張影像設定好座標如下圖所示放入。黃色的點是由原影像內插出來的,若在其一個pixel的範圍內有其他資訊,不管是前張或後張的,就選其最接近者取代,反之則不做更動。