實驗結果與比較
本實驗系統做法為利用motion based來做前景分割。拿移動向量(MV)來做全域移動向量的偵測(Global Motion estimation),再用移動向量(Motion Vector)扣掉全域移動(Global Motion)以得到有在移動的前景。此方法因為經由編碼程序得到編碼資訊,所以有低計算複雜度之優點。做完前景分割後再利用分割出的前景來做為判斷鏡頭該如何zooming及平移的依據。以下為我們實作出來的結果。圖8 為物體在畫面中不佳的位置,圖9 為攝影機偵測到移動物體後,將鏡頭經由zooming及左右移達到最佳的位置與角度並使移動物體在畫面中佔的大小適當,亦即最佳鏡頭,如圖10為自動調整之過程。
圖8 原本不佳的位置 圖9 自動調整後的最佳鏡頭
圖10 自動調整之過程
圖11 系統操作介面-client
圖12 系統操作介面-server
圖11及圖12為系統操作介面,圖11 為client端,圖12 為server端。
為了要達到本實驗主題能夠自動追蹤移動物體並取得最佳鏡頭的目標,除了本實驗最主要的系統 1. 拿移動向量(Motion Vector)來做全域移動向量的偵測(Global Motion estimation)以得到全域移動(Global Motion),再用移動向量(Motion Vector)扣掉全域移動(Global Motion)以得到有在移動的前景,我們還另外測試了兩種較簡易的方法與之比較 2. 鏡頭緩慢移動讓全域移動(Global Motion)很小 3. 固定攝影機時才做判斷。
1. 拿移動向量MV來做全域移動向量的偵測(Global Motion estimation)
此方法是本研究主題最主要使用之系統,利用motion-based來做前景分割,拿移動向量(MV)來做全域移動向量的偵測(Global Motion estimation),再用移動向量(Motion Vector)扣掉全域移動(Global Motion)以分割出移動中的物體。再以此為做為判斷追蹤的依據。
2. 讓全域移動(Global Motion)很小
此方法是假設攝影機很緩慢的移動,因此造成全域移動(Global Motion)很小,且物體移動的MV值大於全域移動(Global Motion),利用設定適當的門檻值,使得MV值小的Global Motion,即為背景被濾除掉而留下MV值大的移動物體來做為判斷攝影機應該如何利用平移或是縮放的去作追蹤的依據。
圖13 簡易鏡頭縮放及平移流程圖
圖13 為目前已做出的簡易鏡頭縮放及平移。判斷每一個在水平方向或垂直方向的MV值,取適當的門檻值來分割出前景,即可得到移動物體之大小和位置。利用物體大小可做為判斷鏡頭該如何做zooming的依據,而利用計算出移動物體之重心位置可做為鏡頭該如何做平移的依據。
3. 固定攝影機時才做判斷
讓攝影機在靜止的情況下,觀察移動物體所產生的MV,因此鏡頭可依MV情況作zooming及平移追蹤。此種方法單純看物體的變化,其全域移動即為物體移動,不需考慮背景的反向移動,但相對的因為要隔一段時間才能觀察,因此會產生時間差,當物體已經移動完畢,畫面上的物體可能已經離開畫面或者不在畫面中心,需等到攝影機移動完才會回到畫面中心。
再者,我們使用PTZ攝影機內建功能STOP時,攝影機並不會立刻停止,因此除了此方法本身會產生的時間差之外,此方法所需要的功能在硬體設備上也會產生另外的時間差,兩次的誤差會造成攝影機很難對移動物體做良好的追蹤。根據實作之後的結果,我們認為此方法無法達到本研究主題所預期的效果,因此需利用其他方法來實現本研究希望能達到的追蹤效果。
比較我們所實驗的三種方法,可以發現在很多方面它們會有不同的表現,以下用表格列出:
|
計算複雜度 |
鏡頭反應時間 |
對移動的限制 |
Global Motion Estimation |
稍大 |
佳 |
沒有 |
扣掉小MV |
小 |
普通 |
有 |
固定攝影機 |
小 |
不佳 |
有 |
n 計算複雜度:程式計算量與複雜度。
n 鏡頭反應時間:鏡頭偵測到物體後做追蹤的靈敏度,如鏡頭移動是否順暢或是會不會有延遲等等。
n 對移動的限制:
扣掉小MV─ 物體的移動要大一點,且攝影機的移動(Global Motion)不能太大。
固定攝影機─ 物體移動不能太快,否則攝影機會來不及追上。