<天眼通>
指導老師：
張寶基
指導助教：
邱建勛
參賽隊員：
陳鈺衡
趙宣安
系 別：通訊工程學系
目 錄
專題摘要
一.. 前言
二.. 原理分析與系統設計
2.1.......... 原理分析
2.2.......... 系統設計
三.. 實驗結果與比較
四.. 結論
五.. 團隊合作方式
六.. 參考文獻
專題摘要
建立一個以H.264編解碼並結合串流的即時影像傳輸程式，以達成一個可以有影像傳輸，視訊會議，遠端監控等多種可能用途的H.264串流編解碼播放器，並在之後研究程式擴充與延伸的各種用途之可能性。
H.264
影像編解碼與多媒體即時串流傳輸如今已被廣泛的利用的各個層面，不論是手機或是影音分享網站都可見到這些技術的蹤跡。因此我們計劃將這兩種技術同時運用於我們所要建立的影像傳輸軟體，達成一個運用H.264編解碼的多媒體即時串流傳輸影像程式，而此程式也將因為使用了這兩種技術而有相當廣泛的用途。一、 前言
原先方向為H.264的影像編解碼，實現一個可同時接收、傳送與編解碼影像的程式，並讓兩個使用者用此程式互傳，同時擔任傳送端和接收端。但這畢竟只是一對一的影像互傳，在實做方面，應用不是很廣，於是，我們就將其功能延伸，做成多對多的影像傳輸，並且結合文字傳輸系統，就好像如同視訊會議一般的功能。
二、原理分析與系統設計
2.1 原理分析
首先，我們利用到最基本的傳送原理，將影像來源經過編碼後傳送，在接收端有一解碼器再將其展示。而在傳送中，是先以H.264的規格編碼並用RTP實現影像串流。(如Fig.2-1所示)
Fig. 2-1 傳送示意
圖
傳送中，server端和client端的socket必須要先打開，才可以傳送資料。
(如Fig.2-2所示)
Fig. 2-2 Socket 示意圖[5]
在編碼時，先做Motion
Estimation去偵測物體的變化量，以及 Intra
Prediction預測下一張frame，做完之後比較各模式的好壞，選擇較好預測模式後再去做
Transform和 Quantization最後再做Entropy
Encode編碼後送出。在解碼端則將編碼端的動作大致以相反的次序再做一次。 (如Fig.2-3,
4所示)
Fig. 2-3 H.264 Encoder [1]
Fig. 2-4 H.264 Decoder [1]
在影像中，我們需要用到RTP (Real-time Transport Protocol)以及RTCP
(Real-time Transport Control Protocol)協定的幫助才可以達到即時串流影音的目的 (如Fig.2-5所示)
Fig. 2-5 RTP Session示意圖
2.2 系統設計
如Fig.2-6，首先按Initialize鈕啟動Webcam並設定好要傳送的frame rate以及QP大小，再按Start鈕，建立傳送端功能等待使用者加入連線，這時，其他程式使用者只要輸入此使用者的IP，即可看到該傳送過來的影像。而程式可同時執行接收端與傳送端的功能，也就是說在程式對其他使用者傳送影像的同時，也可對其他使用者要求影像的傳送。如此互相往來最終便達到多對多視訊會議的目標。
Fig.2-6 視窗配置圖
按鈕說明:
1.initialize : 負責啟動攝影機，使其開始攝影
2.start & stop all : 啟動與停止server端
3.set parameter : 依使用者的QP喜好可作調整
4.IP : 欲連線對象的IP位址
5.connect : 與上面方塊的IP位址進行連線
6.accept : 是否接受遠端連線
7.disconnect : 離線
8.chatroom : 聊天室訊息顯示視窗
(切換後見圖Fig.2-7)
Fig.2-7 聊天室視窗介面
流程圖
傳送端
接收端
三、實驗結果比較
原程式為通訊實驗室的學長留下來的使用PTZ(Pan,
Tilt, Zoom)之影像監控軟體，有著rate control，顯示流量，定時錄影，控制攝影機角度與焦距等功能。但這些功能與我們建立視訊會議軟體的目標無關，且此程式有許多地方不符合我們所需，例如：
整套軟體分為兩個程式：傳送端(Camera /
Client)與接收端(Server)，且兩程式無法同時在同一台電腦上執行，就算可執行，對使用者也非常不方便，不符合我們建立視訊會議程式的目標。
程式的傳送端為一對一單向影像傳送，接收端為多對一的單向影像接收，不符合我們想建立的多對多雙向影像傳輸視訊會議軟體的目標。
實驗步驟：
第一階段：由於以上理由，我們決定研究傳送端與接收端的程式碼，並將大部分與視訊會議無關的功能清除，只留下基本的H.264編解碼與RTP串流傳輸功能。
第二階段：為了便利使用者與整合影像的解碼與網路傳輸，我們把這兩端的程式碼做一個整合，實現一個便利的影像接收與傳輸平台。(見Fig.3-1)
Fig.3-1 初步程式整合
第三階段：在初步的整合後，我們開始深入研究與修改程式碼，讓程式可對多個目標同時執行以下動作(見Fig.3-2~7)：
WebCam抓取的影像做H.264編碼
對3個會議成員RTP串流影像傳送
接收3個會議成員的RTP串流影像
對已接收的RTP串流作H.264影像解碼
與3個會議成員交換控制訊息
Fig.3
Fig.3
以下為多對多的傳輸之實驗結果，各使用者的連結狀況見 Fig.3-4
Fig.3-4 多對多影像傳輸測試圖
Fig.3-5 Fig.3-4中的Host A視角
Fig.3-6 Fig.3-4中的Host B視角
Fig.3-7 Fig.3-4中的Host C視角
Fig.3-8 全系統與全視角
四、結論
在研究已建立好的串流編解碼影像程式後，發覺影像編解碼與即時串流傳輸的搭配的確是非常的複雜，而且我們在把傳送與接收的功能視窗整合於同一視窗的階段上遇到了相當大的困難，像是網路資源(port, socket, RTP session, bit rate(由QP與frame rate控制))與電腦資源(記憶體)的分配，而另一個程式上的瓶頸則是要建立並維持一個可靠的多對多網路傳輸，像是延遲回應或是漏失封包等狀況的解決方法。由於我們從來沒處理過這麼大的程式，剛開始時甚至感到不知從何下手，而在程式碼的建立與debug中，我們也遇到了許多問題和挫折，許多更是以前想都沒想過的，並在過程中學到了許多單從課本裡無法學到的知識，對於團隊合作與工作態度等方面也學到不少。深深的感到自己的背景知識不足與才疏學淺。但最後我們還是克服了許多技術上的難關，建立了一個具有實用性的軟體，感到了無比的成就感。
五、團隊合作方式
題目選取:
因為H.264影像編碼，是目前非常實用的編碼技術，因此助教就建議我們可以往這方向去著手，於是就想到了可以利用H.264編解碼來做影像傳輸，以提高影像品質，並且在現在這個充斥網路的時代，影像傳輸可以非常實用，就算之後要再延伸技術的話，也是很好的方向。
實作進行:
工作分配:
程式指導與協調整合: 助教
Debug: 陳鈺衡、趙宣安
程式碼了解: 趙宣安、陳鈺衡
Camera端: 趙宣安
Server端: 陳鈺衡
Camera端和Server端整合: 陳鈺衡、趙宣安
測試: 趙宣安、陳鈺衡
問題解決:
1.在一開始連線時，QP(影像的量化參數)會變動，導致影像品質不佳。
-因為影像不知道要聽傳送端給的QP值還是接收端設定的QP值，所以一律由傳送端決定QP即可。
2.無法建立多對多影像傳輸
■整合程式的接收端與傳送端的功能
▲兩程式碼中變數宣告會重複定義，須個別處理
▲兩程式的專案屬性有不同的地方，需進屬性頁修改
■建立雙向傳輸
▲建立兩個RTP Session，並且重新定義接收和傳送的Socket
▲讓雙向傳輸的兩方定期傳送控制訊息(使用TCP傳輸)，避免網路出現問題。
■建立一對多影像傳輸
▲對不同的目標建立RTP session後，解決衝突問題
▲修改程式碼，解決程式無法分辨不同傳送端客戶的問題
▲只做一次編碼並傳送給三個目標，節省系統資源
■一對多連線時，後加入的接收端會當機
▲由於上一段的第三點所提到的方法，造成使用inter prediction的 frame 找不到reference，會造成記憶體錯誤，因此，當傳送端有新的接收端加入，會對所有的接收端，送出使用intra prediction的frame(因為是同一份編碼後的影像傳給三個目標)
3.變動視窗介面的配置後影像的位置會亂跑
-控制影像位置的函式與編譯器中的界面配置設定互相獨立
4.斷線後重連，程式會當掉或無法顯示
-接收端會要求傳送端關閉SOCKET與RTP SESSION及重建，並且將記憶體清乾淨，將變數還原
實作中新增創意:
聊天室
在影像傳輸時，覺得除了傳送影像之外，還可以新增文字傳輸系統，使各使用者可以互傳文字，並且使用者可依自己喜好輸入ID，在傳文字時，也可增加悄悄話(只對單一使用者)，或著廣播模式(針對所有使用者)
多對多影像傳輸
本來只是想說影像可以兩使用者互傳就好，後來覺得說如果可以做成多對多影像傳輸，就好像視訊會議一般，一群人可以互相看到彼此，再配合文字傳輸，就是我們最終的目標。
六、參考文獻
[1] RFC 3984, “RTP Payload Format for H.264 Video”
[2] JRTPLib - Reference Manual
(http://research.edm.uhasselt.be/~jori/page/index.php?n=CS.Jrtplib)
[3] x264 Options Explained Guide
(http://www.digital-digest.com/articles/x264_options_page1.html )
[4] Iain E. G. Richardson, “H.264 and MPEG-4 Video Compression: Video Coding for
Next-generation Multimedia,”1st edition, Wiley. August 2003.
[5] J. Kurose, K. Ross, “Computer Networking: A Top Down Approach Featuring the Internet,”3rd edition. Addison-Wesley. July 2004.