MPEG 定義了三種畫面編碼模式，分別為I畫面、P畫面與B畫面。B畫面在解碼時，需要參考P畫面或I畫面，這些被參考的畫面，需要先被編碼與傳送，隨後再接著傳送B畫面。所以編碼的順序與顯示的順序會不相同。
圖2.8
I
畫面（Intra-coded
Pictures）：
僅使用畫面內的資料進行編碼，在編解碼時，不需參考其他畫面的資料也可以單獨進行解碼。I畫面是一視訊序列或一畫面群組的第一張，隨後在畫面群組裡的P畫面與B畫面都會參考到它的資料，所以在網路傳輸時需要特別保護其畫面資料的遺失，以免造成隨後畫面影像品質的損害。
P 畫面（Predictive Coded Pictures）：
在編解碼時，使用到參考畫面（Reference Picture）的資料，這些參考畫面為前面播放的I畫面或P畫面，而參考的位置以移動估測所產生的移動向量來表示，畫面資訊在參考畫面找不到相似的大區塊時，會使用 Intra模式編碼。
B 畫面（Bidirectionally Predicted Pictures）：
如同 P 畫面一樣，只是可以參考前面及後面畫面的資料。
MPEG視訊編碼將視訊由大至小分為下列六個結構化的物件來
處理
視訊序列（Video
Sequence）：
由數個影像或影像群組所組成，然而一部影片可以只由一個視訊序列組成，也可以由數個視訊序列所組成。
影像群組（Group
of Pictures；GOP）：
由一張 I
畫面及數張 P
及 B
畫面所組成，而 M
與 N
是用來描述一 GOP
結構的參數，M
代表在一 GOP
裡的畫面總數目，N
代表兩個連續的 P
畫面的距離。GOP
是視訊序列隨機存取的基本單位。
影像（Picture）：
由數個片段（Slice）所組成，為最主要的編碼單位，描述了影像編碼的型態
I，P，B。
片段（Slice）：
由數個大區塊（Macroblock）所組成，描述了在影像中的垂直位置，是訊號同步及錯誤控制的最小單位。
大區塊（Macroblock）：
由四個亮度信號區塊（Luminance
Block）及數個色彩（Chrominance）信號區塊所組成，如圖2.5其中色彩信號區塊的數目是依據影像數位化的取樣格式決定。大區塊是移動估測及移動補償的基本單位，描述了編碼型態、移動向量及在片段中距離第一個大區塊的相對位址。
區塊（Block）：
包含量化後的畫面資料，由8＊8的像素所組成。
圖2.9 MPEG4編碼流程圖