會議報告（會議類別：其他）

出席動態影像專家群組-

MPEG #128/ITU-T 國際標準會議報告

出國單位：財團法人工業技術研究院

出席人員：王聖博、蔡懿婷

派赴地區：瑞士/日內瓦

會議期間：108 年 10 月 1 日至 108 年 10 月 11 日

報告日期：108 年 10 月 30 日

1

摘 要

聯合視訊專家小組(Joint Video Exert Team, JVET)會議第 16 次會議在瑞

士的日內瓦舉行。本計畫團隊依規劃有 2 位成員出席，此行主要任務包括推

動本計畫團隊提案，參與下世代視訊編碼(Future Video Coding, FVC)技術、

360 度影片編碼技術、核心實驗(Core Experiment, CE)提案的討論，掌握下世

代視訊編碼標準制定時程與標準編碼技術的發展。同時間，本計畫團隊也參

加了動態影像專家群組(Moving Picture Experts Group, MPEG)會議與臨時編

組(Ad Hoc Group, AHG)會議，關注各項最新與視訊編碼技術相關的資訊和未

來視訊編碼的需求。

本次會議的重要結論包括：(1)在本次的 JVET 會議期間，參與的專家對

於上次會期所建立的各個核心實驗之結果進行比較與討論，並決定了最終進

入標準的編碼工具。同時預計於本會期結束後一個月後釋出新版的參考軟體

多功能測試模型 7.0 (Versatile Test Model 7.0, VTM 7.0)。(2)在 JVET 會議結

束之前，專家們將針對螢幕內容編碼、參考畫面重取樣與無失真編碼方法等

編碼工具進行測試與開發，並且專注於對現有參考軟體進行除錯與最佳化，

其結果將會在下一次的會期被檢視。(3)本次 PCC 會議對於前次會期的核心

實驗進行了討論與收斂，在 V-PCC 的部分，為因應即將到來的國際標準規格

書定稿時程，本次會期已將測試實驗的數量收斂至 1 個探索實驗(Exploration

Experiment, EE)，而 G-PCC 的部分，因為在這個會期有許多的技術提案所以

核心實驗增加至 11 個，並且建立 5 個探索實驗待下次會期進行更深入的討

論。

2

縮寫與中英文對照表

英文全稱 英文縮寫 中文翻譯

Ad Hoc Group AHG 臨時編組

Augmented Reality AR 擴增實境

Block DPCM BDPCM 區塊差分脈衝編碼調變

bin

編碼後位元

bin to bit bin2bit 編碼後位元數目與未編碼位

元數目之比

Breakout Group BoG 分支小組

Context-based

Adaptive Binary

Arithmetic Coding

CABAC 前文參考之適應性二元算術

編碼

Coded block flag CBF 編碼區塊標記

Committee Draft CD 委員會草稿

Coding Tree Unit CTU 編碼樹單元

Common Test

Conditions

CTC 通用測試條件

Core Experiment CE 核心實驗

Coding Unit CU 編碼單元

Coefficient Group CG 係數組

Cubemap Projection CMP 六面體投影格式

Exploration

Experiment

EE 探索實驗

Final Draft

International Standard

FDIS 最終國際標準草案

Future Video Coding FVC 下世代視訊編碼

Geometry-based point

cloud compression

G-PCC 基於地理資訊的點雲壓縮

Hybrid Equiangular

Cubemap

HEC 複合式等角度六面體投影格

式

High Level Syntax HLS 高階層語法

Intra Block Copy IBC 畫面內區塊複製

Internet on Thing IoT 物聯網

Intra Sub-Partitions ISP 畫面內分區

ITU

Telecommunication

Standardization

Sector

ITU-T 國際電信聯盟_電信分支

3

英文全稱 英文縮寫 中文翻譯

Joint Video Expert

Team

JVET 聯合視訊專家小組

Luma Mapping with

Chroma Scaling

LMCS 以色度定標的亮度映射

Matrix-based Intra

Prediction

MIP 基於矩陣的畫面內預測

Metadata for Immersive Video

MIV 沉浸式影像用中介資料

Moving Picture

Experts Group

MPEG 動態影像專家群組

Multiple Transform

Selection

MTS 多重轉換選擇

Point Cloud

Compression

PCC 點雲壓縮

Prediction refinement

with optical flow

PROF 以光流進行預測細化

Picture Parameter Set PPS 畫面層級參數組

Quantization

Parameter

QP 量化參數

Random Access RA 隨機存取

Reference Picture

Resampling

RPR 參考畫面重取樣

Screen Content

Coding

SCC 螢幕內容編碼

Sequence parameter

set

SPS 序列參數集

Sobel filter 索伯濾波器

Study Group 16 SG16 第 16 研究群組

Ternary split TT 三元分割

Transform Skip TS 轉換跳過

Transform Unit TU 轉換單元

Versatile Test Model VTM 多功能測試模型

Versatile Test Model

6.0

VTM 6.0 多功能測試模型 6.0

Video-based point

cloud compression

V-PCC 基於影像資訊的點雲壓縮

Versatile Video

Coding

VVC 多功能視訊編碼

Virtual Reality VR 虛擬實境

Extended Reality XR 延展實境

4

英文全稱 英文縮寫 中文翻譯

YUV 是一種顏色編碼方法。「Y」

表示明亮度，「U」和「V」

則是色度

Working Draft WD 工作草案

5

會議解說

JVET 會議是由 ITU-T SG16 和 MPEG 在 2015 年共同建立，針對 FVC 技

術進行技術探索，並且在聖地牙哥會議，開始制定 H.266 視訊編碼標準。第

16 次的 JVET 會議在瑞士的日內瓦舉行，共有約超過 400 位來自各個公司的

專家代表參加，提案數量超過了 1000 篇。本次會議的主要內容大概可以分

為傳統 2D 影片編碼技術、360 度影片編碼技術、CE 之技術內容以及 CE 相

關技術。

傳統 2D 影片編碼技術將主要的模組分類成多個 CE 進行討論，例如分

割、迴圈式濾波器、畫面內預測、畫面間預測、算數編碼引擎及轉換等等。

會議的一開始先檢視了前次會議所建立之CE的結果，並在會期中進行討論，

同時間也檢視了CE相關技術，在會議的最後則統整了這些技術的討論決議，

將標準組織成員感興趣之技術建立 CE，預計在下次會議前完成研究。

6

與會成員工作分配

成 員 任 務

王聖博

參加 MPEG/ITU-T 與 Panoramic/360/Screen content 等

相關技術議題之會議 session，報告與推動技術提案，與

國際大廠和研究單位進行交流和討論和交互驗證，並負

責 in-meeting 交互技術測試與演算法修改。同時將對

標準會議中的技術提案，於關鍵處發表意見，以獲得與

會國際廠商和研究單位的重視，增加工研院在 MPEG

標準組織上的能見度，爭取對工研院技術提案的支持。

蔡懿婷

參加 MPEG 第 128 次與 ITU-T 標準制定會議，掌握

Point Cloud Compression 標準時程和趨勢發展、報告與

推動標準提案，參與 High Dynamic Range、High Level

Syntax 與主觀品質加強主題等相關技術議題之會議，

在會議上發表專業意見討論主觀品質的測試條件以及

測試基準，擔任與聯發科合作的窗口，致力於將本團隊

與聯發科之聯合提案推動至標準中，同時關注標準制定

之進展，將最新相關標準資訊帶回國內。

7

目 錄

摘 要 1

會議解說 ................................................................................................................. 5

與會成員工作分配 ................................................................................................. 6

一、 會議名稱 ....................................................................................................... 8

二、參加會議目的及效益 ..................................................................................... 8

三、會議時間 ......................................................................................................... 8

四、會議地點 ......................................................................................................... 8

五、會議議程 ......................................................................................................... 9

六、會議紀要 ....................................................................................................... 12

七、心得及建議 ................................................................................................... 32

8

一、 會議名稱

MPEG#128 和 ITU-T Meeting

二、參加會議目的及效益

此次參加在瑞士的日內瓦所舉辦的第 128 次 MPEG 會議和第 16 次

JVET 會議，其目的在於推動本計畫團隊提案至 MPEG 與 JVET 會議，並

且參與 FVC 技術、360 度影片編碼技術、PCC 與 CE 提案的討論。本次

主要完成任務如下：

參與 AHG、CE 及 BoG 會議中的審查和討論，並追蹤各項技術之

最新情況。

參與 360 度影片編碼技術等議題的審查和討論，並且參與 360 度編

碼函式庫、360 度編碼信令、投影格式效能、適應性量化編碼技術

和 360 度影片測試方法等項目的討論。

參與 MPEG PCC 標準討論會議，針對 HLS、編碼效能提升與影像

品質提高等議題進行交流討論。

與來自各個世界級大廠或研究單位的專家代表接觸，討論技術發展

趨勢，同時探詢可能的合作機會。

追蹤 MPEG 會議與視訊編碼技術相關的未來技術發展趨勢、其他

標準制定進度、最新應用情境與市場需求。

三、會議時間

Oct 1, 2019 ~ Oct 11, 2019

四、會議地點

瑞士/日內瓦(Geneva, Switzerland)

ITU Tower building

地址： 2 rue de Varembé, Geneva., Switzerland

電話： +41-22 730-5445

9

五、會議議程

本計畫團隊除了參加 JVET 會議之外，也同時參加了在同一個地點舉辦

的 MPEG 會議，會議的議程如表一。

表一：JVET 與 MPEG 會議之議程表

Tuesday, October 1

Group Time Room

JVET Plenary 14:30–15:30 Tower building

JVET AHGs 8, 12, 17 15:30-16:30 Tower building

JVET High-level

functional

16:30-22:15 Tower building

Wednesday, October 2

Group Time Room

JVET High-level

functional

09:00-23:30 Tower building

Thursday, October 3

Group Time Room

JVET Plenary 09:00-10:30 Tower building

JVET Track A 11:00-13:45 Tower building

JVET Track B 11:00-17:15 Tower building

JVET HLS BoG 14:30-21:40 Tower building

JVET Track A 14:45-20:00 Tower building

Friday, October 4

Group Time Room

JCT-VC 09:00-13:00 Tower building

JVET BoG on CE3 related 09:00-11:15

14:00-20:00

Tower building

JVET BoG on CE4 related 14:30-21:30 Tower building

JVET Track A 11:30-22:30 Tower building

JVET Track B 14:30-19:00 Tower building

JVET BoG on HLS 09:00-22:35 Tower building

10

Saturday, October 5

Group Time Room

JVET Track B 09:00-18:00 Tower building

Sunday, October 6

Group Time Room

JVET Plenary 12:00-19:45 Tower building

JVET Track A 20:00-22:30 Tower building

JVET Track B 20:00-21:40 Tower building

Monday, October 7

Group Time Room

JVET Track A 14:20-17:45 Tower building

JVET Track B 09:00-18:00 Tower building

Tuesday, October 8

Group Time Room

JVET Track A 11:30-18:00 Tower building

JVET Track B 11:15-18:15 Tower building

Wednesday, July 9

Group Time Room

JVET Track B 11:30-23:30 Tower building

CE5 related BoG 11:00-14:00

15:00-20:30

Tower building

JVET Track A 11:30-14:15 Tower building

JVET Track A 15:15-21:45 Tower building

JVET Track B 11:30-23:30 Tower building

Thursday, October 10

Group Time Room

JVET Track A 09:00-20:00 Tower building

JVET Track B 11:15-20:20 Tower building

11

Friday, October 11

Group Time Room

Plenary 08:00-12:45 Tower building

未來 JVET 會議時間與地點如下:

會議 時間 地點

JVET #17 7 – 17 Jan. 2020 Brussels, BE

JVET #18 15 – 24 Mar. 2020 Alpbach, AT

JVET #19 23 June – 1 July 2020 Geneva, CH

JVET #20 12 – 16 Oct. 2020 Rennes, FR

12

六、會議紀要

這次在瑞士日內瓦所舉行的第 16 次 JVET 會議，約有超過 1000 篇左

右的提案，包含傳統 2D 影片編碼技術、360 度影片編碼技術、CE 及 CE 相

關技術議題的討論。而在 PCC 標準制定會議中，亦有 100 篇以上的提案。以

下摘要本次會議在這些議題的重要提案：

JVET-P0289:“Non-CE3: MIP simplification”,Sharp

基於矩陣的畫面內預測（MIP）基於矩陣 mWeight [][]（predC x predC

x inSize）生成中間預測 predMip [][]（predW x predH），並將 predMip [][]

插值/放大至預測 predSamples（nTbW x nTbH），如圖一所示。

圖一：基於矩陣的畫面內預測概述

但是，在 VVC 草案 6 中，predMip 的大小可以與 mWeight 的大小不

同（predW！= predC 或 predH！= predC）。這意味著矩陣運算（乘加運算）

需要額外的處理。這種不一致是不希望的。大小不匹配的原因是矩陣選擇

（決定 MipSize）可以選擇大於目標區塊大小的矩陣。即可以在 16x4 和

4x16 區塊中選擇 8x8 矩陣（MipSizeId = 2）。似乎當前的不匹配選擇沒有

顯示任何編碼性能或計算優勢。建議通過調整矩陣選擇來消除這種不一

致。

13

表二：輸入區塊的 SizeId 分類

sizeI

d

w=4 8 16 32 64

h=4 0 1 2 - -

8 1 1 2 2 -

16 2 2 2 2 2

32 - 2 2 2 2

64 - - 2 2 2

在本篇提案中，我們建議中間預測 predMip[][]的大小始終與 mWeight

矩陣輸出大小（predW = predH = predC）匹配，這使矩陣運算更加簡單，

並刪除了一些中間計算。

提議的更改是得出 MipSizeId（選擇矩陣大小）如下

MipSizeId = ( width == 4 && height == 4 ) ? 0 : ( width * height <= 64 ) ? 1: 2

表三列出了所提出方法的分類結果。

表三：輸入區塊的 SizeId 分類

sizeI

d

w=4 8 16 32 64

h=4 0 1 1 - -

8 1 1 2 2 -

16 1 2 2 2 2

32 - 2 2 2 2

64 - - 2 2 2

通過提議的更改，incH 和 incW 都變為 1。因此，矩陣運算可以簡化

如下:

predMip[ x ][ y ] = ( ( ( ∑ mWeight[ i ][ y ∗ incH ∗ predC + x ∗ incW ] ∗ p[ i ]inSize − 1

i = 0 ) +

oW ) >> sW ) + pTemp[ 0 ] (8-67)

在此，可以在矩陣計算中刪除抽取（incH 和 incW）。

由於 predW，predH，predC，mipW 和 mipH 對於每個 MipSize 都變

為相同的常數，因此可以大大簡化 WD 文本。

WD 文本變動如下:

8.4.1 General decoding process for coding units coded in intra prediction mode

1. The variable MipSizeId[ x ][ y ] for x = xCb..xCb + cbWidth − 1 and

y = yCb..yCb + cbHeight − 1 is derived as follows:

14

– If both cbWidth and cbHeight are equal to 4, MipSizeId[ x ][ y ] is set equal to 0.

– Otherwise, if both cbWidth and cbHeight are less than or equal to 8cbWidth*cbHeight

<= 64, MipSizeId[ x ][ y ] is set equal to 1.

– Otherwise, MipSizeId[ x ][ y ] is set equal to 2.

or

2. The variable MipSizeId[ x ][ y ] for x = xCb..xCb + cbWidth − 1 and

y = yCb..yCb + cbHeight − 1 is derived as follows:

– If both cbWidth and cbHeight are equal to 4, MipSizeId[ x ][ y ] is set equal to 0.

– Otherwise, if either cbWidth or cbHeight is equal to 4, or both cbWidth and cbHeight

are equal to 8

– Otherwise, MipSizeId[ x ][ y ] is set equal to 2.

8.4.5.2.1 Matrix-based intra sample prediction

Table 8-4 – Specification of number of prediction modes numModes, boundary

size boundarySize, and prediction sizes predW, predH and predC using

MipSizeId MipSizeId numModes boundarySize predW predH predC

0 35 2 4 4 4

1 19 4 4 4 4

2 11 4 Min( nTbW, 8 ) Min( nTbH, 8 ) 8

…

The variables mipW and mipH are derived as follows:

mipW = isTransposed ? predH :

predW (8-57)

mipH = isTransposed ? predW :

predH (8-58)

– The matrix-based intra prediction samples predMip[ x ][ y ], with x = 0..mipWpredC − 1,

y = 0..mipHpredC − 1 are derived as follows:

oW = ( 1 << ( sW − 1 ) ) − fO * (∑ p[ i ]inSize − 1

i = 0 ) (8-64)

incW = ( predC > mipW ) ? 2 : 1 (8-65)

incH = ( predC > mipH ) ? 2 : 1 (8-66)

predMip[ x ][ y ] = ( ( ( ∑ mWeight[ i ][ y ∗ incH ∗ predC + x ∗ incW ] ∗ p[ i ]inSize − 1

i = 0 ) +

oW ) >> sW ) + pTemp[ 0 ] (8-67)

JVET-P0475 : “Non-CE8: Simplification of palette predictor update for small

CUs”, Qualcomm

15

在 VTM 6.0 中，如果使用調色板模式，則 CU 中的像素值由一小組

代表性顏色值表示。該集合稱為調色板表。為了對調色板表進行編碼，維

護了調色板預測器。對於調色板預測器中的每個紀錄，將發出重用標誌的

信號，以指示它是否是當前調色板的一部分。在對調色板編碼的 CU 進行

編碼之後，調色板預測器將使用當前調色板進行更新，並且先前調色板預

測器中未在當前調色板中再次使用的紀錄將被依序添加到新調色板預測

器的末尾，直到允許的最大大小為止（在 VTM 6.0 中為 63）。該過程稱為

調色板填充。圖二和圖三說明了調色板表的推導和調色板預測器的更新。

圖二：調色板表衍生自調色板預測器（標記為藍色的紀錄）和新信令的

顏色

圖三：使用當前調色板表和未使用的調色板預測器紀錄更新調色板預測

器（保持順序）

但是，調色板填充可能需要花費多個週期才能完成，因為編碼器/解

碼器需要依序檢查預測器中的每個紀錄是否用於預測調色板表。在檢查

預測值紀錄之後，填寫更新的顏色紀錄也將是依序過程。由於當前在

VTM 6.0 中設置的最大調色板預測器的大小為 63，並且在對下一個調色

板編碼的編碼單元進行編碼/解碼之前必須更新預測器，因此對於小區塊

例如 4x4、4x8 或 8x4，調色板預測器的更新過程可以成為瓶頸並導致管

道延遲。

在提出的第一種方法中，調色板預測器中允許用於預測調色板表的

元素僅限於前面 WxH 個元素（W 和 H 代表 CU 的寬度和高度）。圖四

16

說明了該過程。

圖四：描述調色板填充，用於預測的預測紀錄限於前面 WxH 元素情況

結果，用於調色板填充的編碼器/解碼器需要檢查的預測器紀錄數

（無論該元素是否用於預測）減少到 WxH。對於第 WxH 個位置之後的

預測器紀錄（在圖中標記為灰色），由於這些紀錄不用於預測，因此可

以直接複製元素，直到達到最大調色板大小。

在提出的第二種方法中，對於 CU 大小<64，調色板預測器更新是

繞過的，即，調色板預測器將保持與先前的調色板預測器相同。

JVET- P0059 : “CE8-4.1: BDPCM and Transform skip for Chroma”, Orange,

b-com, Sony Corporation.

CE8-4.1 針對色度測試 BDPCM 和轉換跳過。VVC 的當前設計支援

BDPCM 和轉換跳過，它們僅適用於亮度分量。為了使亮度和色度的 VVC

一致性設計得以實現，CE8-4.1 建議允許在色度分量上使用 BDCPM 和

TS。

提議的變更摘要如下：

•在 SPS 中發出信號 sps_bdpcm_chroma_enabled_flag 啟用色度的

BDPCM。

•如果啟用了用於色度的 BDPCM，則發出信號

intra_bdpcm_chroma_flag 和 intra_bdcpm_dir_chroma

（sps_bdcpm_chroma_enabled_flag 等於 1）。

•當 BDPCM 僅適用於亮度時，當前行為不變。

•當 BDPCM 也可用於色度時，將為每個色度區塊發送一個

intra_bdpcm_chroma_flag。這指示是否在色度塊上使用 BDPCM。當它打

17

開時，BDPCM 會同時用於兩個色度分量，並且會編碼一個額外的

intra_bdpcm_dir_chroma 標誌，以指示用於兩個色度分量的預測方向。

•每個組件的信號轉換類型（transform_skip_flag 和 mts_idx），變化最小：

•用於色度轉換跳過的附加單上下文模型。

•色度無多重轉換選擇。

•多重轉換選擇信令的前文參考模型和二值化均未更改。

•當使用用於色度的 BDPCM 時，不發送用於色度的

transform_skip_flag 信號，並且推斷為等於“使用了轉換跳

過”。

•將轉換跳過殘差編碼應用於色度轉換跳過的區塊

•轉換跳過殘差編碼直接用於色度轉換跳過和亮度轉換跳過。

•轉換跳過殘差編碼前文參考編碼位元的最大數量限制為每 1 個係

數 1.75。

JVET- P0077 : “CE8-1.3: Line-based CG Palette Mode”, Qualcomm Inc.

在 VTM 6.0 的調色板模式下，語法元素 palette_index_idc 和

palette_escape_val 以 CABAC 旁路編碼。為了提高 CABAC 吞吐量，在調

色板執行編碼（即，copy_above_palette_indices_flag 和 palette_run）之前

對整個CU的語法元素 palette_index_idc進行分組和解析，它們是CABAC

前文參考編碼的。另一方面，整個 CU 的語法元素 palette_escape_val 在

調色板運行編碼之後進行分組和解析。但是，在更壞的情況下，重建之前

存儲索引值，索引圖和逃脫顏色所需的緩衝區大小可能會佔用 CU 大小。

為了減小緩衝區的大小，提出了基於行係數組的調色板模式，該模式將

CU 分為具有 m 個樣本的許多段，其中針對每個係數組依序地編碼/解析

索引運行，調色板索引值和逃脫模式的量化顏色。另外，提出了移動對

CABAC 旁 路 編 碼 語 法 元 素 的 解 析 ， 即 ， palette_index_idc ，

18

palette_escape_val 在調色板執行編碼之後。

在本篇提案中，基於遍歷掃描模式，調色板模式的每個 CU 分為 m

個樣本的許多段（在此測試中，m = 16），如圖五所示。

每段中調色板執行編碼的編碼順序如下：對於每像素，將發出 1 個

前文參考編碼位元 run_copy_flag = 0 信號，指示該像素是否與前一個像

素具有相同的模式，即，前一個掃描像素和當前像素均為執行類型

COPY_ABOVE，或者前一個掃描像素和當前像素均為執行類型 INDEX，

並且相同索引值。否則，將發出 run_copy_flag = 1 的信號。

圖五：用於調色板的基於子區塊的索引圖掃描

如果像素和先前像素處於不同模式，則發一個前文參考編碼位元

copy_above_palette_indices_flag 信號，以指示該像素的執行類型，即，

INDEX 或 COPY_ABOVE。 與 VTM 6.0 中的調色板模式相同，如果樣

本在第一行（水平遍歷掃描）或第一列（垂直遍歷掃描）中，則解碼器不

必解析運行類型，因為預設情況下使用 INDEX 模式。如果先前解析的執

行類型為 COPY_ABOVE，則解碼器無需解析執行類型。

在一個段中對像素進行調色板執行編碼之後，將索引值（用於 INDEX

模式）和量化的逃脫顏色進行旁路編碼，並與前文參考編碼位元的編碼/

解析分開進行分組，以提高每條線係數組的吞吐量。由於索引值現在是在

執行編碼之後進行編碼/解析的，而不是像在 VTM 6.0 中那樣在調色板執

行編碼之前進行處理，因此編碼器不必用信號表示索引值

m

m

19

num_palette_indices_minus1 的 數 量 和 上 次 執 行 類 型

copy_above_indices_for_final_run_flag。

JVET- P0254 : “Issue of simplified luma mapping of LMCS”, Panasonic

在上次會議上，JVET-O0272 被用作 LMCS 亮度映射的編碼器約束。

圖六顯示了 JVET-O0272 的概念。指示原始域的 InputPivot 和指示重塑域

的 LmcsPivot 彼此關聯，並且每個都有 16 個元素。LmcsPivot 的軸分為

寬度為 32 的段。在樞軸推導的編碼器過程中，如果將多個樞軸分配給一

個段，則將較高的樞軸調整到下一個段。調整的結果是，可以確保單個段

沒有多個樞軸，並且解碼器可以使用“ lumasample >> 5”直接檢測相應

的樞軸，而不用將值與每個樞軸進行比較。該編碼器約束在 VVC 草案中

指定如下：

圖六：LMCS 樞軸的調整過程（JVET-O0272）

位元流一致性的要求是，對於 i =

lmcs_min_bin_idx..LmcsMaxBinIdx，當 LmcsPivot [i]的值不是 32

的倍數時，（LmcsPivot [i] >> 5）的值不得等於 （LmcsPivot [i +

1] >> 5）的值。

20

從 VVC 草案和 VTM 6.0 實作中，定義了兩個問題：

問題 1：如圖七所示，由於規範中定義“當 LmcsPivot [i]的值不是 32 的

倍數時”，因此當上一個樞軸的值是 32 的倍數時，不執行調整。造成的

結果是此示例中的 LmcsPivot [2]和 LmcsPivot [3]被分配給同一段，並且

解碼器無法直接決定要選擇哪個樞軸。

圖七：問題 1 的示例

問題 2：段的寬度固定為 32。因此，如果輸入圖像的 BitDepth 不同，則

段的數量將改變。圖八顯示了 BitDepth 分別等於 8、10 和 12 時的示例。

在 10 位元的情況下，段數為 32，樞軸數為 16，這將在斜率精度和記憶

體大小之間取得很好的平衡。另一方面，在 8 位元的情況下，段數為 8，

在樞軸數為 16 時，表示斜率小於 2 是不可能的。在 12 位元的情況下，

段數為 128，樞軸數是 16，在記憶體大小變大的情況下，斜率的精度將高

於必需的精度。

圖八：問題 2 的示例

21

本篇提案建議如下更改 VVC 草案中的約束。它包含兩個項目：

項目 1

刪除“當 LmcsPivot [i]的值不是 32 的倍數時”的條件。這種修改可

以保證一個段始終只有一個樞軸。

項目 2

使用 BitDepth 將段數固定為 32。當輸入不是 10 位元深度時，它可

以解決意外行為。

JVET-P0081 : “CE5-1.3: Unified design for longer tap deblocking line buffer

reduction”, Huawei Technologies Dusseldorf GmbH

VTM 6.0 使用更長的抽頭解區塊濾波器來有效地消除屬於較大區塊

的塊狀偽像。為了降低行緩衝區的要求，如下圖九所示，對於亮度解區塊，

在水平 CTU 邊緣邊界處，較長的抽頭濾波器用作不對稱濾波器，可修改

頂部 CU 的 3 個樣本，底部 CU 的 7 個樣本。對於色度去區塊，較長的抽

頭濾波器將關閉，並且只能使用普通的色度濾波器，該色度濾波器最多只

能在邊緣的任一側修改 1 個樣本。

本篇提案目的在統一水平 CTU 邊界處的亮度和色度去區塊設計，此

外還可提高水平色度 CTU 邊界處較大區塊的主觀品質。提出的解決方案

使用非對稱濾波器進行色度解區塊（類似於亮度解區塊），它修改了頂部

CTU 的 1 個樣本，並且最多可以修改底部 CTU 的 3 個樣本，如下圖十所

示。由於修改了更多樣本，與使用僅在邊緣的任一側修改 1 個樣本的常

規色度過濾器相比，該濾波器可以更有效地去除塊狀偽像。

It is a requirement of bitstream conformance that, for

i = lmcs_min_bin_idx..LmcsMaxBinIdx, when the value of LmcsPivot[ i ] is not a

multiple of 32, the value of ( LmcsPivot[ i ] >> (BitDepthY - 5) ) shall not be equal to

the value of ( LmcsPivot[ i + 1 ] >> (BitDepthY - 5) ).

22

圖九：在 VTM 6.0 中，色度較長的抽頭濾波器在水平 CTU 邊界處關閉

圖十：在水平色度 CTU 邊界處使用的非對稱較長抽頭色度去區塊濾波器

對於更長的抽頭濾波器決策，原始濾波器方程式如下：

23

dp0 = Abs( p2,0 − 2 * p1,0 + p0,0 )

dp1 = Abs( p2,1 − 2 * p1,1 + p0,1 )

dq0 = Abs( q2,0 − 2 * q1,0 + q0,0 )

dq1 = Abs( q2,1 − 2 * q1,1 + q0,1 )

在水平 CTU 邊界處，修改後的較長抽頭濾波器決策如下：（僅將 p2,0, p2,1替

換為 p1,0和 p1,1）

dp0 = Abs( p21,0 − 2 * p1,0 + p0,0 )

dp1 = Abs( p21,1 − 2 * p1,1 + p0,1 )

dq0 = Abs( q2,0 − 2 * q1,0 + q0,0 )

dq1 = Abs( q2,1 − 2 * q1,1 + q0,1 )

色度較長抽頭解區塊的原始較長抽頭濾波公式如下：

p0′ = Clip3( p0 − tC, p0 + tC, ( p3 + p2 + p1 + 2 * p0 + q0 + q1 + q2 + 4 ) >> 3 )

p1′ = Clip3( p1 − tC, p1 + tC, ( 2 * p3 + p2 + 2 * p1 + p0 + q0 + q1 + 4 ) >> 3 )

p2′ = Clip3( p2 − tC, p2 + tC, ( 3 * p3 + 2 * p2 + p1 + p0 + q0 + 4 ) >> 3 )

q0′ = Clip3( q0 − tC, q0 + tC, ( p2 + p1 + p0 + 2 * q0 + q1 + q2 + q3 + 4 ) >> 3 )

q1′ = Clip3( q1 − tC, q1 + tC, ( p1 + p0 + q0 + 2 * q1 + q2 + 2 * q3 + 4 ) >> 3 )

q2′= Clip3( q2 − tC, q2 + tC, ( p0 + q0 + q1 + 2 * q2 + 3 * q3 + 4 ) >> 3 )

在水平 CTU 邊界處，修改後的更長抽頭解區塊公式如下：

p0′ = Clip3( p0 − tC, p0 + tC, ( p3 + p2 + 3 * p1 + 2 * p0 + q0 + q1 + q2 + 4 ) >> 3 )

p1′ = Clip3( p1 − tC, p1 + tC, ( 2 * p3 + p2 + 2 * p1 + p0 + q0 + q1 + 4 ) >> 3 )

p2′ = Clip3( p2 − tC, p2 + tC, ( 3 * p3 + 2 * p2 + p1 + p0 + q0 + 4 ) >> 3 )

q0′ = Clip3( q0 − tC, q0 + tC, ( p2 + 2 * p1 + p0 + 2 * q0 + q1 + q2 + q3 + 4 ) >> 3 )

q1′ = Clip3( q1 − tC, q1 + tC, ( p1 + p0 + q0 + 2 * q1 + q2 + 2 * q3 + 4 ) >> 3 )

q2′= Clip3( q2 − tC, q2 + tC, ( p0 + q0 + q1 + 2 * q2 + 3 * q3 + 4 ) >> 3 )

可以通過將 P 側的最外面可用樣本填充到不可用樣本來推導濾波方

程式。對於 4：2：2 和 4：4：4 的內容，主觀效果更好。

24

JVET-P0900: “Non-CE8: Simplification of chroma BDPCM Syntax for single-

tree”, ITRI

在 JVET-P0059 CE8-4.1 的當前設計中，BDPCM 可通過語法

sps_bdpcm_chroma_enable_flag 應用於色度分量，以指示是否為色度分量

啟用了 BDPCM。啟用色度 BDPCM 時，發送 intra_bdpcm_chroma_flag 指

示色度分量上是否使用了 BDPCM。啟用該選項後，將發送一個附加的

intra_bdpcm_dir_chroma 標誌，以指示選擇了哪個預測方向。表四中顯示

了 CE8-4.1 中色度 BDPCM 的語法。

表四：CE8-4.1 中色度 BDPCM 的語法

intra_bdpcm_chroma_flag[ x0 ][ y0 ] ae(v)

if(intra_bdpcm_chroma_flag[ x0 ][ y0 ] )

intra_bdpcm_chroma_dir_flag[ x0 ][ y0 ] ae(v)

對於 VVC 畫面內預測，當色度分量直接重複使用相對應亮度分量的

編碼模式時，編碼性能得到改善。CE8-4.1 的色度 BDCPM 使用獨立的語

法，這可能會導致冗餘。因此，本篇提案通過推論亮度 BDPCM 來研究亮

度和色度分量之間的相關性，檢查色度 BDPCM 的修改語法。

本篇提案提出了兩種方法：

‒ 如果樹類型是 SINGLE_TREE，則相對於 CE8-4.1 的修改描述如

下：

‒ 僅當亮度BDPCM語法 intra_bdpcm_flag [x0] [y0]不等於 0時

才發送語法 intra_bdpcm_chroma_flag [x0] [y0]。

‒ 沒有發送語法 intra_bdpcm_chroma_dir_flag [x0] [y0]，並且推

論它等於亮度 BDPCM 語法 intra_bdpcm_dir_flag [x0] [y0]。

‒ 否則，CE8-4.1 中的行為不變

25

表五：建議方法 1 的語法

if ( treeType = = SINGLE_TREE ) {

if( intra_bdpcm_flag[ x0 ][ y0 ] ) // it refers to luma BDPCM

intra_bdpcm_chroma_flag[ x0 ][ y0 ] ae(v)

} else {

intra_bdpcm_chroma_flag[ x0 ][ y0 ] ae(v)

if(intra_bdpcm_chroma_flag[ x0 ][ y0 ] )

intra_bdpcm_chroma_dir_flag[ x0 ][ y0 ] ae(v)

}

‒ 如果樹類型是 SINGLE_TREE，則相對於 CE8-4.1 的修改描述

如下：

‒ 不發送色度 BDPCM 語法。推論 intra_bdpcm_chroma_flag

[x0] [y0]和 intra_bdpcm_chroma_dir_flag [x0] [y0]分別等於

亮度 BDPCM 語法 intra_bdpcm_flag [x0] [y0]和

intra_bdpcm_dir_flag [x0，[y0]。

‒ 否則，CE8-4.1 中的行為不變。

JVET-P0316 : “Coding of 360° video in non-compact cube layout using

uncoded areas”, RWTH Aachen

在CMP投影格式中，投影面的封裝排列是影響編碼效能的重要因素，

目前標準的封裝排列格式是緊密的 3x2 排列方式，由上排三個連續面與

下排三個連續面組成，但上排與下排之間並不連續，此種排列方式可有效

利用畫面面積，但是上排與下排之間的不連續卻容易造成接縫瑕疵，且會

使編碼效能下降。

26

圖十一：CMP 投影封裝格式

本篇提案提出一種不緊密的封裝格式，讓每個投影面的連接處都是

連續的影像資料，再利用旗標標示不編碼區域，避免空白區域造成無謂的

冗餘資料傳遞。此外本篇提案提出參考區塊的循環參照方法，讓最左側的

區塊可參照最右側的區塊，同時最右側的區塊也可參照最左側的區塊，讓

原本在三維空間中連續的投影面能夠在投影後利用連續的影像資料提高

畫面間預測中找到可參照區塊的機率，提高編碼效能。

圖十二：不緊密 CMP 投影封裝格式

實驗結果證實此篇提案的技術可提高編碼效能，同時降低解碼時間。

表六：此篇方法與原始方法的編碼效能比較 End-to-end WS-PSNR

Y U V EncT DecT

Class S1 0.19% 0.48% 0.11% - 80%

Class S2 -0.27% -1.25% -1.83% - 107%

Overall 0.01% -0.21% -0.66% - 90%

0 4

3

5

1 2

0 4

3

5 1

2 uncoded

uncoded

27

此外，值得注意的是增加面與面之間的連續性在動態畫面中可明顯

提高編碼效能在 YUV 色彩分量中個別達到 0.25%、0.78%與 1.24%的編

碼效能提升。且如圖十三所示，在動態畫面中由畫面兩側互相參照的狀況

相當頻繁，因此循環參照技術對於畫面間預測編碼工具產生顯著的助益。

圖十三：循環參照於畫面間預測的應用情形

M50666: “[V-PCC] CE2.12 report on high gradient points separation”,

MediaTek, ITRI

本篇提案提交了核心實驗 2.12 視覺品質的結果，主要方法是在拼貼

中分離出具有高梯度特性的點雲並將這些高梯度點雲沿不同方向投影以

存儲更多點雲。計算拼貼的幾何梯度以確定要分離的點。使用這種方法，

可以減少遺漏點的數量，並提高視覺品質。

為了找出須被分離的點雲，利用索伯濾波器於每個拼貼的幾何 D0 層

以計算其梯度。如果像素的梯度大於預定閾值 t_1，則投影在此 2D 位置

上的點雲將被視為高梯度點雲，接著將這些方向相似的點雲分組。因為不

希望從現有連接單元中只分離單個或少數幾個點，所以先計算高梯度點

雲的數量，並且使用預先定義的閾值 t_2 來濾除具有較少點雲的高梯度點

28

雲群組。而具有相當數量的高梯度點雲群組則會從當前連接單元中被移

除。然後，每個高梯度點雲群組根據其法向量的總和來計算新的方向。如

果該點雲群組連接到任何具有相同方向或相反方向的現有連接單元，它

將加入該連接單元。否則，高梯度組將成為新的連接單元。

以下表七顯示了此篇提案所提出方法的主觀品質。可以觀察到主觀

品質的提高，尤其是在高位元率時。

表七：此篇方法與原始方法的主觀品質比較

seq anchor proposed

longdress R5#1051

Longdress R5#1051

soldier R4#545

29

soldier R4#550

redandblack R4#1470

queen R5#4

dancer R5#11

basketball_player R4#5

30

M50667: “[V-PCC] [new proposal] Excluding color outlier for color

transfer”, MediaTek, ITRI

在目前 TMCv2-v7.0 中的顏色轉換演算法中，當搜索到的鄰居數大於

1 並且這些鄰居點都不在同一位置時，使用距離加權平均值計算目標點的

顏色。如表八所示，雖然以距離加權平均計算每個鄰居的顏色有利於壓縮，

但這個方法可能會使顏色邊界處的邊緣模糊化，因此，我們提出了一種方

法來緩解過度平滑的邊緣，但仍能保留了距離加權平均方法的優點。

圖十四：顏色轉換演算法中尋找鄰近點雲示意圖

在我們的方法中，首先通過原本以距離加權平均法計算平均顏色，作

為質心顏色。然後，如果鄰近點雲顏色與質心顏色的絕對值得差值大於閾

值，則排除此鄰近點，再次應用距離加權平均法。第二輪的距離加權平均

值將是最終的目標點顏色。

表八：此篇方法與原始方法的主觀品質比較

seq anchor proposed

loot R5#1000

31

Queen R5#0000

redandblack R4 #1450

soldier R4#540

32

七、心得及建議

心得

雖然VVC的標準制定工作已經進入DIS階段並預計於下個會期

結束後展開國際投票，但因應各種不同衍生應用的探索與開發

仍持續進行，其中包含針對電腦遊戲競賽、電腦動畫與遠端控制

的 SCC、針對醫療等需要無失真影像品質的無失真與接近無失

真編碼以及針對視訊串流的 RPR 等技術項目仍然相對活躍。

延續上次會期，V-PCC 持續在 DIS 的狀態，大部分在會議上的

專家對於編碼效率增加幅度小於 5%的編碼工具都抱持著拒絕的

態度，認為以目前的 V-PCC 狀態不適合再加入任何會影響 SPEC

的編碼工具，另一原因則是因為 V-PCC 目前的編碼效率已經滿

足當初訂製標準的需求，所以目前很難將編解碼工具推進V-PCC

標準。

相對於 V-PCC，G-PCC 從上個會期開始，延續到這次會期都有

大量的提案，也有許多提案進入核心實驗做測試，會議上許多專

家都對 G-PCC 技術提案發出高度興趣並且踴躍發言，雖然 G-

PCC 從這個會期也開始進入 DIS 的狀態，但還是具有相當高的

技術活動量。

建議

目前 H.266 編碼工具開發的階段已接近完成，綜觀 H.266 相較

H.265 以相同影像品質對比下編碼效能提高了 38%，然而技術的

進步與成熟不完全等同於市場能欣然接受。因此，未來發展將以

針對不同應用的技術開發為主，以消費者需求與應用導向出發，

開發符合市場期待的產品。本團隊未來的發展方向應廣泛收集

產業界的需要與建議，在技術萌芽階段起便將研發方向調整至

產業界與市場需要的技術開發。

33

本次 JVET 會議的參與人數仍居高不下，提案發表數量連續第二

年突破 1000 篇。但技術開發的方向已經明顯開始收斂。傳統編

碼工具的技術提案以 HLS、編碼效能優化、降低複雜度、程式碼

清理與除錯為主。本次會期後原本 8 個核心實驗工作組將有 3 個

停止測試，僅新增無失真與接近無失真編碼的核心實驗工作組，

且 SCC 核心實驗工作組將專注於開發調色盤編碼技術。因此本

團隊也應順應市場需要與會議形式，鎖定調色盤編碼技術、無失

真與接近無失真編碼等題材開發技術，提高獲大會接受的機率。

在這個會期中 V-PCC 與 MIV 也有多次的共同會議，會議中有部

分專家提出了V-PCC與MIV整合實驗結果，證明V-PCC與MIV

整合的可能性，也有許多專家也提出各種整合方案，再加上許多

專家認為如果可以將兩個標準整合成一個，在未來的產品研發

上可以減少許多成本，所以 MIV 專家們決議以 V-PCC 規範為基

底，修改成適用於 MIV 標準的規範，在未來將建立 AHG 連接

V-PCC 與 MIV 的專家共同制定與修改 V-PCC extension 與 MIV

標準，建議對這兩項標準有興趣之廠商可以進一步投入人力及

資源參與。