新一代视频编码标准HEVC的关键技术_赵耀
第２９卷第１期２０１４年１月数据采集与处理
Ｊｏｕｒｎａｌ ｏｆ Ｄａｔａ Ａｃｑｕｉｓｉｔｉｏｎ ａｎｄ ＰｒｏｃｅｓｓｉｎｇＶｏｌ．２９Ｎｏ．１
Ｊａｎ．２０１４
文章编号：１００４－９０３７（２０１４）０１－０００１－
１０新一代视频编码标准ＨＥＶＣ的关键技术
赵 耀 黄 晗 林春雨 白慧慧
（１．北京交通大学信息科学研究所，北京，１０００４４；２．现代信息科学与网络技术北京市重点实验室，北京，１０００４４）摘要：ＨＥＶＣ（Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ）是新一代的视频编码标准，它仍然采用了与先前视频编码标准Ｈ．２６４／ＡＶＣ一样的混合视频编码的基本框架，但在各个编码模块都进行了改进和革新。与Ｈ．２６４／ＡＶＣ相比较，在相同视频质量和应用条件下ＨＥＶＣ的码率降低将近一半。本文对ＨＥＶＣ的关键技术进行综述，着重研究探讨了帧内和帧间预测技术的原理和实现过程。关键词：视频编码；ＨＥＶＣ；帧内预测；高效视频编码中图分类号：ＴＮ９１９ 文献标识码：Ａ
基金项目：
国家重点基础研究发展规划（“九七三”计划）（２０１２ＣＢ３１６４００）资助项目；国家自然科学基金（６１２１０００６，６１２０２２４０，６１２７２０５１，６１０１３９３）资助项目；教育部长江学者与创新团队资助项目。 收稿日期：２０１３－１１－１０；修订日期：２０１３－１２－
３０Ｋｅｙ Ｔｅｃｈｎｉｑｕｅｓ ｉｎ Ｎｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ
Ｓｔａｎｄａｒｄ ＨＥＶＣＺｈａｏ Ｙａｏ，Ｈｕａｎｇ Ｈａｎ，Ｌｉｎ Ｃｈｕｎｙ
ｕ，Ｂａｉ Ｈｕｉｈｕｉ（１．Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ，Ｂｅｉｊｉｎｇ Ｊｉａｏｔｏｎｇ
Ｕｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ，１０００４４，Ｃｈｉｎａ；２．Ｂｅｉｊｉｎｇ Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ
ｏｆ Ａｄｖａｎｃｅｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ ａｎｄ Ｎｅｔｗｏｒｋ Ｔｅｃｈｎｏｌｏｇｙ，Ｂｅｉｊｉｎｇ，１０００４４，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：ＨＥＶＣ（Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ）ｉｓ ａ ｎｅｗ ｖｉｄｅｏ ｃｏｄｉｎｇ
ｓｔａｎｄａｒｄ．Ｉｔ ａｄｏｐｔｓ ｔｈｅｓａｍｅ ｈｙｂｒｉｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｓｃｈｅｍｅ ａｓ ｉｔｓ ｐｒｅｄｅｃｅｓｓｏｒ Ｈ．２６４／ＡＶＣ，ｂｕｔ ｉｍｐｒｏｖｅｓ ａｎｄ ｅｎｈａｎｃｅｓｅａｃｈ ｃｏｄｉｎｇ ｔｏｏｌ．Ｃｏｍｐａｒｅｄ ｗｉｔｈ Ｈ．２６４／ＡＶＣ，ａｐｐｒｏｘｉｍａｔｅｌｙ
５０％ｂｉｔｒａｔｅ ｒｅｄｕｃｔｉｏｎ ｉｓ ａ－ｃｈｉｅｖｅｄ ｕｎｄｅｒ ｅｑｕａｌ ｐｅｒｃｅｐｔｕａｌ ｑｕａｌｉｔｙ ａｎｄ ａｐｐｌｉｃａｔｉｏｎ ｃｏｎｄｉｔｉｏｎｓ．Ｉｎ ｔｈｉｓ ｐａｐｅｒ，ｔｈｅ ｋｅｙ ｔｅｃｈ－ｎｉｑｕｅｓ ｉｎ ＨＥＶＣ ａｒｅ ｉｎｔｒｏｄｕｃｅｄ，ａｎｄ ｔｈｅ ｕｎｄｅｒｌｉｎｇ
ｐｒｉｎｃｉｐｌｅｓ ａｎｄ ｔｈｅ ｄｅｔａｉｌｅｄ ｉｍｐｌｅｍｅｎｔａｔｉｏｎｓｏｆ ｉｎｔｒａ ａｎｄ ｉｎｔｅｒ ｐ
ｒｅｄｉｃｔｉｏｎ ａｒｅ ｉｎｖｅｓｔｉｇａｔｅｄ．Ｋｅｙ
ｗｏｒｄｓ：ｖｉｄｅｏ ｃｏｄｉｎｇ；ＨＥＶＣ；ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ；ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ引 言
随着视频技术的不断进步，拍摄视频的手段变得多样化，
人们通过手中的一些小型设备，如智能手机、手持家庭数码摄像机等，就可以记录下日常生产和生活中的影像。同时，ＹｏｕＴｕｂｅ、优酷、土豆等网络视频网站的兴起也给人们提供了一个便捷的分享和传播视频的途径。然而，这些设备和技术也使得视频源数据剧增，
并给当前的网络传输带来巨大挑战。从视频的清晰度来看，
高清视频逐渐普及，当前的发展趋势更是４Ｋ（分辨率为３８４０×２１６０）甚至８Ｋ（分辨率为７６８０×４３２０
）的超高清视频。面对这些新的需要和挑战，
国际标准组织ＩＴＵ－Ｔ ＶＣＥＧ和ＩＳＯ／ＩＥＣ ＭＰＥＧ于２０１０年成立
了联合视频工作组（Ｊｏｉｎｔ ｃｏｌｌａｂｏｒａｔｉｖｅ ｔｅａｍ
ｏｎｖｉｄｅｏ ｃｏｄｉｎｇ
，ＪＣＴＶＣ），并着手制定高效视频编码标准（Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ，ＨＥＶＣ）。经过多次ＪＣＴＶＣ会议的讨论、研究和改进，ＩＴＵ－Ｔ和ＩＳＯ／ＩＥＣ在２０１３年４月正式发布了ＨＥＶＣ标准，即ＩＴＵ－Ｔ Ｈ．２６５和ＭＰＥＧ－Ｈ Ｐａｒｔ ２。ＨＥＶＣ仍然采用了与先前视频编码标准
Ｈ．２６４／ＡＶＣ一样的混合视频编码的基本框架。如图１所示。其核心编码模块包括：帧内／帧间预测、变换和量化、熵编码、环内滤波等。编码器控制模块根据视频帧中不同图像块的局部特性，选择该图像块所采用的编码模式（
帧内或帧间预测编码）。对帧内预测编码的块进行频域或空域预测，对帧间预测编码的块进行运动补偿预测，预测的残差再通过变换和量化处理形成残差系数，最后通过熵编码器生成最终的码流。为避免预测误差的累积，帧内或帧间预测的参考信号是通过编码端的解码模块
得到。变换和量化后的残差系数经过反量化和反变换重建残差信号，再与预测的参考信号相加得到重建的图像。值得注意的是，对于帧内预测，参考信号是当前帧中已编码的块，
因此是未经过环内滤波的重建图像；而对于帧间预测，参考信号是解码重构图像缓存区中的参考帧，是经过环内滤波的重建图像。环内滤波的作用是去除块效应并提高解码图像的质量。
针对目前视频信号分辨率不断提高以及并行处理的普及应用，ＨＥＶＣ定义了灵活的分块结构，同时对各个编码模块进行了优化与改进，并添加了一些新的编码工具，使得ＨＥＶＣ的压缩效率得到
显著提高。与先前的Ｈ．２６４／ＡＶＣ标准相比较，在相同应用条件和视频质量的前提下ＨＥＶＣ的编码
效率要提高一倍［
１］
。图１ ＨＥＶＣ基本编码框架Ｆｉｇ
．１ Ｔｈｅ ｆｒａｍｅｗｏｒｋ ｏｆ ＨＥＶＣ１ 分块结构
一般来说，视频帧中图像的不同区域有着不同的局部特性，
如颜色、纹理结构、与参考帧的相关性（运动信息）等。因此，编码时通常需要进行分块处理，对具有不同特性的编码块采用不同的编码模式，从而达到较高的压缩效率。根据功能的不同，ＨＥＶＣ中定义了编码树单元（Ｃｏｄｉｎｇ
ｔｒｅｅ ｕｎｉｔ，ＣＴＵ），编码单元（Ｃｏｄｉｎｇ ｕｎｉｔ，ＣＵ），预测单元（Ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ，ＴＵ）和变换单元（Ｔｒａｎｓｆｏｒｍｕｎｉｔ，ＴＵ）四种不同的的编码块单元。一个ＣＴＵ可以由多个ＣＵ组成，一个ＣＵ在进行帧内／帧间预测时可以划分成多个ＰＵ，在进行变换和量化时又可以划分成多个ＴＵ。这些编码块单元中相应的像素块称为编码树块（Ｃｏｄｉｎｇ
ｔｒｅｅ ｂｌｏｃｋ，ＣＴＢ），编码块（Ｃｏｄｉｎｇ
ｂｌｏｃｋ，ＣＢ），预测块（Ｐｒｅｄｉｃｔｉｏｎｂｌｏｃｋ，ＰＢ）和变换块（Ｔｒａｎｓｆｏｒｍ ｂｌｏｃｋ，ＴＢ）。例如，一个编码单元包含一个亮度像素块和两个色度像素块。与Ｈ．２６４／ＡＶＣ中的宏块类似，
给定一种亮度像素块的分块模式，其对应的色度像素块进行同样的划分。
１．１ 编码树单元和编码单元
在ＨＥＶＣ中，
一个图像分割成互不重叠的编码树单元。编码树单元的作用与Ｈ．２６４／ＡＶＣ中的宏块类似，但编码树单元的尺寸可以是８×８，１６×１６，３２×３２或６４×６４，使得ＨＥＶＣ能够根据
不同的应用条件对编解码的延迟、内存使用和硬件的不同要求做出相应的配置。这种分块的灵活性以及采用更大的编码块是ＨＥＶＣ与先前编码标准相比最显著的区别和优势之一。当对高清视频进行编码时，
可以采用较大的编码树单元以提高压缩效率；当对低分辨率的视频进行编码或编码的复杂度受限时，可以采用较小的编码树单元。
编码树单元是由树状结构的编码单元组成。一个编码树单元可以通过四叉树递归分解的方式划分成多个编码单元，每个叶子节点上的编码单元是ＨＥＶＣ中进行编码的基本单位，用于指示当前块的预测模式，
即帧内或帧间预测。编码单元的尺寸最大为编码树单元的尺寸，最小为８×８。给定编码树单元的尺寸，其四叉树结构的层级可配置。当有多个层级时，按照深度优先、逐行扫描的顺序对编码单元进行遍历。图２显示了一个尺寸为
６４×６４的编码树单元及其四叉树分解的例子。图
２（ａ）中带箭头的虚线指示编码单元遍历的顺序，图２（ｂ）显示的是相应的四叉树结构，其中“１”
表示向下分解，“０”表示不分解。这些“０”和“１”组成的序列“１０１０１００１００１００”表示该编码树单元的四叉树结构。值得注意的是，当编码单元的尺寸为最小的８×８时，无需再用“１”或“０
”表示是否继续分解
。图２ 编码树单元四叉树结构示例Ｆｉｇ．２ Ｅｘａｍｐｌｅ ｏｆ ａ ｃｏｄｉｎｇ
ｔｒｅｅ ｕｎｉｔ２
数据采集与处理第２９卷
这种四叉树结构使得ＨＥＶＣ能够根据当前块的局部特性自适应地进行分块处理，在平滑区域采用较大的编码单元，而在纹理细节区域采用较小的编码单元。同时，
递归的结构保证了在处理不同尺寸的编码单元时的一致性，从而降低解析码流的复杂度，提高编码标准语法结构的明晰性。研究表明，
若减小编码树单元尺寸或增大最小编码单元尺寸都会明显降低编码效率［
２］。１．２ 预测单元
给定一个尺寸为２ Ｎ×２ Ｎ的编码单元，根据预测模式的不同它可以划分为一个或多个预测单元。预测单元是ＨＥＶＣ中进行帧内／帧间预测的最小单位，每个预测单元含有一组预测信息，即帧内预测的模式选择信息（预测方向）或帧间预测的运动参数（选择的参考帧、运动向量等）。ＨＥＶＣ中一共定义了８种预测单元的划分类型，如图３所示。当编码单元的预测模式为帧内预测时，预测单元的类型可以是２ Ｎ×２ Ｎ或Ｎ×Ｎ；当编码单元的预测模式为帧间预测时，预测单元的类型可以是８种类型中的任意一种。其中的非对称模式为可
选模式，
可以通过编码器配置开启或关闭。上述中预测块的划分是针对亮度像素块，色度像素块的划分与亮度像素块基本一致。然而，ＨＥＶＣ中规定预测像素块的尺寸不得小于４×４。也就是说，对一个８×８的编码单元，
即使亮度像素块依据预测单元的划分类型分解成多个预测像素块，但尺寸为４×４的色度像素块不进行分解
。
图３ 预测单元的划分类型Ｆｉｇ．３ ＰＵ ｐａｒｉｔｉｔｉｏｎ ｔｙｐ
ｅｓ１．３ 变换单元
一个编码单元以预测单元为单位进行帧内／帧间预测，
预测残差通过变换和量化达到进一步压缩。尺寸大的变换有较好的频率分辨率，而尺寸小
的变换有较好的空间分辨率［３］
。因此，需要根据残
差信号的时频特性自适应地调整变换单元的尺
寸［３］
。与编码单元和预测单元相对应，ＨＥＶＣ中
定义的变换单元的尺寸可以是３２×３２，１６×１６，８×８或４×４。然而，ＨＥＶＣ中并不支持６４×６４的ＤＣＴ变换。
一个编码单元中可以有一个或多个变换单元，允许一个编码单元中的预测残差通过四叉树递归分解的方式划分成多个变换单元分别进行处理。这个四叉树称为残差四叉树（Ｒｅｓｉｄｕａｌ ｑｕａｄｔｒｅｅ，ＲＱＴ）。与编码单元四叉树类似，残差四叉树通过深度优先、逐行扫描的顺序进行遍历，四叉树的结构由“０”和“１”组成的序列表示。变换单元的最大尺寸以及残差四叉树的层级可以根据不同的应用条件进行相应的配置，对实时性或复杂度要求较低的应用可以通过增加残差四叉树的层级来提高编码效率。
２ 帧内预测
帧内预测是通过当前帧中已编码块的重构图像预测当前块。如表１所示，ＨＥＶＣ中一共定义
了３５种帧内预测模式［４］
，包括Ｉｎｔｒａ＿Ｐｌａｎａｒ模式、
Ｉｎｔｒａ＿ＤＣ模式和３３种方向性帧内预测模式Ｉｎｔｒａ
＿Ａｎｇｕｌａｒ［ｋ］，ｋ＝２，…，３４。这３３种方向的定义如图４所示，图中的数字０～３４表示模式编号，字母Ｈ用于表示横轴方向，
后面的数字部分表示预测方向相对于水平向左方向的偏移值，
字母Ｖ用于表示纵轴方向，
后面的数字部分表示预测方向相对于垂直向上方向的偏移值。记这个偏移值为ｄ，它的单位为１／３２。
在横轴方向上，向下偏移时ｄ的值为正，向上偏移时ｄ的值为负，预测方向与水平向左方向夹角的正切值等于ｄ／３２；在纵轴方向上，向右偏移时ｄ的值为正，向左偏移时ｄ的值为负，预测方向与垂直向上方向夹角的正切值等于ｄ／３２。由图４可以看出，模式２～１７为横轴方向上的预测模式，模式１８～３４为纵轴方向上的预测模式。与Ｈ．２６４／ＡＶＣ相比较，ＨＥＶＣ中方向性帧内预测的角度划分更细，从而能够更好地捕捉图像中的方向性纹理信息，
提高帧内预测的准确性。另一方面，Ｈ．２６４／ＡＶＣ中仅支持１６×１６，８×８或４×４块大小的帧内预测，且在不同块大小上帧内预测模式的定义不同，而ＨＥＶＣ中帧内预测支持的块大小为３２×３２，１６×１６，８×８或４×４，且在不同块大小上帧内预测模式的定义保持一致。
３
第１期赵 耀，等：新一代视频编码标准ＨＥＶＣ的关键技术
表１ ＨＥＶＣ帧内预测模式
Ｔａｂｌｅ １ Ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅｓ ｉｎ ＨＥＶＣ模式编号
模式名称０Ｉｎｔｒａ＿Ｐｌａｎａｒ
１
Ｉｎｔｒａ
＿ＤＣ２，
…，３４Ｉｎｔｒａ＿Ａｎｇ
ｕｌａｒ［ｋ］，ｋ＝２，…，３
４图４ ＨＥＶＣ的帧内预测模式Ｆｉｇ．４ Ｉｎｔｒａ ｐ
ｒｅｄｉｃｔｉｏｎ ｍｏｄｅｓ ｏｆ ＨＥＶＣ２．１ 参考像素的选择
ＨＥＶＣ中以逐行扫描的顺序访问编码树单元，在编码树单元内又以深度优先、逐行扫描的顺序访问各个编码单元。因此，除了当前块的左边一列和上边一行像素，ＨＥＶＣ中当前块的左下方和右上方的像素也可以作为参考像素。如图５所示，
Ｐｘ，ｙ表示当前块的预测像素，Ｒｘ，ｙ表示当前块的参考像素。
值得注意的是，在某些情况下一些参考像素可
图５ ＨＥＶＣ帧内预测参考像素的选择
Ｆｉｇ．５ Ｒｅｆｅｒｅｎｃｅ ｐｉｘｅｌｓ ｉｎ ｉｎｔｒａ ｐ
ｒｅｄｉｃｔｉｏｎ ｏｆ ＨＥＶＣ能为不可用。例如，参考像素的位置在图像外，或参考像素所属的编码块的预测模式不是帧内预测模式且被限制作为帧内预测的参考块。ＨＥＶＣ中根据参考像素不可用的情况，
规定了不同的处理方法。若所有的参考像素为不可用，则每个参考像素
位置的像素值都用２ｂｉｔＤｅｐ
ｔｈ－１进行替代，其中ｂｉｔＤ－
ｅｐ
ｔｈ表示像素值的比特深度（例如，２５６级灰度的像素值的比特深度为８）
。若只有部分参考像素为不可用，则根据以下操作对它们进行填补：
（１）从左边一列中最下面的参考像素Ｒ－１，２
Ｎ－１开始，到左边一列的第一个参考像素Ｒ－１，－１，
再到上面一行的最后一个参考像素Ｒ２ Ｎ－１，－１，搜索第一个可用的参考像素，记为Ｒｉ，ｊ；（２）对所有不可用的参考像素Ｒｘ，ｙ，
其像素值用Ｒｉ，ｊ进行替代。
２．２ Ｉｎｔｒａ＿Ｐｌａｎａｒ和Ｉｎｔｒａ＿ＤＣ模式
２．２．１ Ｉｎｔｒａ＿Ｐｌａｎａｒ模式
Ｐｌａｎａｒ帧内预测模式最先是由Ｔａｎｄｂｅｒｇ
，Ｎｏｋｉａ和Ｅｒｉｃｓｓｏｎ三个公司在他们的联合提案［５］
中提出。其主要思想是针对平缓变化的图像区域
利用线性插值的方法对当前块进行预测。如图６所示，加粗方框表示当前块，右下角的像素值需要通过编码加入到比特流中；
最后一行和最右一列像素通过线性插值得到；中间的像素通过双线性插值得到
。
图６ 原始的Ｐｌａｎａｒ帧内预测方法Ｆｉｇ．６ Ｏｒｉｇｉｎａｌ ｐｌａｎａｒ ｉｎｔｒａ ｐ
ｒｅｄｉｃｔｉｏｎ ｍｏｄｅ文献［５］对上述线性插值的方法进行了改进和简化，并最终被ＨＥＶＣ采纳。具体地，如图７所示，最后一行和最右一列像素通过左下角和右上角的参考像素复制得到，
中间的像素是由水平方向和垂直方向的线性插值所得到的值取平均值得到，即：
Ｐｘ，ｙ＝［（Ｎ－１－ｘ）Ｒ－１，ｙ＋（
ｘ＋１）ＲＮ，－１＋（Ｎ－１－ｙ）Ｒｘ，－１＋（ｙ＋１）Ｒ－１，Ｎ］＞＞
（ｌｏｇ２Ｎ＋１）（１）式中，“＞＞”
表示向右移位运算。通过观察可以看４
数
据采集与处理第２９卷
图７ ＨＥＶＣ中的Ｉｎｔｒａ＿Ｐｌａｎａｒ帧内预测方法
Ｆｉｇ
．７ Ｉｎｔｒａ＿Ｐｌａｎａｒ ｍｏｄｅ ｉｎ ＨＥＶＣ到，式（１）中的乘法实际上可以由位移和累加实现。其中，Ｎ为２的指数，Ｎ乘以一个数可以由位移代
替；
而ｘ和ｙ乘以一个数可以通过在遍历预测像素时做累加实现。由此，降低了Ｉｎｔｒａ＿Ｐｌａｎａｒ预测模式的计算复杂度，且无需对当前块的右下角像素进行编码。
２．２．２ Ｉｎｔｒａ＿ＤＣ模式
ＨＥＶＣ中ＤＣ帧内预测模式与Ｈ．２６４／ＡＶＣ类似，预测像素的值由参考像素的平均值μ得到
μ＝（∑Ｎ－１
ｘ＝０
Ｒｘ，－１＋∑Ｎ－１
ｙ＝０
Ｒ－１，
ｙ＋Ｎ）＞＞（ｌｏｇ２Ｎ＋１）（２
） 然而，
对Ｎ＜３２的亮度像素块，需要第一行和第一列预测像素进行平滑滤波，从而降低预测块的边缘不连续性。具体的运算过程如下
Ｐ０，０＝（Ｒ－１，０＋２μ＋Ｒ０，
－１＋２）＞＞２Ｐｘ，０＝（Ｒｘ，－１＋３μ＋２）＞＞２Ｐ０，ｙ＝（Ｒ－１，ｙ＋３μ＋２
）＞＞２（３
）式中ｘ，ｙ＝１，
２，…，Ｎ－１。２．３ 方向性预测模式
方向性帧内预测的基本原理是通过当前像素沿某个指定方向在参考像素上的投影得到预测值。下面以纵轴方向的预测为例，对ＨＥＶＣ中方向性
帧内预测的设计原理和实现过程进行详细阐述，横轴方向的预测过程可以通过类推得到。
对纵轴方向的帧内预测，称当前块的上一行的参考像素Ｒｉ，－１，
ｉ＝－１，…，２ Ｎ－１为主参考像素，称左边一列的参考像素Ｒ－１，ｊ，ｊ＝－１，…，２ Ｎ－１为辅参考像素。设当前块的预测像素Ｐｘ，ｙ沿某个预测方向在上一行参考像素上的投影位置的横坐标为ｘ′，令ｄｘ＝
ｘ′－ｘ，由预测方向的偏移值ｄ的定义得ｄｘ
ｙ＋１＝
ｄ３
２（４） 对模式２６～３４，ｄ∈［０，３２］。那么，由ｘ，ｙ∈
［０，Ｎ－１］可知ｘ′∈［０，２
Ｎ－１］，因此，预测像素的投影位置在主参考像素内，可以通过线性差值得到。然而，对模式１８～２５，ｄ∈［－３２，０］，需要分两种情况得到预测像素。若ｘ′≥－１，则预测像素的投影位置在主参考像素上，
同样可以通过在主参考像素上进行插值得到；若ｘ＜－１，则预测像素的投影位置不在主参考像素上，而是在辅参考像素上。文献［７
］提出了一种将辅参考像素映射到扩展的主参考像素的方法，
使得ｘ＜－１时预测像素可以通过在主参考像素上插值得到。如图８中的白色箭头所示，
扩展的主参考像素的值通过反向映射到辅参考像素得到。由ｙ∈［０，Ｎ－１］及式（１）可知，扩展的主参考像素为Ｒ－１＋ｋ，－１，
ｋ＝－１，…，（Ｎ－ｄ）／３２。设Ｒ－１＋ｋ，－１沿预测方向在辅参考像素上的投影位置的纵坐标为ｄｙ，
由ｄ的定义有ｋｄｙ＝
ｄ３
２（５） 可以得到，ｄｙ＝３２·ｋｄ。为了简化帧内预测并降低计算复杂度，文献［８］
提出了用一种查表的方法代替除法运算。同时，通过对ｄｙ取整进一步简化计算。在ＨＥＶＣ中，定义变量ｉｎｖＡｎｇ
ｌｅ＝３２·２８
ｄ
，可以得到扩展的主参考像素为Ｒ－１＋ｋ，－１＝Ｒ－１＋ｋ，－１＋（ｘ·ｉｎｖＡｎｇ
ｌｅ＋１２８）＞＞８
。图８ ＨＥＶＣ帧内预测方向性预测的例子Ｆｉｇ．８ Ｅｘａｍｐｌｅ ｏｆ ｉｎｔｒａ ａｎｇ
ｕｌａｒ ｐｒｅｄｉｃｔｉｏｎ ｏｎ ＨＥＶＣ综上，ＨＥＶＣ中纵轴方向上的帧内预测过程如下所述。设ｒｅｆ［ｘ］为参考像素的序列，ｍ为模式编号，首先通过以下步骤得到ｒｅｆ［ｘ］
的值。（１）设置ｒｅｆ［ｘ］＝Ｒ－１＋ｘ，－１，ｘ＝０，…，Ｎ。（２）若ｍ∈［１８，２５］，则当Ｎ·ｄ３２
＜－１时，
设置ｒｅｆ［ｘ］＝Ｒ－１，－１＋（ｘ·ｉｎｖＡｎｇ
ｌｅ＋１２８）＞＞８，其中，ｘ＝－１，…，Ｎ·ｄ３２
，ｉｎｖＡｎｇ
ｌｅ的值通过查表得到，如表２所示。５
第１期赵 耀，等：新一代视频编码标准ＨＥＶＣ的关键技术
表２ 模式编号与ｉｎｖＡｎｇ
ｌｅ值的对应关系Ｔａｂｌｅ ２ Ｓｐｅｃｉｆｉｃａｔｉｏｎ ｏｆ ｉｎｖＡｎｇ
ｌｅ模式编号１１ １２ １３ １４ １５ １６ １７ １８ｉｎｖＡｎｇｌｅ－４０９６－１６３８－９１０－６３０－４８２－３９０－３１５－２５６模式编号１９ ２０ ２１ ２２ ２３ ２４ ２５ ２６ｉｎｖＡｎｇ
ｌｅ－３１５
－３９０
－４８２
－６３０
－９１０
－１
６３８－４
０９６Ｎ／Ａ
（
３）若ｍ∈［２６，３４］，则设置ｒｅｆ［ｘ］＝Ｒ－１＋ｘ，－１，
ｘ＝Ｎ＋１，…，２ Ｎ。然后，预测像素的值通过线性差值得到，即
Ｐｘ，ｙ＝
（
（３２－ｗｘ）·ｒｅｆ［ｉ］＋ｗｘｒｅｆ［ｉ－１］＋１６）＞＞５ ｗｘ≠０ｒｅｆ［ｉ］ ｗｘ＝烅烄烆０
（６
）其中
ｗｘ＝（（ｙ＋１
）·ｄ）％３２ｉ＝ｘ＋ｃｘｃｘ＝（
（ｙ＋１）·ｄ）＞＞５（７
）２．４ 参考像素的平滑处理
ＨＥＶＣ中根据预测块尺寸和帧内预测模式的
不同，选择性地对参考像素进行平滑处理。其总的原则是：ＤＣ模式不需要对参考像素做平滑处理；较大的预测块和远离垂直／水平方向的预测模式更需要对参考像素做平滑处理。具体地，如表３所示，当预测块的尺寸为４×４时，所有帧内预测模式都不需要对参考像素做平滑处理；当预测块的尺寸为８×８时，水平方向、垂直方向以及它们相邻的左右各７个方向的预测模式不用对参考像素做平滑处理；当预测块的尺寸为１６×１６时，水平方向、垂直方向以及它们相邻的左右各１个方向的预测模式不用对参考像素做平滑处理；当预测块的尺寸为３２×３２时，ＤＣ模式、
水平方向和垂直方向的预测模式不用对参考像素做平滑处理。
表３ 需要进行参考像素平滑处理的帧内预测模式Ｔａｂｌｅ ３ Ｔｈｅ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅｓ ｔｈａｔ ｒｅｆｅｒｅｎｃｅ ｐ
ｉｘｅｌｓｍｏｏｔｈｉｎｇ ｉｓ ｒｅｑｕｉｒｅｄ预测块的大小
模式编号４×４ ０～３４
８×８ ０，２，１８，３４
１６×１６ ０，２～８，１２～２４，２８～３４
３２×３２
０，２～９，１１～２５，２７～３４
２．５ 模式编码
ＨＥＶＣ一共定义了３５种帧内预测模式，
与Ｈ．２６４／ＡＶＣ相比增加了许多。因此，Ｈ．２６４／ＡＶＣ中
的模式编码方法不能适用于ＨＥＶＣ［６］
。给定一个当
前亮度预测块，ＨＥＶＣ定义了３种最有可能的预测模式（Ｍｏｓｔ ｐｒｏｂａｂｌｅ ｍｏｄｅｓ，ＭＰＭ）。编码时，先确定所选预测模式是否属于这３种ＭＰＭ，
如果是，则只编码该模式在这３种ＭＰＭ中的索引，否则，用５个比特的固定长码字来表示该模式在剩余的３２种模式中的索引。
设Ａ和Ｂ分别表示当前预测块的左边一个和上边一个已编码的预测块，３种ＭＰＭ根据Ａ和Ｂ
的帧内预测模式ｍＡ和ｍＢ得到。若Ａ／Ｂ不存在
或不是帧内预测的预测块，则ｍＡ／ｍＢ用模式１
（Ｉｎｔｒａ＿ＤＣ模式）代替。另外，为了避免存储上一行中所有编码树块的编码信息所带来的开销，当Ｂ不属于当前预测块的同一个编码树块时，ｍＢ＝１。若ｍＡ等于ｍＢ，则３种ＭＰＭ的导出过程如下
（１
）如果ｍＡ＜２，即非方向性帧内预测模式，则３种ＭＰＭ为ＭＰＭ［０］＝０，ＭＰＭ［１］＝１，ＭＰＭ［２］＝２６。
（２）否则ｍＡ≥２，３种ＭＰＭ为ｍＡ及其相邻的两个方向性预测模式，即：ＭＰＭ［０］＝ｍＡ；ＭＰＭ［１］＝２＋（（ｍＡ＋２９）％３２）；ＭＰＭ［２］＝２＋（（ｍＡ－
２＋１）％３２
）。若ｍＡ不等于ｍＢ，则（１）ＭＰＭ［０］＝ｍＡ，ＭＰＭ［１］＝ｍＢ。
（２）如果ｍＡ和ｍＢ都不等于０，那么ＭＰＭ［２］＝０。
（３）否则，如果ｍＡ和ｍＢ都不等于１，那么ＭＰＭ［２］＝１，否则ＭＰＭ［２］＝２６。对于色度预测块，ＨＥＶＣ定义了５种模式：Ｉｎｔｒａ＿Ｐｌａｎａｒ，Ｉｎｔｒａ＿Ａｎｇｕｌａｒ［２６］，Ｉｎｔｒａ＿Ａｎｇｕｌａｒ［１０］，Ｉｎｔｒａ＿ＤＣ和Ｉｎｔｒａ＿Ｄｅｒｉｖｅｄ，其中Ｉｎｔｒａ
＿Ｄｅｒｉｖｅｄ表示和亮度预测块所选的预测模式相同。然而，需要注意的是，当亮度预测块与色度预测块所选的预测模式均为前４种模式中的一种并且相同时，色度预测块的预测模式也可以用Ｉｎｔｒａ＿Ｄｅｒｉｖｅｄ
模式表示。因此，为了去除这种冗余，ＨＥＶＣ中色度预测块的模式编号与帧内预测模式的对应关系如表４所示，根据解码的模式编号与亮度预测块的帧内预测模式查表得到色度预测块所选的预测模式。
６
数据采集与处理第２９卷
表４ 色度预测块的帧内预测模式
Ｔａｂｌｅ ４ Ｃｈｒｏｍａ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅｓ
模式编号
亮度预测块的帧内预测模式
０ ２６ １０ １ Ｘ（０≤Ｘ≤３４）
０ ３４ ０ ０ ０ ０
１ ２６ ３４ ２６ ２６ ２６
２ １０ １０ ３４ １０ １０
３ １ １ １ ３４ １
４ ０ ２６ １０ １ Ｘ
３ 帧间预测
３．１ 运动补偿
ＨＥＶＣ中，对于亮度像素块的运动补偿，运动向量的精度为１／４像素；对于４∶２∶０格式下采样的色度像素块，运动向量的精度为１／８像素。运动补偿时，参考帧中非整数位置的像素值需要通过插值得到。Ｈ．２６４／ＡＶＣ对１／４像素的插值采用的是二次插值的方法，即：先通过一个６拍的插值滤波器得到１／２像素位置的值，再通过线性插值得到１／４像素位置的值。而ＨＥＶＣ采用的是单次插值的方法，从而避免了中间过程的取整操作，提高了插值运算的精度。另一方面，ＨＥＶＣ采用了更为精确的基于ＤＣＴ（Ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ）的插值滤波器［９，１０］。亮度像素块的插值滤波器系数如表５所示。其中，ｈｆｉｌｔｅｒ［ｉ］表示１／２像素的插值滤波器系数，ｑｆｉｌｔｅｒ［ｉ］表示１／４像素的插值滤波器系数。对１／２像素位置的插值，两边整数位置与其距离相同，因而采用的是对称的８拍滤波器；而对１／４像素位置更接近于其中某个方向的整数位置，因而采用的是非对称的７拍滤波器，从而减低插值滤波器的计算复杂度。色度像素块的插值滤波器系数如表６所示，ｆｉｌｔｅｒ１［ｉ］，…，ｆｉｌｔｅｒ７［ｉ］分别对应不同的１／８像素位置。
表５ 亮度像素块的插值滤波器系数
Ｔａｂｌｅ ５ Ｆｉｌｔｅｒ ｃｏｅｆｆｉｃｉｅｎｔｓ ｆｏｒ ｌｕｍａ ｉｎｔｅｒｐｏｌａｔｉｏｎ位置索引值ｉ－３－２－１ ０ １ ２ ３ ４
ｈｆｉｌｔｅｒ［ｉ］－１ ４－１１ ４０ ４０－１１ ４－１ｑｆｉｌｔｅｒ［ｉ］－１ ４－１０ ５８ １７－５ １
表６ 色度像素块的插值滤波器系数
Ｔａｂｌｅ ６ Ｆｉｌｔｅｒ ｃｏｅｆｆｉｃｉｅｎｔｓ ｆｏｒ ｃｈｒｏｍａ ｉｎｔｅｒｐｏｌａｔｉｏｎ
位置索引值ｉ－１ ０ １ ２
ｆｉｌｔｅｒ１［ｉ］－２ ５８ １０－２
ｆｉｌｔｅｒ２［ｉ］－４ ５４ １６－２
ｆｉｌｔｅｒ３［ｉ］－６ ４６ ２８－４
ｆｉｌｔｅｒ４［ｉ］－４ ３６ ３６－４
ｆｉｌｔｅｒ５［ｉ］－４ ２８ ４６－６
ｆｉｌｔｅｒ６［ｉ］－２ １６ ５４－４
ｆｉｌｔｅｒ７［ｉ］－２ １０ ５８－２３．２ 帧间预测模式
ＨＥＶＣ一共定义了三种帧间预测模式，分别称为：Ｓｋｉｐ模式、Ｍｅｒｇｅ模式［１１］和Ｉｎｔｅｒ模式。其中Ｓｋｉｐ模式和Ｍｅｒｇｅ模式的每一个预测单元的运动参数直接由相邻的已编码块直接导出，而只需要编码一个索引值用于指示参考块的位置。Ｓｋｉｐ模式和Ｍｅｒｇｅ模式的区别在于，Ｓｋｉｐ模式的预测单元划分类型只能是２ Ｎ×２ Ｎ且不需要对运动补偿后的预测残差进行编码，在解码端直接由运动补偿得到的预测信号作为重构信号。Ｓｋｉｐ模式可以看成是特殊的Ｍｅｒｇｅ模式。对于Ｉｎｔｅｒ模式，每一个预测单元含有一组运动参数，包括：帧间预测的方向（前向预测、后向预测或双向预测）、参考帧的索引值、运动向量预测器的索引值以及运动向量的预测残差。
编码时，首先用一个ｃｕ＿ｓｋｉｐ＿ｆｌａｇ标记当前编码单元的预测模式是否为Ｓｋｉｐ模式。若是，则编码一个索引值ｍｅｒｇｅ＿ｉｎｄｅｘ用于指示运动参数的参考块位置；若否，则编码一个标记符号用于指示当前编码单元是帧内预测模式还是帧间预测模式。如果是帧间预测模式，则接着编码预测单元的划分类型ｐａｒｔ＿ｍｏｄｅ。对每一个预测单元，首先编码一个ｍｅｒｇｅ＿ｆｌａｇ用于指示是否为Ｍｅｒｇｅ模式。若是，则编码一个索引值ｍｅｒｇｅ＿ｉｎｄｅｘ用于指示运动参数的参考块位置；若否，即Ｉｎｔｅｒ模式，则依次编码帧间预测的方向、参考帧的索引值、运动向量预测器的索引值以及运动向量的预测残差。
３．３ 运动参数的预测
３．３．１ Ｓｋｉｐ和Ｍｅｒｇｅ模式中运动参数的预测Ｓｋｉｐ模式和Ｍｅｒｇｅ模式的运动参数的预测可以分为３类：空间上相邻已编码块的运动参数、时间轴上相邻已编码块的运动参数和生成的运动参数。空间上相邻的已编码块最多可以从５个不同位置上选择其中的４个；时间上相邻的已编码块可以从２个中选择一个。在运动参数预测值的选择过程中要去除其中重复的值，同时在使用空间上相邻的参考块时还要避免其中使得参考块与当前预测块形成一个等同于２ Ｎ×２ Ｎ的预测块。当候选运动参数的预测值少于设定的数目（１～５）时，由已有的运动参数预测值生成新的值或者用０进行填补。这样，运动参数的候选预测值的个数固定，使得解码索引值时不依赖于候选值的选择过程，有利于解码时的并行处理，同时提高了容错能力。
空间上参考块的选择如图９所示，对不同划分
７
第１期赵 耀，等：新一代视频编码标准ＨＥＶＣ的关键技术
类型的预测单元，空间上参考块的选择不同。空间上参考块选择的顺序依次是：Ａ１，Ｂ１，Ｂ０，Ａ０，（Ｂ２）
，其中Ｂ２只有在前４个中有任意一个不可用时才有效。需要注意的是，预测单元划分类型为
Ｎ×２ Ｎ，ｎＬ×２ Ｎ或ｎＲ×２
Ｎ时，Ａ１不可作为第二个预测单元的参考块（
否则，参考块与当前预测块形成一个等同于的预测块），参考块的选择顺序依次是：Ｂ１、Ｂ０、Ａ０，Ｂ２；同样，预测单元的划分类型为２ Ｎ×Ｎ，２ Ｎ×ｎＵ或２
Ｎ×ｎＤ时，Ｂ１不可作为第二个预测单元的参考块，参考块的选择顺序依次是：
Ａ１，Ｂ０，Ａ０，Ｂ２
。
图９ Ｍｅｒｇｅ模式运动参数预测空间上参考块的选择Ｆｉｇ．９ Ｓｐａｔｉａｌ ｃａｎｄｉｄａｔｅｓ ｓｅｌｅｃｔｉｏｎ ｉｎ ｍｅｒｇ
ｅ ｍｏｄｅ记当前预测单元为Ｃｕｒｒ＿ＰＵ，参考帧列表中距离当前帧最近的一个参考帧为Ｃｏｌ＿Ｐｉｃ，其中“同一位置”上的预测块为Ｃｏｌ＿ＰＵ，Ｃｏｌ＿ＰＵ的参考帧
为Ｃｏｌ＿Ｒｅｆ。“同一位置”的选择如图１０所示，首先选择Ｃ０，若Ｃ０不可用则选择Ｃ１。当前块的参考帧的索引固定为０，对应的参考帧标记为Ｃｕｒｒ＿Ｒｅｆ。设当前帧Ｃｕｒｒ＿Ｐｉｃ与Ｃｕｒｒ＿Ｒｅｆ的距离为ｔｂ，Ｃｏｌ＿Ｐｉｃ与Ｃｏｌ＿Ｒｅｆ的距离为ｔｄ，由Ｃｏｌ＿ＰＵ的运动向量根据ｔｂ和ｔｄ的比值进行缩放得到当前块的运动向量的预测值，如图１０中右半部分的例子所示。需要注意的是，采用时间轴上相邻块的运动向量需要额外的内存存储参考帧中所有块的运动向量。为了减少这些内存的开销，ＨＥＶＣ中将存储这些运动向量的精度限制到１６×１６的块。
当图１０ Ｍｅｒｇｅ模式运动参数预测时间轴上参考块的选择Ｆｉｇ．１０ Ｔｅｍｐｏｒａｌ ｃａｎｄｉｄａｔｅｓ ｓｅｌｅｃｔｉｏｎ ｉｎ ｍｅｒｇ
ｅ ｍｏｄｅ１６×１６的块中含有多个预测单元时，
只从中选择第一个预测单元的运动向量进行存储。此外，在容易出现传输错误的应用中，编码器可以设置关闭时间轴上参考块的使用，
从而提高解码的容错能力。当候选运动参数的预测值个数少于规定的数目Ｃ时，ＨＥＶＣ定义了一些生成的运动参数加入到候选值列表中，
直到候选值的个数达到Ｃ。对于双向预测的Ｂ帧，生成的运动参数可以由已有的候选值中分别选取两个参考列表相应的运动向量及参考帧的索引值进行组合得到。比如第一个生成的运动参数有候选值列表中第一个运动参数中对应参考列表０的值和第二个运动参数中对应参考列表１的值组成。具体地，ＨＥＶＣ中定义了１２种可选的组合，依次是：（０，１），（１，０），（０，２），（２，０），（１，２），（２，１），（０，３），（３，０），（１，３），（３，１），（２，３），（３，２），其中数字表示已有的候选值列表的索引值。对于Ｐ帧或者Ｂ帧中由上述方式生成的运动参数仍然未能达到Ｃ个候选值时，添加０向量为
运动向量，参考帧的索引值可以从０到最大值依次选择。
３．３．２ Ｉｎｔｅｒ模式中运动参数的预测
对于Ｉｎｔｅｒ模式，运动向量的预测同样是从多个候选值中选取。在编码运动向量时，需要编码所选预测值的索引值以及运动向量的预测残差。其中，运动向量预测值的参考块的选择与Ｍｅｒｇｅ模式中空间参考块的选择类似，不同的是Ｉｎｔｅｒ模式从｛Ａ０，Ａ１｝和｛Ｂ０，Ｂ１，Ｂ２｝中分别按顺序选择第一个可用的加入到候选值列表中，总的候选值个数固定为２。当以上选择的候选值个数小于２时，再选择时间轴上参考块的运动向量，选择的方法与Ｍｅｒｇ
ｅ模式相同。最后，若候选值的个数仍然小于２，
则用０向量进行填补。４ 变换、
量化及熵编码ＨＥＶＣ中进行变换和量化的基本单位是变换
单元。如１．３节中所述，给定一个编码单元，对其预测残差进行变换编码时可以划分成多个变换单元。与Ｈ．２６４／ＡＶＣ类似，ＨＥＶＣ的核心变换采
用的是基于ＤＣＴ的整数变换［１
２］
。在其变换矩阵的设计过程中充分考虑了对称性，使得在运算时可以使用快速算法。在进行较大尺寸的变换时可以通过构造多个较小尺寸的变换实现。除了基于ＤＣＴ的整数变换外，ＨＥＶＣ中还定义了一种４×４
的基于ＤＳＴ（Ｄｉｓｃｒｅｔｅ ｓｉｎｅ ｔｒａｎｓｆｏｒｍ）的整数变换［１３］
，用于４×４的帧内预测的亮度块。此外，ＨＥＶＣ中定义了一种称为Ｔｒａｎｓｆｏｒｍ Ｓｋｉｐ的模
８
数据采集与处理第２９
卷
式。在该模式下，编码时跳过变换过程，直接对残差信号进行编码，从而提高对计算机合成的非自然图像信号的编码效率［１４，１５］。
在进行量化时，ＨＥＶＣ采用了与Ｈ．２６４／ＡＶＣ类似的均匀量化器。ＨＥＶＣ一共定义了５２级不同的量化步长，每增加６级量化步长增大一倍。同时ＨＥＶＣ也支持编码器通过设定量化的缩放矩阵对不同频率的残差系数采用不同的量化步长。
ＨＥＶＣ中熵编码采用的是基于上下文的二进制算术编码（Ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃｃｏｄｉｎｇ，ＣＡＢＡＣ）。其基本设计与Ｈ．２６４／ＡＶＣ中的ＣＡＢＡＣ类似，但是ＨＥＶＣ充分考虑了提高熵编码器的吞吐率和并行化，以适应编码高分辨率视频时的实时性要求［１６］。因此，ＨＥＶＣ中ＣＡＢＡＣ熵编码器的上下文数量、数据间的相互依赖性减少，对相同上下文的编码符号进行组合、对通过旁路编码的符号进行组合，同时减少解析码流时的相互依赖性以及对内存读取的需求。
５ 样本自适应补偿
ＨＥＶＣ中环内滤波包括去块效应滤波［１７］和样本自适应补偿（Ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ，ＳＡＯ）［１８］。其中，去块效应滤波与Ｈ．２６４／ＡＶＣ类似，而ＳＡＯ是ＨＥＶＣ中新引入的一个提高解码图像质量的工具，作用于去块效应滤波之后的解码图像。ＳＡＯ通过对不同类别的像素加上相应的偏移值，从而降低图像的整体失真并减少振铃效应。ＨＥＶＣ中ＳＡＯ处理的基本单位是ＣＴＵ，并分为两种类型，分别是边缘像素补偿（Ｅｄｇｅ ｏｆｆｓｅｔ，ＥＯ）和条带补偿（Ｂａｎｄ ｏｆｆｓｅｔ，ＢＯ）。
５．１ 边缘像素补偿
边缘像素补偿是对某个特定边缘方向的像素依据其与相邻像素灰度值的差异进行分类，从而对不同类别的像素分别加上相应的偏移值。ＨＥＶＣ中一共定义了四个方向，分别是水平、垂直、４５°和１３５°方向。如图１１所示，ｃ表示当前像素，ａ和ｂ表示两个相邻的像素。给定一个边缘补偿的类型，通过比较当前像素ｃ与ａ、ｂ的灰度值对当前像素进行分类，分类的准则如表７所示。其中，类别１和类别４表示当前像素为谷底和波峰；类别２和类别３分别表示当前像素为凹拐点和凸拐点；类别０表示其他情况，不进行边缘补偿。对类别１和类别２加上正的偏移值可以达到平滑的目的，而加上负的值则是起到锐化的作用。相反，对类别３和类别４加上正的值是起到锐化的作用，而加上负的值是进行平滑。然而，经过统计分析［１８］，ＨＥＶＣ中只允
许对边缘像素进行平滑。在编码偏移值时无需对符号进行编码，而是根据像素类别的不同判定偏移值的符号，从而减少编码偏移值所需要的比特数
。
图１１ 边缘像素补偿的四个方向
Ｆｉｇ．１１ Ｔｈｅ ｆｏｕｒ ｔｙｐｅｓ ｏｆ ｄｉｒｅｃｔｉｏｎｓ ｉｎ ｅｄｇｅ ｏｆｆｓｅｔ
表７ 边缘像素分类的准则
Ｔａｂｌｅ ７ Ｓａｍｐｌｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｒｕｌｅｓ ｆｏｒ ｅｄｇｅ ｏｆｆｓｅｔ类别准则
１ ｃ＜ａ ＆＆ｃ＜ｂ
２（ｃ＜ａ ＆＆ｃ＝＝ｂ）｜｜（ｃ＝＝ａ ＆＆ｃ＜ｂ）
３（ｃ＞ａ ＆＆ｃ＝＝ｂ）｜｜（ｃ＝＝ａ ＆＆ｃ＞ｂ）
４ ｃ＞ａ ＆＆ｃ＞ｂ
０其他
５．２ 条带补偿
条带补偿是对属于不同条带（不同范围的灰度级别）的像素分别加上相应的偏移值，从而减小整体的失真。对８比特２５６级灰度的像素，ＨＥＶＣ设定条带的宽度为８，灰度值在到范围内的像素的类别记为ｋ，０≤ｋ≤３１。对某个类别（条带）的像素，其偏移值等于重构像素与原始图像像素差异的平均值，即平均失真。ＨＥＶＣ中规定，对一个进行条带补偿的ＣＴＵ只传输其中连续的４个条带（ｋ，ｋ＋１，ｋ＋２，ｋ＋３）的偏移值。因此，需要编码值和相应的４个偏移值。
６ 结束语
ＨＥＶＣ是继Ｈ．２６４／ＡＶＣ之后的新一代视频编码标准，本文对ＨＥＶＣ的关键技术进行了综述。ＨＥＶＣ的帧内预测的概念与Ｈ．２６４／ＡＶＣ相类似，但ＨＥＶＣ中允许对更大尺寸的预测块进行帧内预测，同时定义了更多的帧内预测模式。ＨＥＶＣ的帧间预测采用了更为精确的基于ＤＣＴ的插值滤波器、采用了多个运动向量预测器相互竞争的方法对运动向量进行编码并引入了新的４×４Ｍｅｒｇｅ模式。在变换和量化上，ＨＥＶＣ采用了四叉树结构的变换单元，并引入了新的的基于ＤＳＴ的整数变换。在熵编码上，ＨＥＶＣ采用了ＣＡＢＡＣ熵编码器，并着重提高ＣＡＢＡＣ的吞吐率。此外，ＨＥＶＣ引入了一种称为样本自适应补偿的新的编码工具，从而进一步提高解码图像的质量。ＨＥＶＣ在带来编码效率提高的同时也增加了编码器的复
９
第１期赵 耀，等：新一代视频编码标准ＨＥＶＣ的关键技术
杂度。特别地，ＨＥＶＣ中灵活的分块结构使得率失真优化的过程变得十分复杂。相应的快速分块算法的研究将有助于ＨＥＶＣ的实际应用。此外，ＨＥＶＣ充分考虑了并行化处理的设计需求。在当前多核的发展趋势下，研究ＨＥＶＣ的并行算法对实现实时编码至关重要。
在ＨＥＶＣ的扩展档次的制定过程中，针对包含屏幕内容等计算机合成的图像内容的视频中经常出现重复纹理（例如：相同的英文字母）的特性，研究者提出了一种称为块拷贝或帧内运动补偿的帧内预测方法。它的主要思想是：从当前帧已编码的图像区域中搜索与当前块相似的块作为当前块的预测。研究表明，对含有屏幕内容的视频，帧内运动补偿的方法能够显著提高帧内编码的效率。但是对一般的自然图像的视频，该方法是否有益还有待进一步的研究和验证。在帧间预测技术方面，采用高阶运动模型可以进一步提高编码效率［１９－２１］，但是需要简化基于高阶运动模型的运动补偿，以降低编解码的复杂度。
参考文献：
［１］ Ｓｕｌｌｉｖａｎ Ｇ Ｊ，Ｏｈｍ Ｊ Ｒ，Ｈａｎ Ｗ Ｊ，ｅｔ ａｌ．Ｏｖｅｒｖｉｅｗ ｏｆｔｈｅ ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ（ＨＥＶＣ）ｓｔａｎｄａｒｄ
［Ｊ］．ＩＥＥＥ Ｔｒａｎｓ Ｃｉｒｃｕｉｔｓ Ｓｙｓｔ Ｖｉｄｅｏ Ｔｅｃｈ，２０１２，２２
（１２）：１６４９－１６６７．
［２］ Ｋｉｍ Ｉ－Ｋ，Ｍｉｎ Ｊ，Ｌｅｅ Ｔ，ｅｔ ａｌ．Ｂｌｏｃｋ ｐａｒｔｉｔｉｏｎｉｎｇｓｔｒｕｃｔｕｒｅ ｉｎ ｔｈｅ ＨＥＶＣ ｓｔａｎｄａｒｄ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓ
Ｃｉｒｃｕｉｔｓ Ｓｙｓｔ Ｖｉｄｅｏ Ｔｅｃｈ，２０１２，２２（１２）：１６９７－１７０６．［３］ Ｍａｒｐｅ Ｄ，Ｓｃｈｗａｒｚ Ｈ，Ｂｏｓｓｅ Ｓ，ｅｔ ａｌ．Ｖｉｄｅｏ ｃｏｍ－ｐｒｅｓｓｉｏｎ ｕｓｉｎｇ ｎｅｓｔｅｄ ｑｕａｄｔｒｅｅ ｓｔｒｕｃｔｕｒｅｓ，ｌｅａｆ ｍｅｒ－
ｇｉｎｇ，ａｎｄ ｉｍｐｒｏｖｅｄ ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ ｍｏｔｉｏｎ ｒｅｐｒｅｓｅｎｔａ－
ｔｉｏｎ ａｎｄ ｅｎｔｒｏｐｙ ｃｏｄｉｎｇ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓ Ｃｉｒｃｕｉｔｓ
Ｓｙｓｔ Ｖｉｄｅｏ Ｔｅｃｈ，２０１０，２０（１２）：１６７６－１６８７．
［４］ Ｌａｉｎｅｍａ Ｊ，Ｂｏｓｓｅｎ Ｆ，Ｈａｎ Ｗ－Ｊ，ｅｔ ａｌ．Ｉｎｔｒａ ｃｏｄｉｎｇｏｆ ｔｈｅ ＨＥＶＣ ｓｔａｎｄａｒｄ［Ｊ］．ＩＥＥＥ Ｃｉｒｃｕｉｔｓ Ｓｙｓｔ，Ｖｉｄ－
ｅｏ Ｔｅｃｈ，２０１２，２２（１２）：１７９２－１８０１．
［５］ Ｕｇｕｒ Ｋ，Ａｎｄｅｒｓｓｏｎ Ｋ Ｒ，Ｆｕｌｄｓｅｔｈ Ａ．Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆｖｉｄｅｏ ｃｏｄｉｎｇ ｔｅｃｈｎｏｌｏｇｙ ｐｒｏｐｏｓａｌ ｂｙ Ｔａｎｄｂｅｒｇ，Ｎｏ－
ｋｉａ，Ｅｒｉｃｓｓｏｎ［Ｓ］．Ｄｒｅｓｄｅｎ，ＤＥ：Ｄｏｃｕｍｅｎｔ ＪＣＴＶＣ－
Ａ１１９，２０１０．
［６］ Ｋａｎｕｍｕｒｉ Ｓ，Ｔａｎ Ｔ，Ｆｕｌｄｓｅｔｈ Ａ．Ｅｎｈａｎｃｅｍｅｎｔｓ ｔｏｉｎｔｒａ ｃｏｄｉｎｇ［Ｓ］．Ｇｕａｎｇｚｈｏｕ，Ｃｈｉｎａ：ＤｏｃｕｍｅｎｔＪＣＴＶＣ－Ｄ２３５，２０１０．
［７］ Ｂｏｓｓｅｎ Ｆ，Ｔａｎ Ｔ，Ｔａｋｉｎｅ Ｊ．Ｓｉｍｐｌｉｆｉｅｄ ａｎｇｕｌａｒ ｉｎｔｒａｐｒｅｄｉｃｔｉｏｎ［Ｓ］．Ｇｅｎｅｖａ，ＣＨ：Ｄｏｃｕｍｅｎｔ ＪＣＴＶＣ－
Ｂ０９３，２０１０．
［８］ Ｂｕｄａｇａｖｉ Ｍ．Ａｎｇｕｌａｒ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ａｎｄ ＡＤＩ ｓｉｍ－ｐｌｉｆｉｃａｔｉｏｎ［Ｓ］．Ｇｅｎｅｖａ，ＣＨ：Ｄｏｃｕｍｅｎｔ ＪＣＴＶＣ－
Ｂ１１８，２０１０．［９］ Ｕｇｕｒ Ｋ，Ａｌｓｈｉｎ Ａ，Ａｌｓｈｉｎａ Ｅ，ｅｔ ａｌ．Ｍｏｔｉｏｎ ｃｏｍ－ｐｅｎｓａｔｅｄ ｐｒｅｄｉｃｔｉｏｎ ａｎｄ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｆｉｌｔｅｒ ｄｅｓｉｇｎ ｉｎ
Ｈ．２６５／ＨＥＶＣ［Ｊ］．ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｓｅｌｅｃｔｅｄ Ｔｏｐｉｃｉｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，２０１３，７（６）：９４６－９５６．
［１０］Ｈａｏ Ｌｖ，Ｗａｎｇ Ｒ，Ｘｉｅ Ｘ，ｅｔ ａｌ．Ａ ｃｏｍｐａｒｉｓｏｎ ｏｆｆｒａｃｔｉｏｎａｌ－ｐｅｌ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｆｉｌｔｅｒｓ ｉｎ ＨＥＶＣ ａｎｄ Ｈ．２６４／ＡＶＣ［Ｃ］∥ＩＥＥＥ Ｐｒｏｃ．Ｖｉｓｕａｌ Ｃｏｍｍ．ＩｍａｇｅＰｒｏｃｅｓｓ．２０１２：．
［１１］Ｈｅｌｌｅ Ｐ，Ｏｕｄｉｎ Ｓ，Ｂｒｏｓｓ Ｂ，ｅｔ ａｌ．Ｂｌｏｃｋ ｍｅｒｇｉｎｇ ｆｏｒｑｕａｄｔｒｅｅ－ｂａｓｅｄ ｐａｒｔｉｔｉｏｎ ｉｎ ＨＥＶＣ［Ｊ］．ＩＥＥＥ ＣｉｒｃｕｉｔｓＳｙｓｔ，Ｖｉｄｅｏ Ｔｅｃｈｎｏｌ，２０１２，２２（１２）：１７２０－１７３１．［１２］Ｆｕｌｄｓｅｔｈ Ａ，Ｂｊｏｎｔｅｇａａｒｄ Ｇ，Ｂｕｄａｇａｖｉ Ｍ．ＣＥ１０：Ｃｏｒｅ ｔｒａｎｓｆｏｒｍ ｄｅｓｉｇｎ ｆｏｒ ＨＥＶＣ［Ｓ］．Ｇｅｎｅｖａ，Ｓｗｉｔｚｅｒｌａｎｄ：Ｄｏｃｕｍｅｎｔ ＪＣＴＶＣ－Ｇ４９５，２０１１．
［１３］Ｓａｘｅｎａ Ａ，Ｆｅｒｎａｎｄｅｓ Ｆ．ＣＥ７：Ｍｏｄｅ－ｄｅｐｅｎｄｅｎｔＤＣＴ／ＤＳＴ ｗｉｔｈｏｕｔ ４＊４ｆｕｌｌ ｍａｔｒｉｘ ｍｕｌｔｉｐｌｉｃａｔｉｏｎ ｆｏｒｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ［Ｓ］．Ｇｅｎｅｖａ，Ｓｗｉｔｚｅｒｌａｎｄ：ＤｏｃｕｍｅｎｔＪＣＴＶＣ－Ｅ１２５，２０１１．
［１４］Ｌａｎ Ｃ，Ｘｕ Ｊ，Ｓｕｌｌｉｖａｎ Ｇ Ｊ，ｅｔ ａｌ．Ｉｎｔｒａ ｔｒａｎｓｆｏｒｍｓｋｉｐｐｉｎｇ［Ｓ］．Ｇｅｎｅｖａ，Ｓｗｉｔｚｅｒｌａｎｄ：ＤｏｃｕｍｅｎｔＪＣＴＶＣ－Ｉ０４０８，２０１２．
［１５］Ｐｅｎｇ Ｘ，Ｌａｎ Ｃ，Ｘｕ Ｊ，ｅｔ ａｌ．Ｉｎｔｅｒ Ｔｒａｎｓｆｏｒｍ Ｓｋｉｐ－ｐｉｎｇ［Ｓ］．Ｓｔｏｃｋｈｏｌｍ，Ｓｗｅｄｅｎ：Ｄｏｃｕｍｅｎｔ ＪＣＴＶＣ－
Ｊ０２３７，２０１２．
［１６］Ｓｚｅ Ｖ，Ｂｕｄａｇａｖｉ Ｍ．Ｈｉｇｈ ｔｈｒｏｕｇｈｐｕｔ ＣＡＢＡＣ ｅｎｔｒｏ－ｐｙ ｃｏｄｉｎｇ ｉｎ ＨＥＶＣ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓ Ｃｉｒｃｕｉｔｓ Ｓｙｓｔ
Ｖｉｄｅｏ Ｔｅｃｈｎｏｌ，２０１０，２０（１２）：１７７８－１７９１．
［１７］Ｎｏｒｋｉｎ Ａ，Ｂｊｏｎｔｅｇａａｒｄ Ｇ，Ｆｕｌｄｓｅｔｈ Ａ，ｅｔ ａｌ．ＨＥＶＣｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓ Ｃｉｒｃｕｉｔｓ Ｓｙｓｔ Ｖｉｄｅｏ
Ｔｅｃｈｎｏｌ，２０１０，２０（１２）：１７４６－１７５４．
［１８］Ｆｕ Ｃ Ｍ，Ａｌｓｈｉｎａ Ｅ，Ａｌｓｈｉｎ Ａ，ｅｔ ａｌ．Ｓａｍｐｌｅ ａｄａｐ－ｔｉｖｅ ｏｆｆｓｅｔ ｉｎ ｔｈｅ ＨＥＶＣ ｓｔａｎｄａｒｄ［Ｊ］．ＩＥＥＥ ＴｒａｎｓＣｉｒｃｕｉｔｓ Ｓｙｓｔ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌ，２０１０，２０（１２）：１７５５－
１７６４．
［１９］Ｈｕａｎｇ Ｈ，Ｗｏｏｄｓ Ｊ Ｗ，Ｚｈａｏ Ｙ，ｅｔ ａｌ．Ｃｏｎｔｒｏｌ－ｐｏｉｎｔｓ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ａｎｄ ｄｉｆｆｅｒｅｎｔｉａｌ ｃｏｄｉｎｇ ｆｏｒ ａｆｆｉｎｅ
ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓ Ｃｉｒｃｕｉｔｓ Ｓｙｓｔ
Ｖｉｄｅｏ Ｔｅｃｈ，２０１３，２３（１０）：１６５１－１６６０．
［２０］黄晗．ＨＥＶＣ帧间／帧内预测及优化技术研究［Ｄ］．北京：北京交通大学，２０１３．
Ｈｕａｎｇ Ｈａｎ．Ｒｅｓｅａｒｃｈ ｏｎ ｉｎｔｅｒ／ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ａｎｄｏｐｔｉｍｉｚａｔｉｏｎ ｔｅｃｈｎｉｑｕｅｓ ｉｎ ＨＥＶＣ［Ｄ］．Ｂｅｉｊｉｎｇ：Ｂｅｉ－
ｊｉｎｇ Ｊｉａｏｔｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ，２０１３．
［２１］Ｎａｒｒｏｓｃｈｋｅ Ｍ，Ｓｗｏｂｏｄａ Ｒ．Ｅｘｔｅｎｄｉｎｇ ＨＥＶＣ ｂｙ ａｎａｆｆｉｎｅ ｍｏｔｉｏｎ ｍｏｄｅｌ［Ｃ］∥Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｓｙｍｐｏｓｉ－
ｕｍ．Ｓａｎ Ｊｏｓｅ，ＣＡ：ＵＳＡ，２０１３．
作者简介：赵耀（１９６７－），男，教授，长江学者，研究方向：图像编码、数字水印与数字取证、跨媒体内容分析与内容理解、多媒体信息处理等，Ｅ－ｍａｉｌ：ｙｚｈａｏ＠ｂｊｔｕ．ｅｄｕ．ｃｎ；黄晗（１９８６－），男，博士，研究方向：视频编码、图像编码；林春雨（１９７９－），男，讲师，研究方向：图像视频编码、冗错编码，３Ｄ视频编码：深度图估计；白慧慧（１９７９－），女，副教授，研究方向：图像视频压缩、多描述编码、分布式视频编码等。
０
１数据采集与处理第２９卷
国际主流视频编码标准优化代码的对比测试-文档资料
国际主流视频编码标准优化代码的对比测试 王中元（1972- ），男，湖北英山人，讲师，博士，主要研究方向为视频编/ 解码、多媒体通信； 朱福喜（1957- ），男，湖北新洲人，教授，博导，博士，主要研究方向为人工智能等. （武汉大学a. 计算机学院; b. 国家多媒体软件工程技术研究中心; c. 档案馆，武汉430072） 以H.263、MPEG-4、H.264 三种标准作为测试对象，在 Win/Intel 平台上测试了优化后编码器的计算效率、编码效率和码率控制精度，并对测试结果进行了比较和分析。测试数据为开发人员在一定硬件性价比的约束条件下实现视频编码器提供了参考。 Test?Band?Bcomparison?Bon?Boptimized?Bcode?Bof?Bmajor?B international?Bvideo?Bcoding?Bstandards LI Naa,c, WANG Zhong-yuanb, ZHU Fu-xia (a.School of Computer, b.National Multimedia Software Engineering Research Center, c.Archives, Wuhan University, Wuhan 430072, China) This paper selected H.263,MPEG-4 and H.264 video
coding standards as test object to measure such performance index as compression efficiency,calculation efficiency and rate control accuracy on Win/Intel platform. And illustrated the-analysis and comparison on experiment results too. These test datum could be served as a reference guide for designer who would develop video coding application with the constraint on hardware performance and price ratio. 几乎在每一种视频标准的制定过程中或者发布后，都有专家将该标准与它前期的同类标准作压缩效率和计算复杂度的客观比较测试[1] 。这些测试数据尽管有它一定的学术意义，但是对实际开发的指导价值非常有限。其原因有两点：a) 测试过程往往涵盖了编码工具的全集，而在实际应用中不太可能启用所有编码选项，因此，这样测试的压缩效率数据已经背离了实际应用条件； b) 在计算复杂度的对比测试中，一般均使用伴随标准发布的参考源码，而这些源码仅仅是用来验证算法的，它充其量也只是对算法的一种数学描述。在标准的实现过程中，免不了要对编/ 解码器(CODE)展开算法优化和代码 优化，这些优化往往又要结合
常见的几种高清视频编码格式
高清视频的编码格式有五种，即H.264、MPEG-4、MPEG-2、WMA-HD以及VC-1。事实上，现在网络上流传的高清视频主要以两类文件的方式存在：一类是经过MPEG-2标准压缩，以tp和ts为后缀的视频流文件；一类是经过WMV-HD(Windows Media Video High Definition)标准压缩过的wmv文件，还有少数文件后缀为avi或mpg，其性质与wmv是一样的。真正效果好的高清视频更多地以H.264与VC-1这两种主流的编码格式流传。 H.264编码 H.264编码高清视频 H.264是由国际电信联盟(iTU-T)所制定的新一代的视频压缩格式。H.264 最具价值的部分是更高的数据压缩比，在同等的图像质量，H.264的数据压缩比能比当前DVD系统中使用的 MPEG-2高2～3倍，比MPEG-4高1.5～2倍。正因为如此，经过H.264压缩的视频数据，在网络传输过程中所需要的带宽更少，也更加经济。在 MPEG-2需要6Mbps的传输速率匹配时，H.264只需要1Mbps～2Mbps 的传输速率，目前H.264已经获得DVD Forum与Blu-ray Disc Association采纳，成为新一代HD DVD的标准，不过H.264解码算法更复杂，计算要求比WMA-HD 还要高。 从ATI的Radeon X1000系列显卡、NVIDIA的GeForce 6/7系列显卡开始，它们均加入对H.264硬解码的支持。与MPEG-4一样，经过H.264压缩的视频文件一般也是采用avi 作为其后缀名，同样不容易辨认，只能通过解码器来自己识别。 总的来说，常见的几种高清视频编码格式的特点是能够以更低的码率得到更高的画质，相同效果的MPEG2与H.264影片做比较，后者在容量上仅需前者的一半左右。这也就意味着，H.264不仅能够节省HDTV的存储空间，而且还可以
视频编码标准汇总及比较
视频编码标准汇总及比较 MPEG-1 类型：Audio&Video 制定者：MPEG(Moving Picture Expert Group) 所需频宽：2Mbps 特性：对动作不激烈的视频信号可获得较好的图像质量，但当动作激烈时，图像就会产生马赛克现象。它没有定义用于额外数据流进行编对码的格式，因此这种技术不能广泛推广。它主要用于家用VCD，它需要的存储空间比较大。 优点：对动作不激烈的视频信号可获得较好的图像质量。 缺点：当动作激烈时，图像就会产生马赛克现象。它没有定义用于额外数据流进行编对码的格式，因此这种技术不能广泛推广。 应用领域：Mixer 版权方式：Free 备注：MPEG-1即俗称的VCD。MPEG是ISO/IEC JTC1 1988年成立的运动图像专家组（Moving Picture Expert Group）的简称，负责数字视频、音频和其他媒体的压缩、解压缩、处理和表示等国际技术标准的制定工作。MPEG-1制定于1992年，它是将视频数据压缩成1~2Mb/s的标准数据流。对于清晰度为352×288的彩色画面，采用25帧/秒，压缩比为50：1时，实时录像一个小时，经计算可知需存储空间为600MB左右，若是8路图像以每天录像10小时，每月30天算，则要求硬盘存储容量为1440GB，则显然是不能被接受的。 --------------------------------------------------------------------------------------------- MPEG-2
类型：Audio&Video 制定者：MPEG(Moving Picture Expert Group) 所需频宽：视频上4.3Mbps，音频上最低的采样率为16kHz 特性：编码码率从每秒3兆比特～100兆比特，是广播级质量的图像压缩标准，并具有CD 级的音质。MPEG-2的音频编码可提供左、右、中及两个环绕声道，以及一个加重低音声道，和多达7个伴音声道。作为MPEG-1的兼容性扩展，MPEG-2支持隔行扫描视频格式和其它先进功能，可广泛应用在各种速率和各种分辨率的场合。但是MPEG-2标准数据量依然很大，不便存放和传输。 优点：MPEG-2的音频编码可提供左、右、中及两个环绕声道，以及一个加重低音声道，和多达7个伴音声道，具有CD级的音质。可提供一个较广的范围改变压缩比，以适应不同画面质量、存储容量以及带宽的要求。支持隔行扫描视频格式和其它先进功能，可广泛应用在各种速率和各种分辨率的场合。 缺点：压缩比较低，数据量依然很大，不便存放和传输，如用于网络方面则需要较高的网络带宽，因此不太适合用于Internet和VOD点播方面。 应用领域：Mixer 版税方式：按个收取(最初的收费对象为解码设备和编码设备，中国DVD制造商每生产一台DVD需要交纳专利费16.5美元。向解码设备和编码设备收取的专利授权费每台2.5美元) 备注：MPEG-2是其颁布的（活动图像及声音编码）国际标准之一，制定于1994年，是为高级工业标准的图像质量以及更高的传输率而设计，为了力争获得更高的分辨率 （720×486），提供广播级视频和CD级的音频，它是高质量视频音频编码标准。在常规电视的数字化、高清晰电视HDTV、视频点播VOD，交互式电视等各个领域中都是核心的技术之一。由于MPEG-2在设计时的巧妙处理，使得大多数MPEG-2解码器也可播放MPEG-1格式的数据，如VCD。MPEG-2的音频编码可提供左、右、中及两个环绕声道，以及一个加重低音声道，和多达7个伴音声道。我们平时所说的DVD就是采用MPEG-2编码压缩，所以可有8种语言的配音。除了作为DVD的指定标准外，MPEG-2的应用前景非常的广阔，
音视频技术基本知识一
https://www.docsj.com/doc/e77668252.html, 音视频技术基本知识一 网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术，为客户提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PaaS服务。在线教育、远程医疗、娱乐秀场、在线金融等各行业及企业用户只需经过简单的开发即可打造在线音视频平台。现在，网易视频云总结网络上的知识，与大家分享一下音视频技术基本知识。 与画质、音质等有关的术语 这些术语术语包括帧大小、帧速率、比特率及采样率等。 1、帧 一般来说，帧是影像常用的最小单位，简单的说就是组成一段视频的一幅幅图片。电影的播放连续的帧播放所产生的，现在大多数视频也类似，下面说说帧速率和帧大小。 帧速率，有的转换器也叫帧率，或者是每秒帧数一类的，这可以理解为每一秒的播放中有多少张图片，一般来说，我们的眼睛在看到东西时，那些东西的影像会在眼睛中停留大约十六分之一秒，也就是视频中只要每秒超过15帧，人眼就会认为画面是连续不断的，事实上早期的手绘动画就是每秒播放15张以上的图片做出来的。但这只是一般情况，当视频中有较快的动作时，帧速率过小，动作的画面跳跃感就会很严重,有明显的失真感。因此帧速率最好在24帧及以上，这24帧是电影的帧速率。 帧大小，有的转换器也叫画面大小或屏幕大小等，是组成视频的每一帧的大小，直观表现为转换出来的视频的分辨率的大小。一般来说，软件都会预置几个分辨率，一般为320×240、480×320、640×360、800×480、960×540、1280×720及1920×1080等，当然很多转换器提供自定义选项，这里，不得改变视频长宽比例。一般根据所需要想要在什么设备上播放来选择分辨率，如果是转换到普通手机、PSP等设备上，视频分辨率选择与设备分辨率相同，否则某些设备可能会播放不流畅，设备分辨率的大小一般都可以在中关村在线上查到。 2、比特率 比特率，又叫码率或数据速率，是指每秒传输的视频数据量的大小，音视频中的比特率，是指由模拟信号转换为数字信号的采样率；采样率越高，还原后的音质和画质就越好；音视频文件的体积就越大，对系统配置的要求也越高。 在音频中，1M以上比特率的音乐一般只能在正版CD中找到，500K到1M的是以APE、FLAC等为扩展名的无损压缩的音频格式，一般的MP3是在96K到320K之间。目前，对大多数人而言，对一般人而言192K就足够了。 在视频中，蓝光高清的比特率一般在40M以上，DVD一般在5M以上，VCD一般是在1M 以上。（这些均是指正版原盘，即未经视频压缩的版本）。常见的视频文件中，1080P的码率一般在2到5M之间，720P的一般在1到3M，其他分辨率的多在一M一下。 视频文件的比特率与帧大小、帧速率直接相关，一般帧越大、速率越高，比特率也就越大。当然某些转换器也可以强制调低比特率，但这样一般都会导致画面失真，如产生色块、色位不正、出现锯齿等情况。
视频压缩编码标准H.264详解
视频压缩编码标准H.264详解 ——新疆大学2006级工硕郭新军 JVT（Joint Video Team，视频联合工作组）于2001年12月在泰国Pattaya 成立。它由ITU-T和ISO两个国际标准化组织的有关视频编码的专家联合组成。JVT的工作目标是制定一个新的视频编码标准，以实现视频的高压缩比、高图像质量、良好的网络适应性等目标。目前JVT的工作已被ITU-T接纳，新的视频压缩编码标准称为H.264标准，该标准也被ISO接纳，称为AVC（Advanced Video Coding）标准，是MPEG-4的第10部分。 H.264标准可分为三档： 基本档次（其简单版本，应用面广）； 主要档次（采用了多项提高图像质量和增加压缩比的技术措施，可用于SDTV、HDTV和DVD等）； 扩展档次（可用于各种网络的视频流传输）。 H.264不仅比H.263和MPEG-4节约了50％的码率，而且对网络传输具有更好的支持功能。它引入了面向IP包的编码机制，有利于网络中的分组传输，支持网络中视频的流媒体传输。H.264具有较强的抗误码特性，可适应丢包率高、干扰严重的无线信道中的视频传输。H.264支持不同网络资源下的分级编码传输，从而获得平稳的图像质量。H.264能适应于不同网络中的视频传输，网络亲和性好。 一、H.264视频压缩系统 H.264标准压缩系统由视频编码层（VCL）和网络提取层（Network Abstraction Layer，NAL）两部分组成。VCL中包括VCL编码器与VCL解码器，主要功能是视频数据压缩编码和解码，它包括运动补偿、变换编码、熵编码等压缩单元。NAL则用于为VCL提供一个与网络无关的统一接口，它负责对视频数据
音频、视频压缩有哪些技术标准
音频、视频压缩有哪些技术标准？ 视频压缩技术有：MPEG-4、H263、H263+、H264等 MPEG-4视频编码技术介绍 MPEG是“Moving Picture Experts Group”的简称，在它之前的标准叫做JPEG，即“Joint Photographic Experts Group”。当人们用到常见的“.jpg”格式时，实际上正在使用JPEG的标准。JPEG规范了现代视频压缩的基础，而MPEG把JPEG 标准扩展到了运动图象。 MPEG-4视频编码标准支持MPEG-1、MPEG-2中的大多数功能，它包含了H.263的核心设计，并增加了优先特性和各种各样创造性的新特性。它提供不同的视频标准源格式、码率、帧频下矩形图像的有效编码，同时也支持基于内容的图像编码。采纳了基于对象(Object-Based)的编码、基于模型(Model-based)的编码等第二代编码技术是MPEG-4标准的主要特征。 MPEG4与MPEG1、MPEG2的比较 从上表可以看出，MPEG1和MPEG2主要应用于固定媒体，比如 VCD 和 DVD ，而对于网络传输，MPEG4具有无可比拟的优势。 H.263/H.263+/H.264视频编码技术介绍 1.H.263视频编码标准 1.H.263是最早用于低码率视频编码的ITU-T标准，随后出现的第二 版(H.263+)及H.263++增加了许多选项，使其具有更广泛的适用性。 H.263是ITU-T为低于64kb/s的窄带通信信道制定的视频编码标准。 它是在H.261基础上发展起来的，其标准输入图像格式可以是
S-QCIF、QCIF、CIF、4CIF或者16CIF的彩色4∶2∶0亚取样图像。 H.263与H.261相比采用了半象素的运动补偿，并增加了4种有效的 压缩编码模式。 2.H.263+视频压缩标准 1.ITU-T在H.263发布后又修订发布了H.263标准的版本2，非正式 地命名为H.263+标准。它在保证原H.263标准核心句法和语义不变 的基础上，增加了若干选项以提高压缩效率或改善某方面的功能。原 H.263标准限制了其应用的图像输入格式，仅允许5种视频源格式。 H.263+标准允许更大范围的图像输入格式，自定义图像的尺寸，从而 拓宽了标准使用的范围，使之可以处理基于视窗的计算机图像、更高 帧频的图像序列及宽屏图像。为提高压缩效率，H.263+采用先进的帧 内编码模式；增强的PB-帧模式改进了H.263的不足，增强了帧间预 测的效果；去块效应滤波器不仅提高了压缩效率，而且提供重建图像 的主观质量。为适应网络传输，H.263+增加了时间分级、信噪比和空 间分级，对在噪声信道和存在大量包丢失的网络中传送视频信号很有 意义；另外，片结构模式、参考帧选择模式增强了视频传输的抗误码 能力。 3.H.264视频压缩标准 1.H.264是由ISO/IEC与ITU-T组成的联合视频组(JVT)制定的新一 代视频压缩编码标准。对信道时延的适应性较强，既可工作于低时延 模式以满足实时业务，如会议电视等；又可工作于无时延限制的场合， 如视频存储等。 2.提高网络适应性，采用“网络友好”的结构和语法，加强对误码和 丢包的处理，提高解码器的差错恢复能力。 3.在编/解码器中采用复杂度可分级设计，在图像质量和编码处理之 间可分级，以适应不同复杂度的应用。 4.相对于先期的视频压缩标准，H.264引入了很多先进的技术，包括 4×4整数变换、空域内的帧内预测、1/4象素精度的运动估计、多参 考帧与多种大小块的帧间预测技术等。新技术带来了较高的压缩比， 同时大大提高了算法的复杂度。 G.7xx系列典型语音压缩标准介绍 G.7xx 是一组 ITU-T 标准，用于视频压缩和解压过程。它主要用于电话方面。在电话学中，有两个主要的算法，分别定义在 mu-law 算法（美国使用）和 a-law 算法（欧洲及世界其他国家使用），两者都是对数关系，但对于计算机的处理来说，后者的设计更为简单。 国际电信联盟G系列典型语音压缩标准的参数比较：
数字视频基础知识
第三章 数字视频基础知识 3.1 视频的基础知识 在人类接受的信息中，有70%来自视觉，其中视频是最直观、最具体、信息量最丰富的。我们在日常生活中看到的电视、电影、VCD、DVD以及用摄像机、手机等拍摄的活动图像等都属于视频的范畴。 摄影机是指用胶片拍摄电影的机器，摄像机是用磁带、光盘、硬盘等作为界质记录活动影像的机器，广泛用于电视节目制作、家庭及其他各个方面。 摄影机使用胶片和机械装置记录活动影像，所采用的是光学和化学记录方式，摄象机是采用电子记录方式。 1 视频的定义 ?视频(Video)就其本质而言，是内容随时间变化的一组动态图像(25或30帧/秒)，所以视频又叫作运动图像或活动图像。 ?一帧就是一幅静态画面，快速连续地显示帧，便能形运动的图像，每秒钟显示帧数越多，即帧频越高，所显示的动作就会越流畅。 『视觉暂留现象』 ?人眼在观察景物时，光信号传人大脑神经，需经过一段短暂的时间，光的作用结束后，视觉形象并不立即消失，这种残留的视觉称“后像”，视觉的这一现象则被称为“视觉暂留现象”。 ?具体应用是电影的拍摄和放映。 ?根据实验人们发现要想看到连续不闪烁的画面，帧与帧之间的时间间隔最少要达到是二十四分之一秒。 ?视频信号具有以下特点： ?内容随时间而变化 ?有与画面动作同步的声音(伴音) ?图像与视频是两个既有联系又有区别的概念：静止的图片称为图像(Image)，运动的图像称为视频(Video)。 ?图像与视频两者的信源方式不同，图像的输入靠扫描仪、数字照相机等设备；视频的输入是电视接收机、
摄象机、录象机、影碟机以及可以输出连续图像信号的设备。 2.视频的分类 ?按照处理方式的不同，视频分为模拟视频和数字视频。 ?模拟视频（Analog Video） ?模拟视频是用于传输图像和声音的随时间连续变化的电信号。早期视频的记录、存储和传输都采用模拟方式，如在电视上所见到的视频图像是以一种模拟电信号的形式来记录的，并依靠模拟调幅的手段在空间传播，再用盒式磁带录像机将其作为模拟信号存放在磁带上。 ?模拟视频的特点： ?以模拟电信号的形式来记录 ?依靠模拟调幅的手段在空间传播 ?使用磁带录象机将视频作为模拟信号存放在磁带上 ?传统视频信号以模拟方式进行存储和传送然而模拟视频不适合网络传输，在传输效率方面先天不足，而且图像随时间和频道的衰减较大，不便于分类、检索和编辑。 ?要使计算机能对视频进行处理，必须把视频源即来自于电视机、模拟摄像机、录像机、影碟机等设备的模拟视频信号转换成计算机要求的数字视频形式，这个过程称为视频的数字化过程。 ?数字视频可大大降低视频的传输和存储费用、增加交互性、带来精确稳定的图像。 ?如今，数字视频的应用已非常广泛。包括直接广播卫星(DBS)、有线电视(如图5.2)、数字电视在内的各种通信应用均需要采用数字视频。 ?一些消费产品，如VCD和DVD，数字式便携摄像机，都是以MPEG视频压缩为基础的。 数字化视频的优点 ?适合于网络应用 ?在网络环境中，视频信息可方便地实现资源共享。视频数字信号便于长距离传输。 ?再现性好 ?模拟信号由于是连续变化的，所以不管复制时精确度多高，失真不可避免，经多次复制后，误差就很大。
H.264视频编码标准分析和算法优化
H.264编码标准的分析和算法优化 一、研究背景： 随着社会的不断进步和多媒体信息技术的发展，人们对信息的需求越来越丰富，方便、快捷、灵活地通过语音、数据、图像与视频等方式进行多媒体通信已成不可或缺的工具。其中视觉信息给人们直观、生动的形象，因此图像与视频的传输更受到广泛的关注。然而，视频数据具有庞大的数据量，以普通的25帧每秒，CIF格式（分辨率为352×288）的视频图像为例，一秒钟的原始视频数据速率高达3.8M字节。不对视频信号进行压缩根本无法实时传输如此庞大的数据量，因此，视频压缩技术成为研究热点。 随着近几年来视频图像传输领域的不断扩展，以往的标准己经难于适应不同信道的传输特征及新兴的应用环境。为此，ISO/IEC&ITU-T共同开发了最新视频编码标准H.264/AVC。相对以前的视频编码标准，H.264集成了许多新的视频压缩技术，具有更高的压缩效率和图像质量。在同等的图像质量条件下，H.264的数据压缩比是应用于当前DVD系统MPEG-2的2~3倍，比MPEG-4高1.5~2倍，并且具有更好的网络友好性。但是H.264高压缩比的代价是编码器计算复杂度大幅度地提高。因此在保持编码效率几乎不变的同时尽可能提高编码速度是H.264/AVC视频编码标准能否得到广泛应用的关键。 在上述研究背景下，本文深入探讨了H.264/AVC标准，分析了编码器主要耗时模块的工作原理，提出三种降低H.264/AVC高计算复杂度的优化算法――快速帧内预测模式选择算法、快速帧间预测模式选择算法以及快速运动估计算法。实验结果表明：本文所提快速算法都可大幅度地降低H.264编码器的计算复杂度，并且保持基本不变的编码效率。 二、新一代视频编码标准H.264简介： 编码标准演进过程：H.261 MPEG-1 MPEG-2 H.263 MPEG-4 从视频编码标准的发展历程来看，视频编码标准都有一个不断追求的目标：在尽可能低的码率（或存储容量）下获得尽可能好的图像质量。MPEG-2、MPEG-4、H.263等标准都取得了巨大的成功，但在应用中也发现一些问题。H.263众多的选项往往令使用者无所适从；MPEG-2压缩效率己显略低；引人注目的MPEG-4的“基于对象的编码”由于尚有技术障碍，目前还难以普遍应用。在此背景下，两大国际标准化组织ITU-T和ISO共同制定了新一代视频编码标准H.264。该编码标准在混合编码的框架下引入新的编码方式，解决了目前编码标 准存在的问题，进一步贴近实际应用，其应用前景是不言而喻的。 三、H.264视频编码标准概述 JVT的工作目标是制定一个新的视频编码标准，以实现视频的高压缩比、高图像质量、良好的网络适应性等目标。JVT的工作已于2003年3月被ITU-T采纳，新的视频编码标准称为H.264标准。该标准也被ISO采纳，称为AVC（Advanced Video Coding）标准，是国际标准ISO14496-10（MPEG-4的第10部分），因此总称为H.264/AVC。 H.264着重于提高压缩效率和传输的可靠性，因而其应用面十分广泛。具体来说，H.264支持三个不同档次的应用： 1、基本档次：H.264简单版本，应用面广，主要用于视频会话，如会议电视、可视电话、远程医疗、远程教学等。 2、主要档次：采用了多项提高图像质量和增加压缩比的技术措施，主要用于消费电子应用，可用于SDTV、HDTV和DVD等。 3、扩展档次：主要用于各种网络的视频流传输，如视频点播等。
视频压缩格式的分析和对比(MJPEG、MPEG-4、H.264等)
视频压缩格式的分析和对比（MJPEG、MPEG-4、H.264等） 时间：2011-08-06 点击数：1977 视频压缩格式的分析和对比（MJPEG、MPEG-4、H.264等） 1．H.261 H.261又称为P*64，其中P为64kb/s的取值范围，是1到30的可变参数，它最初是针对在ISDN上实现电信会议应用特别是面对面的可视电话和视频会议而设计的。实际的编码算法类似于MPEG算法，但不能与后者兼容。H.261在实时编码时比MPEG所占用的CPU运算量少得多，此算法为了优化带宽占用量，引进了在图像质量与运动幅度之间的平衡折中机制，也就是说，剧烈运动的图像比相对静止的图像质量要差。因此这种方法是属于恒定码流可变质量编码而非恒定质量可变码流编码。 2．H.263 H.263是国际电联ITU-T的一个标准草案，是为低码流通信而设计的。但实际上这个标准可用在很宽的码流范围，而非只用于低码流应用，它在许多应用中可以认为被用于取代H.261。H.263的编码算法与H.261一样，但做了一些改善和改变，以提高性能和纠错能力。.263标准在低码率下能够提供比H.261更好的图像效果，两者的区别有：(1)H.263的运动补偿使用半象素精度，而H.261则用全象素精度和循环滤波；(2)数据流层次结构的某些部分在H.263中是可选的，使得编解码可以配置成更低的数据率或更好的纠错能力；(3)H.263包含四个可协商的选项以改善性能；(4)H.263采用无限制的运动向量以及基于语法的算术编码；(5)采用事先预测和与MPEG中的P-B帧一样的帧预测方法；(6)H.263支持5种分辨率，即除了支持H.261中所支持的QCIF和CIF外，还支持SQCIF、4CIF和16CIF，SQCIF相当于QCIF一半的分辨率，而4CIF和16CIF分别为CIF的4倍和16倍。 1998年IUT-T推出的H.263＋是H.263建议的第2版，它提供了12个新的可协商模式和其他特征，进一步提高了压缩编码性能。如H.263只有5种视频源格式，H.263＋允许使用更多的源格式，图像时钟频率也有多种选择，拓宽应用范围；另一重要的改进是可扩展性，它允许多显示率、多速率及多分辨率，增强了视频信息在易误码、易丢包异构网络环境下的传输。另外，H.263＋对H.263中的不受限运动矢量模式进行了改进，加上12个新增的可选模式，不仅提高了编码性能，而且增强了应用的灵活性。H.263已经基本上取代了H.261。 二、M-JPEG M-JPEG（Motion- Join Photographic Experts Group）技术即运动静止图像（或逐帧）压缩技术，广泛应用于非线性编辑领域可精确到帧编辑和多层图像
新一代视频编码技术---H.265HEVC高效视频编码技术
新一代视频编码技术--- H.265/HEVC高效视频编码技术 音视频信息包含图像、语音、文字等各种信息，是人与人之间沟通的重要媒介，因此以音视频为核心的视频会议、视频指挥、视频监控、可视电话等各种音视频系统成为现代各个行业和领域信息化建设领域的重点。然而，高清晰的实时图像数据量巨大，以图像分辨率为1920X1080，颜色取样深度为24bit，每秒帧数为60帧的实时高清视频为例，未经压缩处理的图像通过网络传输每秒的流量将达到355.957MB。 为了实现在有限带宽下传输如此高数据量的视频图像，音视频应用系统通过使用编码设备将图像进行压缩编码大幅降低数据量后再通过网络传输，目前这些编码设备主要采用H.264编码技术。H.264又称MPEG-4part10，由VCEG和MPEG联合组成的JVT （JointVideoTeam）于2003年3月正式发布，经过十余年的发展，H.264已被业内的厂商广泛的采纳和使用。 H.264采用帧内、帧间预测技术，高精度、多模式的位移估计，整数变换编码以及先进的量化处理和滤波处理，在同等保真条件下，大幅提高了编码效率。但是，H.264也存在一定的局限性，例如，由于图像分辨率的大大增加，单个宏块所表示的图像内容信息大大减少，H.264所采用的4×4或8×8宏块经过整数变换后，低频系数相似程度也大大提高，出现大量冗余，导致H.264编码对高清视频的压缩效率明显降低，而目前720P，1080P高清图像已经成为音视频应用系统的主流，未来图像分辨率将达到4K（4096 x 2160）、8K（8192×4320），H.264已经无法满足用户对高清视频图像传输的需求。 新一代视频编码技术---H.265/HEVC高效视频编码技术的出现为解决这问题提供了手段。 H.265/HEVC在现有的主流视频编码标准H.264上保留了一些较为成熟的技术和继承其现有的优势，同时采用了基于四叉树结构的编码分割、预测编码技术等先进的编码技术，视频压缩效率将比H.264提高大约一半，可以轻松实现在低带宽下实现1080P图像的传输，同时支持4K、8K高清图像的传输。业内厂商纷纷开展了H.265/HEVC编码产品的研发和应用，例如武汉兴图新科已率先实现H.265/HEVC编码器的规模化应用，推出支持HDSDI 、DVI、HDMI 等各种视频制式的H.265/HEVC高清编码器，该型号的编码器在同等图像质量下，图像数据量只有MPEG2的1/16，MPEG4的1/6，H.264的1/2，同时实现在高达25%丢包率的不稳定网络环境下稳定传输。随着用户对高清和超高清视频的需求，基于H.265/HEVC标准的编码器将得到广泛的应用。
高效视频编码标准中的关键技术概述
本栏目责任编辑：唐一东 多媒体技术及其应用高效视频编码标准中的关键技术概述 张玢 （渭南师范学院数学与信息科学学院网络工程技术中心，陕西渭南714000） 摘要：高效视频编码标准(High Efficiency Video Coding)是视频压缩领域继H.264/AVC 之后的又一重大突破，主要面向高 清电视（HDTV ）以及视频编解码系统，文章从HEVC 基本体系出发，较全面地介绍了HEVC 在编码结构、自适应样点补 偿、自适应环路滤波以及并行化设计方面采用的关键技术。 关键词：视频编码；H.265/HEVC ；变换结构 中图分类号：TP391文献标识码：A 文章编号：1009-3044(2013)18-4316-03 Research on Core Techniques in the High Efficiency Video Coding ZHANG Bin (Center of Network Engineering Technology,College of Mathematics and Information Science,Weinan Normal University, Weinan 714000,China ) Abstract:As the successor to H.264/AVC,the High Efficiency Video Coding standard targets at next-generation HDTV dis? plays and video compression systems.The encode architectures and some of the key technologies used in the new model are in? troduced in this paper.Those key technologies involve with code structure,sample adaptive offset,adaptive loop filter and paral? lel structure. Key words:video coding;H.265/HEVC;transforming structure 国际电联(ITU)已正式批准通过了高效视频编码标准H.265/HEVC(High Efficiency Video Coding)，性能比H.264压缩标准有了很大的改善。H.265/HEVC 标准对压缩技术进行了改进，旨在有限带宽下传输更高质量的网络视频，H.265标准也同时支持超高清视频：4K (4096×2160)和8K(8192×4320)。可以说，H.265标准让网络视频跟上了显示屏“高分辨率化”的脚步。1HEVC 编码架构 视频编码压缩的基本原理，是充分利用时间、空间的相关性，尽可能的去除冗余信息。目前通常采用混合视频编码框架，即按照相关原则将一帧数据划分为若干块，通过预测、变换、量化、熵编码等一系列算法来实现视频压缩。 与H.264/AVC 相似，H.265/HEVC 的编码架构主要包含：帧内预测、帧间预测、转换、量化、去区块滤波器、熵编码等模块，但与H.264基于宏块不同，HEVC 整体被分为了三个基本单位：编码单位(CU ，coding unit )、预测单位(PU ，predict unit)和转换单位(TU ，transform unit)。2HEVC 使用的优势技术 H.265/HEVC 标准在之前压缩标准的基础上进行了技术改进，有以下基本算法：图像与声音分解与合成、图像与声音前处理、小波子带熵速率控制、小波子带熵量化与反量化、小波子带邻域交叉降维等，这些算法虽然复杂，但将压缩效率提升了一倍以上，该标准具体有以下几个方面的优势技术。1）编码结构灵活与H.264的4×4和8×8变换块相比，H.265/HEVC 引入了更大的宏块类型，扩充到16×16、32×32甚至于64×64的变换和量化算法，目的在于减少高清数字视频的宏块个数，描述宏块内容的参数信息也相对减少，以便于高分辨率视频的压缩。 为了提高视频的编码压缩效率，H.265/HEVC 提出了超大尺寸四叉树编码结构，该编码结构更加灵活，并使用CU ，PU 和TU 3个概念来描述整个编码过程。 收稿日期：2013-06-03 基金项目：渭南师范学院研究生专项基金项目（12YKZ048） 作者简介：张玢（1986-），女，陕西渭南人，教师，硕士研究生，主要从事嵌入式开发研究。 4316
视频压缩编码标准H.264详解
视频压缩编码标准H.264详解
视频压缩编码标准H.264详解 ——新疆大学2006级工硕郭新军 JVT（Joint Video Team，视频联合工作组）于2001年12月在泰国Pattaya 成立。它由ITU-T和ISO两个国际标准化组织的有关视频编码的专家联合组成。JVT的工作目标是制定一个新的视频编码标准，以实现视频的高压缩比、高图像质量、良好的网络适应性等目标。目前JVT的工作已被ITU-T接纳，新的视频压缩编码标准称为H.264标准，该标准也被ISO接纳，称为AVC（Advanced Video Coding）标准，是MPEG-4的第10部分。 H.264标准可分为三档： 基本档次（其简单版本，应用面广）； 主要档次（采用了多项提高图像质量和增加压缩比的技术措施，可用于SDTV、HDTV和DVD等）； 扩展档次（可用于各种网络的视频流传输）。 H.264不仅比H.263和MPEG-4节约了50％的码率，而且对网络传输具有更好的支持功能。它引入了面向IP包的编码机制，有利于网络中的分组传输，支持网络中视频的流媒体传输。H.264具有较强的抗误码特性，可适应丢包率高、干扰严重的无线信道中的视频传输。H.264支持不同网络资源下的分级编码传输，从而获得平稳的图像质量。H.264能适应于不同网络中的视频传输，网络亲和性好。 一、H.264视频压缩系统 H.264标准压缩系统由视频编码层（VCL）和网络提取层（Network Abstraction Layer，NAL）两部分组成。VCL中包括VCL编码器与VCL解码器，主要功能是视频数据压缩编码和解码，它包括运动补偿、变换编码、熵编码等压缩单元。NAL则用于为VCL提供一个与网络无关的统一接口，它负责对视频数
视频编码跟音频编码常识新
视频与音频编码知识 动态链接：Adobe premiere pro 编码定义：原始的视屏图像数据和音频信息都包含有大量的冗余信息，编码就是压缩的过程，将信息中的冗余信息去掉。分为视屏编码和音频编码，两者是分开的。一般来说视频比那马方案往往决定了高清视频的画质高低（严格意义上还有码率因素).音频编码决定了起音质的好坏。 常用视频编码：XVID(DIVX的升级版），DIVX,H.264，MPEG-2\MPEG-4等。 Mpeg1:早期vcd使用，分辨率是352*288，压缩比低。Mpeg2:一般DVD使用，有NTSC(720*480)和 PAL(720*576),压缩比高于mpeg1. Mpeg4：目前使用最多的技术，avi文件始祖，大大提高压缩比，而质量堪比DVD Divx:基于mpeg4开发，有一定算法优先。 Xvid:divx技术封锁以后被人破解开发的，也是基于mpeg4的编码技术更先进，采用开放源码，画质更好。 H.261:早期的低码率编码，应用于352*288和176*144，
现在已不用。 H.263:在低码率下能够提供比H.261更好的图像效果，改进一些算法。 H.263+:h.263的改进型 H.264:H.264集中了以往标准的优点，高效压缩，与H.263+和mpeg4 sp相似。 Rm\rmvb:real 公司推出的应用于网络的高压缩编码，rm 是固定码率。Rmvb是动态码率（就是静态画面采用低码率，动态采用高码率） X264 X264是国际标准H.264的编码器实现，是一个开源encoder,得益于H.264的高效压缩性能，加之于X264的高效（编码速度快）实现，X264目前被广泛应用于DVDrip 领域。 封装格式（也叫容器） 所谓封装格式就是将已经编码压缩好的视频和音频按照一定的格式放到一个文件中，也就是说仅仅是一个外壳。 格式类型 AVI：微软在90年代初创立的封装标准，是当时为对抗
视频编码全参数
视频编码参数 编码类型 编码类型为H264。 Adaptive DCT 允许使用8*8DCT。对画面质量和压缩效率都有好处。I4*4，P4*4，P8*8，B8*8：AVC标准允许使用多种DCT 块划分方式，这里就能选择允许使用的DCT块划分方式。前面的字母代表对于的帧类型，后面的数字代表块大小。本选项对画面质量和压缩效率都有好处，推荐都选上。I8*8需要ADaptive DCT打开才有效。 帧率 每秒的帧数(fps)或者说帧率表示图形处理器处理场时每秒钟能够更新的次数。高的帧率可以得到更流畅、更逼真的动画。一般来说30fps就是可以接受的，但是将性能提升至60fps则可以明显提升交互感和逼真感，但是一般来说超过75fps一般就不容易察觉到有明显的流畅度提升了。如果帧率超过屏幕刷新率只会浪费图形处理的能力，因为监视器不能以这么快的速度更新，这样超过刷新率的帧率就浪费掉了。 GOP（Group of picture） 关键帧的周期，也就是两个IDR帧之间的距离，一
个帧组的最大帧数，一般而言，每一秒视频至少需要使用 1 个关键帧。增加关键帧个数可改善质量，但是同时增加带宽和网络负载。 需要说明的是，通过提高GOP值来提高图像质量是有限度的，在遇到场景切换的情况时，H.264编码器会自动强制插入一个I帧，此时实际的GOP值被缩短了。另一方面，在一个GOP中，P、B帧是由I帧预测得到的，当I帧的图像质量比较差时，会影响到一个GOP中后续P、B帧的图像质量，直到下一个GOP开始才有可能得以恢复，所以GOP 值也不宜设置过大。 同时，由于P、B帧的复杂度大于I帧，所以过多的P、B帧会影响编码效率，使编码效率降低。另外，过长的GOP还会影响Seek操作的响应速度，由于P、B帧是由前面的I或P帧预测得到的，所以Seek操作需要直接定位，解码某一个P或B帧时，需要先解码得到本GOP内的I帧及之前的N个预测帧才可以，GOP值越长，需要解码的预测帧就越多，seek响应的时间也越长。 CABAC/CAVLC H.264/AVC标准中两种熵编码方法，CABAC叫自适应二进制算数编码，CAVLC叫前后自适应可变长度编码，这两个选项中，CAVLC是低质量的，易于解码的选项，CABAC是高质量的，难于解码的选项。
视频音频封装基础知识
视频/ 音频/ 封装的基本知识 1.分辨率 由于现在的高清视频全部是数字方式，由若干象素构成图象，一幅图象的水平象素乘以垂直象素，就表示为分辨率，比如分辨率为1920×1080，图象的水平方向每行有1920 个象素，垂直方向上每列1080 个象素。分辨率越高，构成图象的象素越多，包含的图象信息越丰富，图象越清晰，所以分辨率是高清的重要指标。 2.隔行和逐行 隔行和逐行是电视系统显示图像的方法。隔行就是每一幅画面被分割为两场，每一场包含了一幅画面中所有的奇数行或者偶数行，通常是先扫描奇数行得到第一场，然后扫描偶数行得到第二场。由于视觉暂留效应，人眼将会看到平滑的运动而不是闪动的半幅的图像。但是这时会有几乎不会被注意到的闪烁出现，使得人眼容易疲劳。逐行每次显示整个图象，由于目前的平板电视绝大多数是逐行显示方式，不管电视信号如何，电视机都可以选择无闪烁的逐行显示。 4.码率 码率是单位时间传送的数据量, 高清视频常用的单位是Mbps。通俗一点的理解就是原始片源制作数字格式的高清视频文件的取样率，码率越高，单位象素上包含的信息量越多，文件就越接近原始文件，清晰度越高。 5.编码方式： 目前高清主流的视频编码格式有MPEG2、H264，VC-1。 MPEG2是DVD采用的视频编码格式，广泛用于DVD和电视信号传输。用于1080i 高清电视信号传输，需要12-20Mbps带宽，占用大量带宽，技术较老，压缩比不高。中国和美国的部分高清节目在使用MPEG2，欧洲已基本换用H264。Blu-ray早期部分节目使用过MPEG2，目前已全部换为H264和VC1。MPEG2压缩比低，对机器的要求最低，硬加速也最完善，只要你的机器不要太古董，都可以放得动。 H264是由ITU-T和ISO/IEC两大国际组织制定，H264在两大组织内分别表述为H264、MPEG-4 Part 10、ISO/IEC 14496-10、MPEG-4 AVC这4种名称，我们习惯使用其最
视频编码技术
视频编码技术 所谓视频编码方式就是指通过特定的压缩技术，将某个视频格式的文件转换成另一种视频格式文件的方式。目前视频流传输中最为重要的编解码标准有国际电联的H.261、H.263，运动静止图像专家组的M-JPEG和国际标准化组织运动图像专家组的MPEG系列标准，此外在互联网上被广泛应用的还有Real-Networks的RealVideo、微软公司的WMV以及Apple公司的QuickTime等。 目前监控中主要采用MJPEG、MPEG1/2、MPEG4(SP/ASP）、H.264/A VC、VC-1、RealVideo等几种视频编码技术。对于最终用户来言他最为关心的主要有：清晰度、存储量（带宽）、稳定性还有价格。采用不同的压缩技术，将很大程度影响以上几大要素。 MJPEG MJPEG（Motion JPEG）压缩技术，主要是基于静态视频压缩发展起来的技术，它的主要特点是基本不考虑视频流中不同帧之间的变化，只单独对某一帧进行压缩。 MJPEG压缩技术可以获取清晰度很高的视频图像，可以动态调整帧率、分辨率。但由于没有考虑到帧间变化，造成大量冗余信息被重复存储，因此单帧视频的占用空间较大，目前流行的MJPEG技术最好的也只能做到3K字节/帧，通常要8~20K！ MPEG-1/2 MPEG-1标准主要针对SIF标准分辨率(NTSC制为352X240；PAL制为352X288）的图像进行压缩. 压缩位率主要目标为 1.5Mb/s.较MJPEG技术，MPEG1在实时压缩、每帧数据量、处理速度上有显著的提高。但MPEG1也有较多不利地方：存储容量还是过大、清晰度不够高和网络传输困难。 MPEG-2 在MPEG-1基础上进行了扩充和提升，和MPEG-1向下兼容，主要针对存储媒体、数字电视、高清晰等应用领域，分辨率为：低（352x288），中（720x480），次高（1440x1080），高（1920x1080）。MPEG-2视频相对MPEG-1提升了分辨率，满足了用户高清晰的要求，但由于压缩性能没有多少提高，使得存储容量还是太大，也不适合网络传输。 MPEG-4 MPEG-4视频压缩算法相对于MPEG-1/2在低比特率压缩上有着显著提高，在CIF（352*288）或者更高清晰度（768*576）情况下的视频压缩，无论从清晰度还是从存储量上都比MPEG1具有更大的优势，也更适合网络传输。另外MPEG-4可以方便地动态调整帧率、比特率，以降低存储量。 MPEG-4由于系统设计过于复杂，使得MPEG-4难以完全实现并且兼容，很难在视频会议、可视电话等领域实现，这一点有点偏离原来地初衷。另外对于中国企业来说还要面临高昂的专利费问题，目前规定： －每台解码设备需要交给MPEG-LA 0.25美元。 －编码/解码设备还需要按时间交费（4美分/天=1.2美元/月=14.4美元/年）。 H.264/A VC 视频压缩国际标准主要有由ITU-T制定的H.261、H.262、H.263、H.264和由MPEG制定的MPEG-1、MPEG-2、MPEG-4，其中H.262/MPEG-2和