影像压缩、程序开发能力、硬盘控制技术等均是影响数字视频监控系统发展的关键技术,其中,影像压缩技术的优劣直接影响影像品质、储存资料量和传输速度,因而尤为关键。
现阶段采用成熟的压缩技术以JPEG、MPEG1、MPEG2为主,但严格说起来这些压缩技术都很能完全符合长时间录像的需求。而自2002年11月具有高压缩比的MPEG4国家标准的确立,现阶段它已成为数字监控产品制造商加紧研发的主要项目之一。
1、M-JPEG
M-JPEG(Motion-Join Photographic Experts Group)技术即运动静止图像(或逐帧)压缩技术,它把运动的视频序列作为连续的静止图像来处理,这种压缩方式单独完整地压缩每一帧,在编辑过程中可随机存储每一帧,可进行精确到帧的编辑。但M-JPEG只对帧内的空间冗余进行压缩。不对帧间的时间冗余进行压缩,故压缩效率不高。
M-JPEG本质上是一种基于静态图像压缩技术JPEG发展起来的动态图像压缩技术,可以生成序列化的运动图像。其主要特点是基本不考虑视频流中不同帧之间的变化,只单独对某一帧进行压缩,其压缩倍数为20~80倍,适合静态画面的压缩,分辨率可从352×288到704×576。以往的JPEG压缩技术是直接处理整个画面,所以要等到整个压缩档案传输完成才开始进行解压缩成影像画面,而这样的方式造成传输一个高解析画面时须耗时数十秒甚至数分钟。而新一代的M-JPEG是采取渐层式技术,先传输低解析的图档,然后再补送细部之资料,使画面品质改善。M-JPEG压缩技术可以获取清晰度很高的视频图像,而且可以灵活设置每路的视频清晰度和压缩帧数。后期压缩后之格式可读单一画面,所以可以任意剪接。M-JPEG因采用帧内压缩方式也适于视频编辑。
M-JPEG的主要缺点是压缩效率低,M-JPEG算法是根据每一帧图像的内容进行压缩,而不是根据相邻帧图像之间的差异来进行压缩,因此造成了大量冗余信息被重复存储,存储占用的空间大到每帧8~15K字节,最好也只能做到每帧3K字节,但如果因此而采用高压缩比则视频质量会严重降低。
2、ISO MPEG-1 标准
MPEG-1 制定于1992年,为工业级标准而设计,编号为ISO/IEC 11172。MPEG-1针对CIF标 准分辨率(NTSC制为352×240;PAL制为352×288)的图像进行压缩,并在标准中规定了视 音频信息经过压缩后的数据码率最大为1.5Mbps。MPEG-1可实现在不同带宽的设备,如CD-ROM、 Video-CD等数字媒体上进行存储,也可以在局域网、ISDN网上进行视音频信息的传输。
3. ISO MPEG-2 标准
MPEG组织在1994年推出了MPEG-2压缩标准,并在1995年成为国际标准,编号为ISO/IEC13818。
MPEG-2标准是针对标准数字电视和高清晰度电视在各种应用下的压缩方案和系统层的详细规定, 编码码率可达100Mbps。MPEG-2不是MPEG-1的简单升级,它在系统和传送方面作了更加详细的 规定和进一步的完善。MPEG-2特别适用于广播级的数字电视的编码和传送,被认定为SDTV和 HDTV的编码标准。
(1)MPEG-2标准的构成
MPEG-2标准目前分为9个部分,各部分的内容描述如下:
1) 第一部分-ISO/IEC13818-1,System:系统,描述多个视频,音频和数据基本码流合成
传输码流和节目码流的方式。
2) 第二部分-ISO/IEC13818-2,Video:视频,描述视频编码方法。
3) 第三部分-ISO/IEC13818-3,Audio:音频,描述与MPEG-1音频标准反向兼容的音频编码方法。
4) 第四部分-ISO/IEC13818-4,Compliance:符合测试,描述测试一个编码码流是否符合 MPEG-2码流的方法。
5) 第五部分-ISO/IEC13818-5,Software:软件,描述了MPEG-2标准的第一、二、三部分 的软件实现方法。
6) 第六部分-ISO/IEC13818-6,DSM-CC:数字存储媒体-命令与控制,描述交互式多媒体网 络中服务器与用户间的会话信令集。
以上六个部分均已获得通过,成为正式的国际标准,并在数字电视等领域中得到了广泛的实 际应用。此外,MPEG-2标准还有三个部分:第七部分规定与MPEG-1音频非反向兼容的多通道 音频编码;第八部分现已停止;第九部分规定了传送码流的实时接口。
(2)MPEG-2编解码原理
MPEG-2视频压缩的原理是利用了图像中的两种特性:空间相关性和时间相关性。这两种相关 性使得图像中存在大量的冗余信息。为了能够有效的去除图像中的冗余信息,MPEG-2标准中 将编码图像被分为三类,分别称为I帧,P帧和B帧。I帧图像采用帧内编码方式。P帧和B帧图 像采用帧间编码方式。P帧图像只采用前向时间预测,B帧图像采用双向时间预测,可以大大 提高压缩倍数。
MPEG-2的编码码流分为六个层次,从上至下依次为:视频序列层(Sequence),图像组层
(GOP:Group of Picture),图像层(Picture),像条层(Slice),宏块层(MacroBlock) 和像块层(Block)。
在帧内编码的情况下,编码图像仅经过DCT,量化器和比特流编码器即生成编码比特流。在帧 间编码的情况下,原始图像首先与帧存储器中的预测图像进行比较,计算出运动矢量,由此 运动矢量和参考帧生成原始图像的预测图像。而后,将原始图像与预测像素差值所生成的差 分图像数据进行DCT变换,再经过量化器和比特流编码器生成输出的编码比特流。
(3)MPEG-2中的Profile@Level
现有MPEG-2视频标准的技术规范集包括5类(Profile)4级(Level)组成,并采用分级编码。 类和集的若干组合构成MPEG-2标准在某种特定应用下的子集。
级(Level)是指MPEG-2的输入格式,标识从有限清晰度的VHS 质量图像到HDTV图像,每一 种输入格式编码后都有一个相应的范围。共分4级:
1) 低级LL(Low Level),图像输入格式的像素是ITU-R Rec.BT 601格式的1/4,即 352×240×30或352×288×25。
2) 主级ML(Main Level),图像输入格式符合ITU-R Rec.BT 601格式,即720×480×30或 720×576×25。
3) 1440高级H14L(High 1440 Level),图像宽高比为4∶3,采用1440×1080×30的高清晰 度格式。
4) 高级HL(High Level),图像宽高比为16∶9,采用1920×1080×30的高清晰度格式。
类(Profile)是指MPEG-2的不同处理方法,每一类都包括压缩和处理方法的一个集合,较高 的类意味着采用较多的编码工具集,进行更精细的处理,达到更好的图像质量,同时实现的 代价也更大。共分5类:
1) 简单类SP(Simple Profile),使用最少的编码工具集。
2) 主类MP(Main Profile),它比简单类增加了一种双向预测方法,在相同比特率的情况 下,将给出比简单类更好的图像。
3) 信噪比可分级类SNRP(SNR Scaleable Profile)和空域可分级类SPP(Spatially Scaleable Profile),这两种类允许将编码的视频数据分为基本层和附加层,提供了一种 多种广播的方式。
4) 高级类HP(High Profile),应用于图像质量、比特率要求更高的场合。
(4)MPEG-2的特点及应用
MPEG-2具有以下几个突出特点:①支持的图像分辨率最高,包括符合ITU-RRec.601(CCIR601) 格式的标准分辨率的数字电视和更高分辨率的HDTV。②支持包括高速体育运动在内的各种活动 的应用最为广泛,既包括存储媒体中的DVD,广播电视中的数字广播电视和HDTV, 还可应用于交互式的视频点播(VOD)和准视频点播(NVOD)。④还能够适配ATM等宽带通信网。
4、MPEG4
MPEG-4于1998年10月定案,在1999年1月成为一个国际性标准,随后为扩展用途又进行了第二版 的开发,于2001年有了其第二个版本。MPEG-4的国际标准编号为ISO/IEC14496。MPEG-4的特点是 其更适于交互AV服务以及远程监控,是一个有交互性的动态图像标准。
MPEG4是专为移动通信设备(例如移动电话)在英特网实时传输音/视频讯号而制定的最新MPEG标准。它的主要特点虽基于帧重建算法来压缩和传输数据,通过动态地监测图像每个区域的变化,按对象的空间和时间特征来调整压缩方法,从而可以获得比M-JPEG更大的压缩比、更低的压缩码流和低带宽下更佳的图像质量。
(1)MPEG-4标准的构成
1) 多媒体传送整体框架(DMIF):主要解决交互网络中、广播环境下以及磁盘应用中多媒体应 用的操作问题。通过DMIF,MPEG-4可以建立起具有特殊品质服务(QoS)的信道和面向每个基本 流的带宽。
2) 数据平面:MPEG-4中的数据平面可以分为传输关系和媒体关系两部分,并引用了对象描述 (OD)和流图桌面(SMT)的概念,使基本流和AV对象在同一场景中出现。
3) 缓冲区管理和实时识别:MPEG-4定义了一个系统解码模式(SDM),该解码模式描述了一种 理想的处理比特流句法语义的解码装置,它要求特殊的缓冲区和实时模式。通过有效地管理, 可以更好地利用有限的缓冲区空间。
4) 视频编码:MPEG-4支持对自然和合成的视觉对象的编码,合成的视觉对象包括2D、3D动画 和人面部表情动画等。
5) 音频编码:MPEG-4不仅支持自然声音,而且支持合成声音。它将音频的合成编码和自然声 音的编码相结合,并支持音频的对象特征。
6) 场景描述:场景描述主要用于描述各AV对象在具体AV场景下,如何组织与同步等问题,同 时还有AV对象与AV场景的知识产权保护等问题。
(2)MPEG-4编解码原理
a. 基本思想
MPEG-4编解码的基本思想是基于图像内容的第二代视频编解码方案,并将基于合成的编码方 案也结合在标准中。它根据图像的内容将图像分割成不同的视频对象VO(Video Object), 在编码过程中对前景对象和后景对象采用不同的编码策略,对于人们所关心的前景对象,则 尽可能的保持对象的细节及平滑,而对不大关心的后景对象采用大压缩比的编码策略。
b. 编解码的数据结构
MPEG-4按照如下五个层次组织要编码的图像,从上至下依次为:视频段VS(Video Session) 、视频对象VO(Video Object)、视频对象层VOL(Video Object Layer)、视频对象组层GOV (Group of Video Object Plane)、视频对象平面VOP(Video Object Plane)。
在MPEG-4中,VO主要被定义为画面中分割出来的不同物体,每个VO有三类信息来描述:运动 信息、形状信息、纹理信息。VO的构成依赖于具体应用和系统实际所处环境,在要求超低比 特率的情况下,VO可以是一个矩形帧(即传统MPEG-1中的矩形帧),从而与原来的标准兼容
对于基于内容的表示要求较高的应用来说,VO可能是场景中的某一物体或某一层面,如新闻 节目中的解说员的头肩像 ;VO也可能是计算机产生的二维、三维图形等。
c. VOP编码器结构
编码器主要由两部分组成:形状编码和传统的运动纹理编码,其中形状编码是MPEG-4在编码 任意形状的VOP时所必须的。
d. MPEG-4的编解码流程及框架
MPEG-4的编码流程:第一步是VO的形成(VO Formation),先要从原始视频流中分割出VO, 之后由编码控制(Coding control)机制为不同的VO以及各个VO的三类信息分配码率,之后 各个VO分别独立编码,最后将各个VO的码流复合成一个位流。其中,在编码控制和复合阶段 可以加入用户的交互控制或由智能化的算法进行控制。现在的MPEG-4包含了基于网格模型的 编码和Sprite技术。在进行图像分析后,先考察每个VO是否符合一个模型,典型的如人头肩 像,如是就按模型编码;再考虑背景能否采用Sprite技术,如是则将背景生产一幅大图,为 每帧产生一个仿射变换和一个位置信息即可;最后才对其余的VO按上述流程编码。MPEG-4的 解码流程则基本上为编码器的反过程,这里不再赘述。
(3)MPEG-4中的Profile@Level
(4)MPEG-4的主要应用场合
从目前的情况看,MPEG-4主要被用于三个领域:数字电视、交互式的图形应用(包括内容上 的合成技术)、交互式多媒体领域等。
(5)MPEG-4的特点及优势
1) MPEG-4是做为一个国际化的标准来制定研究的,因而具有很好的兼容性及开放性。
2) MPEG-4提供高压缩比的同时,对数据的损失很小,达到以最小的数据获得最佳的图像质量的目的。
3) MPEG-4是个开放标准,因其高质量的数字影像,以及允许内容创建者从MPEG-2质量一直 到极低带宽的Internet流式内容全程进行品质和带宽的均衡,而被全世界的无线、电脑及娱 乐公司广泛采用。
4) 正如MPEG-2将使数字电视最终完全取代现有的模拟电视那样,随着(1)MPEG-4标准的构成
1) 多媒体传送整体框架(DMIF):主要解决交互网络中、广播环境下以及磁盘应用中多媒体应 用的操作问题。通过DMIF,MPEG-4可以建立起具有特殊品质服务(QoS)的信道和面向每个基本 流的带宽。
2) 数据平面:MPEG-4中的数据平面可以分为传输关系和媒体关系两部分,并引用了对象描述 (OD)和流图桌面(SMT)的概念,使基本流和AV对象在同一场景中出现。
3) 缓冲区管理和实时识别:MPEG-4定义了一个系统解码模式(SDM),该解码模式描述了一种 理想的处理比特流句法语义的解码装置,它要求特殊的缓冲区和实时模式。通过有效地管理, 可以更好地利用有限的缓冲区空间。
4) 视频编码:MPEG-4支持对自然和合成的视觉对象的编码,合成的视觉对象包括2D、3D动画 和人面部表情动画等。
5) 音频编码:MPEG-4不仅支持自然声音,而且支持合成声音。它将音频的合成编码和自然声 音的编码相结合,并支持音频的对象特征。
6) 场景描述:场景描述主要用于描述各AV对象在具体AV场景下,如何组织与同步等问题,同 时还有AV对象与AV场景的知识产权保护等问题。
(2)MPEG-4编解码原理
a. 基本思想
MPEG-4编解码的基本思想是基于图像内容的第二代视频编解码方案,并将基于合成的编码方 案也结合在标准中。它根据图像的内容将图像分割成不同的视频对象VO(Video Object), 在编码过程中对前景对象和后景对象采用不同的编码策略,对于人们所关心的前景对象,则 尽可能的保持对象的细节及平滑,而对不大关心的后景对象采用大压缩比的编码策略。
b. 编解码的数据结构
MPEG-4按照如下五个层次组织要编码的图像,从上至下依次为:视频段VS(Video Session) 、视频对象VO(Video Object)、视频对象层VOL(Video Object Layer)、视频对象组层GOV (Group of Video Object Plane)、视频对象平面VOP(Video Object Plane)。
在MPEG-4中,VO主要被定义为画面中分割出来的不同物体,每个VO有三类信息来描述:运动 信息、形状信息、纹理信息。VO的构成依赖于具体应用和系统实际所处环境,在要求超低比 特率的情况下,VO可以是一个矩形帧(即传统MPEG-1中的矩形帧),从而与原来的标准兼容
对于基于内容的表示要求较高的应用来说,VO可能是场景中的某一物体或某一层面,如新闻 节目中的解说员的头肩像 ;VO也可能是计算机产生的二维、三维图形等。
c. VOP编码器结构
编码器主要由两部分组成:形状编码和传统的运动纹理编码,其中形状编码是MPEG-4在编码 任意形状的VOP时所必须的。
d. MPEG-4的编解码流程及框架
MPEG-4的编码流程:第一步是VO的形成(VO Formation),先要从原始视频流中分割出VO, 之后由编码控制(Coding control)机制为不同的VO以及各个VO的三类信息分配码率,之后 各个VO分别独立编码,最后将各个VO的码流复合成一个位流。其中,在编码控制和复合阶段 可以加入用户的交互控制或由智能化的算法进行控制。现在的MPEG-4包含了基于网格模型的 编码和Sprite技术。在进行图像分析后,先考察每个VO是否符合一个模型,典型的如人头肩 像,如是就按模型编码;再考虑背景能否采用Sprite技术,如是则将背景生产一幅大图,为 每帧产生一个仿射变换和一个位置信息即可;最后才对其余的VO按上述流程编码。MPEG-4的 解码流程则基本上为编码器的反过程,这里不再赘述。
(3)MPEG-4中的Profile@Level
(4)MPEG-4的主要应用场合
从目前的情况看,MPEG-4主要被用于三个领域:数字电视、交互式的图形应用(包括内容上 的合成技术)、交互式多媒体领域等。
(5)MPEG-4的特点及优势
1) MPEG-4是做为一个国际化的标准来制定研究的,因而具有很好的兼容性及开放性。
2) MPEG-4提供高压缩比的同时,对数据的损失很小,达到以最小的数据获得最佳的图像质量的目的。
3) MPEG-4是个开放标准,因其高质量的数字影像,以及允许内容创建者从MPEG-2质量一直 到极低带宽的Internet流式内容全程进行品质和带宽的均衡,而被全世界的无线、电脑及娱 乐公司广泛采用。
4) 正如MPEG-2将使数字电视最终完全取代现有的模拟电视那样,随着MPEG-4新标准的不断 推出,数据压缩和传输技术必将趋向更加规范化。新标准的不断 推出,数据压缩和传输技术必将趋向更加规范化。
它的压缩倍数为200倍(静态图像可达800倍),分辨率输入可从320×240到1280×1024的MPEG4,MPEG4和MPEG以往的版本相比,最大不同之处在于MPEG4使用[图层](layer)方式,能够智能化选择影像的不同之处,在压缩下个别编辑画面,使图文件容量大幅缩减,而加速音/视频的传输。其应用目标是针对窄带传输、高画质压缩、交互式操作以及将自然物与人造物相融合的表达方式,同时还特别强调广泛的适应性和可扩展性。
虽然MPEG-4标准的主要内容、编码工具以及码流格式基本上已经确立,但是由于MPEG-4许多新编码技术是建立在图像分析与合成、计算机图形、虚拟现实和计算机视等基础学上,这些新的编码技术要走向应用化还需要结合大量的工具和研究。
现阶段MPEG-4应用于网络视频监控要达成实时录像/回放的要求,必须克服编码/译码的运算速度,所以一般需要硬件来解决。但压缩比的高低取决于演算的复杂度,演算越复杂,IC设计的复杂度也越高,MPEG-4的运算逻辑比M-JPEG复杂得多,需要极高性能的硬件和算法。
M-JPEG与MPEG4的主要性能参数见下表:
压缩标准类别 |
M-JPEG |
MPEG4 |
压缩率 |
20-80 |
200-800 |
图像分辨率 |
352×288 |
352×288 |
时间分辨率 |
25-30帧/秒 |
25-30帧/秒 |
传输速率 |
0.5-1.5Mbps |
10Kbps-1.0Mbps |
图像质量 |
优秀 |
极差到优秀 |
标准化年代 |
1992 |
2002 |
从表中可以看出MPEG4具有非常优秀的性能,尤其在带宽占用率上。所以MPEG4将可能成为数字视频监控领域中最优秀的压缩技术标准。但技术本身是发展的,譬如从1992的MPEG1(VCD)到1994年的MPEG2(DVD),仅两年时间,所以未来还有一些不确定的因素。
由于采用帧间压缩技术,当物体呈现运动状态时,MPEG4格式不会立即反应传输,从而延时较M-JPEG严重。M-JPEG图像最大问题是需要占用较大的存储空间和带宽,但这种压缩技术在DVR产业仍然是主流。而且随着网络和计算机技术的发展,硬盘容量和网络带宽尚在不断增涨。如果容量和带宽问题能得到解决,使用者便会将焦点放在图像的画质,而MPEG压缩技术方式在这一方面并不具优势。
5、H.263
H.263是ITU-T提出的作为H.324终端使用的视频编解码建议,H.263经过不断地完善和多次的升级已经日臻成熟,如今已经大部分代替了H.261,而且H.263由于能在低带宽上传输高质的视频流而日益受到欢迎。
H.263是基于运动补偿的DPCM的混合编码,在运动搜索的基础上进行运动补偿,然后运用DCT变换和“之”字形扫描游程编码,从而得到输出码流。H.263在H.261建议的基础上,将运动矢量的搜索增加为半象素点搜索;同时又增加了无限制运动矢量、基于语法的算术编码、高级预测技术和PB帧编码等四个高级选项;从而达到了进一步降低速率和提高编码质量的目的。
6、H.264
H.264是ITU-T的VCEG(视频编码专家组)和ISO/IEC的MPEG(活动图像编码专家组)的联合视频组(JVT:joint video team)开发的一个新的数字视频编码标准,它既是ITU-T的H.264,又是ISO/IEC的MPEG-4的第10部分。
在相同的重建图像质量下,H.264能够比H.263节约50%左右的码率,比目前根据MPEG-4实现的视频格式在性能方面提高33%左右。H.264目前由于各方面的技术原因,一直未能成为压缩算法的主流。而MPEG-4是目前市场上最流行最成熟的技术。而H.264的技术特点决定了今后H.264必将成为市场的主流压缩算法之一。