天津网站公司,什么公司做网站好,微信小程序制作宣传页,为什么做网站越早越好一、视频技术基本框架 二、视频信号分类
2.1信号形式
2.1.1模拟视频
模拟视频是指由连续的模拟信号组成的视频图像#xff0c;以前所接触的电影、电视都是模拟信号#xff0c;之所以将它们称为模拟信号#xff0c;是因为它们模拟了表示声音、图像信息的物理量。摄像机是获…一、视频技术基本框架 二、视频信号分类
2.1信号形式
2.1.1模拟视频
模拟视频是指由连续的模拟信号组成的视频图像以前所接触的电影、电视都是模拟信号之所以将它们称为模拟信号是因为它们模拟了表示声音、图像信息的物理量。摄像机是获取视频信号的来源早期的摄像机以电子管作为光电转换器件把外界的光信号转换为电信号。摄像机前的被拍摄物体的不同亮度对应于不同的亮度值摄像机电子管中的电流会发生相应的变化。模拟信号就是利用这种电流的变化来表示或者模拟所拍摄的图像记录下它们的光学特征然后通过调制和解调将信号传输给接收机通过电子枪显示在荧光屏上还原成原来的光学图像。这就是电视广播的基本原理和过程。模拟信号的波形模拟着信息的变化其特点是幅度连续(连续的含义是在某一取值范围内可以取无限多个数值)。其信号波形在时间上也是连续的因此它又是连续信号。
模拟视频的特点如下
优点技术成熟、价格低、系统可靠性较高。
缺点不适宜进行长期存放不适宜进行多次复制。随着时间的推移录像带上的图像信号强度会逐渐衰减造成图像质量下降、色彩失真等现象。
来自 https://zhuanlan.zhihu.com/p/54045642
2.1.2数字视频
数字视频是对模拟视频信号进行数字化后的产物它是基于数字技术记录视频信息的。模拟视频可以通过视频采集卡将模拟视频信号进行A/D(模数)转换这个转换过程就是视频捕捉(或采集过程)将转换后的信号采用数字压缩技术存入计算机磁盘中就成为数字视频。模拟视频一般采用分量数字化方式先把复合视频信号中的亮度和色度分离得到YUV或YIQ分量,然后用三个模数转换器对三个分量分别进行数字化最后再转换成RGB空间。
来自 数字视频 - 知乎
2.2传输方式划分
按传输方式我们首先将视频分为复合视频Composite Video和分量视频Component Video。
复合视频只用一个通道这也是为什么叫复合信号进行视频传输只传输模拟信号传输的是480i或720i标清480p或720p的视频。复合视频不能携带音频信号。
分量视屏分为模拟分量视屏和数字分量视屏。
数字分量视频使用YCbCr颜色空间或RGB它将视频信号分为多个分量进行传输数字信号当用于广播和录制时将其调制为复合NTSC、PAL、SECAM信号。
模拟分量分频一般使用YPbPr颜色空间它将视频信号分为多个分量进行传输模拟信号并且不携带音频信号。
2.3按分辨率划分
视屏的分辨率概念比较简单就是组成视屏的每一帧图像的像素点数量一般用行和列像素相乘来表示。视屏分辨率决定了视屏的清晰度也决定了模拟视屏的带宽和数字视频的数据量大小。常见的有720×4801280×7201920×1080现在还有3840x21607680x4320。
2.4扫描方式
视频是一系列静止图像组成而每幅图像由扫描线沿着显示器从上到下一行一行的数据线组成。如下图 上方的就是一帧一帧的静止图像下方的就是一帧图像的扫描线组成。视频其实是图像在显示器上按照一定时间刷新显示器需要知道什么时候刷新因此需要两个信号来告诉显示器如何显示。第一个是垂直同步信号告诉显示器要显示下一幅图像了否则一幅图像看到天亮第二个是水平同步信号告诉显示器要显示下一条扫描线了否则一直刷新第一行这能看。数据流大致是下图这样的一直到视频结束。 注意在视频中扫描线是最小的处理单元而图像中像素点是最小的处理单元。
隔行扫描和逐行扫描
逐行扫描以上讨论的其实都是逐行扫描。一帧图像从第一行扫描到最后一行依次显示这个很好理解不多赘述。 隔行扫描将图像显示在扫描式的显示设备上的方法扫描设备交换扫描偶数行和奇数行。这样说并不直观我们来看图。 从图中我们可以看到对于静止图像第一次我们扫描它的奇数行并且将他们显示到显示器中第二次我们扫描它的偶数行并将他们显示到显示器中。扫描一次得到的一半图像叫做场。那么每次只扫描一半是不是我们看到的图像也是一半呢不是这样的。因为图像是一帧接一帧的每次刷新一半另一半其实是上一帧图像刷新的扫描线。
如帧1的场1场2帧2的场1场2。第一次扫描帧1的场1另一半没有这个时候确实是半个图像但是短到你不能发现然后扫描帧1的场2由于视觉暂留你会看到场1和场2的结合也就是完整的帧1再之后就是帧2和场1和帧1的场2的结合以此类推。
隔行扫描的优点就是对帧率的要求低但是交错式的显示有时会出现闪烁效应不具体解释大家可以自行问度娘显示效果不如逐行扫描。
将分辨率和扫描方式结合到一起就可以说明一下我们平常听到的1080p,720p,1080i 这些名词是什么意思了
Pprogressive意思是逐行扫描帧编码 Iinterlace意思是隔行扫描场编码
1080i格式1920×1080水平1080线隔行扫描
1080p格式1920×1080水平1080线逐行扫描
720i格式1280×720水平720线隔行扫描
720p格式1280×720水平720线逐行扫描
其他分辨率类似。
2.5清晰度
视频清晰度可以如下分类
标准清晰度480i和576i。
增强清晰度480p和576p。
高清晰度720p和1080i。
超高清晰度4K分辨率(3840×2160 像素)和8K分辨率 (7680×4320像素)
2.6按信号制式划分
视屏信号制式是指电视制式即电视信号的标准可以简单地理解为用来实现电视图像、声音信号所采用的一种技术标准。电视制式有很多种。对模拟电视有黑白电视制式、彩色电视制式伴音制式等对于数字电视有图像、音频信号压缩编码格式信源编码、TS流Transport Stream编码格式信道编码、数字信号调制方式图像显示格式等。这里只讨论模拟电视制式。
黑白电视制式的主要内容有图像和伴音的调制方式、图像信号极性、图像和伴音的载频差、频带宽度、频道间隔、扫描参数等。世界各国所采用的黑白电视制式有A、B、C、D、E、G、H、I、K、K1、L、M、N等共计13种其中A、C、E已不采用我国为其中的D、K制。
彩色广播电视制式需要与黑白电视制式兼容即黑白电视能够接收彩色电视信号彩色电视也能接收黑白电视信号只不过画面全都变成黑白的。彩色电视根据三原色原理同时为了压缩传输频带将R、G、B三个基色信号转变为亮度Y和红、蓝两个色差信号R-Y和B-Y。其中亮度信号可以用来传输黑白图像色度和亮度信号组合可以恢复出R、G、B三个信号。因此兼容制彩色电视除传送与黑白电视相同的亮度和伴音信号外还在同一视频频带内同时传送色度信号。色度信号是由两个色差信号对视频频带高频端的色副载波进行调制而成的。为防止色差信号的调制过载需要将红、蓝色差信号进行压缩压缩后的红、蓝色差信号用V、U表示。
除了包括与黑白电视相同的扫描、信道等以拉丁字母来区别的制式内容外根据发、收端对三基色信号的不同编、解码方式构成不同的彩色电视制式。今世界流行的彩色电视制式有三种 NTSC、PAL和SECAM。这三种制式不能互相兼容。在不支持某种制式的电视机上播放该种制式的信号画面将变为黑白色。 https://blog.csdn.net/hit_wzj/a
三、色彩空间
人类有三种视杆细胞可以分辨三种波长的光因此我们能看到彩色的世界。视屏技术也需要至少三个维度来量化色彩才能保证人类对彩色画面的需求这就构成了一个三维的色彩空间。颜色空间有多种表示方式在视屏技术里面有下面几种比较常用。
3.1RGB
目前的显示设备大都是采用了RGB色彩空间RGB是从颜色的原理来设计定的它的颜色混合方式就如有红、绿、蓝三盏灯当它们的光相互叠合的时候色彩相混亮度等于两者亮度之总和即加法混合。
屏幕上的不同颜色都由这红色绿色蓝色三种基本色光按照不同的比例权重混合而成的。一组红色绿色蓝色就是一个最小的显示单位。屏幕上的任何一个颜色都可以由一组RGB值来记录和表达。因此这红色绿色蓝色又称为三原色光用英文表示就是R(red)、G(green)、B(blue)。RGB的所谓“多少”就是指亮度并使用整数来表示。在用8位表示时RGB各有256级亮度用数字量化表示为从0、1、2...直到255。注意虽然数字最高是255但0也是数值之一因此共256级。 使用这种方式表示彩色图像的方式为RGB颜色空间。RGB颜色空间常用于显示器系统。通过这种形式表示的图像每个像素的每一个颜色分量用1个字节表示则可以表示256×256×256种不同的颜色。在常见的图像格式中如位图bmp格式以RGB形式保存数据。
3.2YUV
YUV是编码true-color颜色空间color space的种类YUV, YUV, YCbCrYPbPr等专有名词都可以称为YUV彼此有重叠。
“Y”表示明亮度Luminance、Luma“U”和“V”则是色度Chrominance、Chroma包含了色调和饱和度。与我们熟知的RGB类似YUV也是一种颜色编码方法主要用于电视系统以及模拟视频领域它将亮度信息Y与色彩信息UV分离没有UV信息一样可以显示完整的图像只不过是黑白的这样的设计很好地解决了彩色电视机与黑白电视的兼容问题。并且YUV不像RGB那样要求三个独立的视频信号同时传输所以用YUV方式传送占用极少的频宽。
在实际的编解码等视频处理的过程中YUV格式比RGB格式更为常用。在YUV格式中一个像素由亮度分量和色度分量表示每一个像素由一个亮度分量Y和两个色度分量U/V组成。亮度分量可以与色度分量一一对应也可以对色度分量进行采样即色度分量的总量少于亮度分量。
3.2.1YPbPr
YPbPr是用在模拟系统的并且RGB和YPbPr的转换在SDTV和HDTV中是不同的。
来自 https://zhuanlan.zhihu.com/p/28766366
3.2.2YCbCr
YCbCr颜色空间用于数字视频系统中。
YCbCr是被ITU定义在标准ITU-R BT.601标清SDTVITU-R BT.709高清HDTVITU-R BT.2020超高清中的一种色彩空间。
YCbCr (SDTV是在世界数字组织视频标准研制过程中作为ITU - R BT.601 建议的一部分, 其实是YUV经过Gamma的翻版。其中Y与YUV 中的Y含义一致, Cb , Cr 同样都指色彩, 只是在表示方法上不同而已。在YUV 家族中, YCbCr 是在计算机系统中应用最多的成员, 其应用领域很广泛,JPEG、MPEGH264均采用此格式。
其中Cr反映了RGB输入信号红色部分与RGB信号亮度值之间的差异而Cb反映的是RGB输入信号蓝色部分与RGB信号亮度值之间的差异此即所谓的色差信号。
在视频通信系统中特别是视频编解码的“YUV”图像就是YCbCr。在平常的工作交流中所称的YUV也是YCbCr。
3.2.3YUV的色度采样
因为人的感官对亮度信息的敏感度远高于对色度信息。因此相对于其他像素格式YUV的最大优势是可以适当降低色度分量的采样率并保证不对图像造成太大影响这可以有效降低视屏数据量。而且使用这种方式还可以兼容黑白和彩色显示设备。对于黑白显示设备只需要去除色度分量只显示亮度分量即可。 在YUV中常见的色度采样方式有4:4:4、4:2:2和4:2:0等其中4:2:2如下图所示
来自 https://zhuanlan.zhihu.com/p/28766366
3.3HSI
HSI颜色空间是从人的视觉系统出发用色调Hue、色饱和度Saturation和亮度Intensity来描述色彩。HSI颜色空间可以用一个圆锥空间模型来描述。用这种描述HSI色彩空间的圆锥模型相当复杂但确能把色调、亮度和色饱和度的变化情形表现得很清楚。 上图是HSI的双圆锥模型。模型中双圆锥的上顶点对应I1即白色下顶点对应I0即黑色。色调色相用角度表示0°表示红色互补色相差180°。饱和度的取值范围从0到10对应于垂直轴的中心线也就是说这条线上没有色彩只有灰度I0.5时红色的饱和度为1颜色空间中的点到I轴的距离即是其饱和度。
来自 https://zhuanlan.zhihu.com/p/28859125
3.4色彩空间变换
不同的色彩空间最终要表达的都是人类视觉系统能够正常识别的颜色它们其实只是使用了不同的坐标系就像直角坐标系和极坐标系之间的关系。它们之间可以相互转换。RGB和YUV转换关系如下
RGB格式转为YUV格式
Y 0.299*R 0.587*G 0.114*B U -0.147*R - 0.289*G 0.436*B 0.492*(B- Y) V 0.615*R - 0.515*G - 0.100*B 0.877*(R- Y)
YUV格式转为RGB格式
R Y 1.140*V G Y - 0.394*U - 0.581*V B Y 2.032*U
四、视屏编码技术
对于视频数据而言视频编码的最主要目的是数据压缩。这是因为动态图像的像素形式表示数据量极为巨大存储空间和传输带宽完全无法满足保存和传输的需求。例如图像的每个像素的三个颜色分量RGB各需要一个字节表示那么每一个像素至少需要3字节分辨率1280×720的图像的大小为2.76M字节。 如果对于同样分辨率的视频如果帧率为25帧/秒那么传输所需的码率将达到553Mb/s如果对于更高清的视频如1080P、4k、8k视频其传输码率更是惊人。这样的数据量无论是存储还是传输都无法承受。因此对视频数据进行压缩称为了必然之选。
4.1标准化组织
在国际组织的独立和联合开发中产生了很多重要的视频编解码标准。主要国际组织包括ISO/IEC MPEG、ITU-T、Google、Microsoft、AVS工作组和AOM联盟等。
ITU-T全称International Telecommunications Union - Telecommunication Standardization Sector即国际电信联盟——电信标准分局。该组织下设的VECG(Video Coding Experts Group)主要负责面向实时通信领域的标准制定主要制定了H.261/H263/H263/H263等标准。 ISO全称International Standards Organization即国际标准化组织。该组织下属的MPEG(Motion Picture Experts Group)即移动图像专家组主要负责面向视频存储、广播电视、网络传输的视频标准主要制定了MPEG-1/MPEG-4等。 实际上真正在业界产生较强影响力的标准均是由两个组织合作产生的。比如MPEG-2、H.264/AVC和H.265/HEVC等。
主要标准包括JPEG、MJPEG、JPEG2000、H.261、MPEG-1、H.262/MPEG-2、H.263、MPEG-4 (Part2/ASP)、H.264/MPEG-4 (Part10/AVC)、H.265/MPEG-H (Part2/HEVC)、H.266/VVC、VP8/VP9、AV1、AVS1/AVS2、SVAC1/SVAC2等。
4.2主流视屏编码标准
主流视屏编码的发展历程如下图 接下来我们主要摘录下面接种影响较大的编码技术。
4.2.1 H.261
H.261视频编码标准诞生于1988年可谓是视频压缩编码发展的第一个里程碑。因为从H.261开始视频编码方法采用了沿用至今的基于波形的混合编码方法。H.261标准主要目标是用于视频会议和可视电话等高实时性、低码率的视频图像传输场合。 在H.261标准产生的时代由于各国的电视制式不一致因此不能直接互通。为了解决数据源格式不兼容的问题H.261定义了一种公共中间格式CIF(Common Intermediate Format)。编码的目标格式首选转换为CIF格式进行编码和传输接收端进行解码后再转换为各自的格式。H.261规定的CIF格式视频的亮度分辨率为352×288QCIF格式的亮度分辨率为176×144。
4.2.2 MEPG-2/H.262
MPEG组织于1994年推出MPEG-2压缩标准以实现视/音频服务与应用互操作的可能性。MPEG-2标准是针对标准数字电视和高清晰度电视在各种应用下的压缩方案和系统层的详细规定编码码率从每秒3兆比特100兆比特标准的正式规范在ISO/IEC13818中。MPEG-2不是MPEG-1的简单升级MPEG-2在系统和传送方面作了更加详细的规定和进一步的完善。MPEG-2特别适用于广播级的数字电视的编码和传送被认定为SDTV和HDTV的编码标准。 MPEG-2图像压缩的原理是利用了图像中的两种特性空间相关性和时间相关性。这两种相关性使得图像中存在大量的冗余信息。如果我们能将这些冗余信息去除只保留少量非相关信息进行传输就可以大大节省传输频带。而接收机利用这些非相关信息按照一定的解码算法可以在保证一定的图像质量的前提下恢复原始图像。一个好的压缩编码方案就是能够最大限度地去除图像中的冗余信息。 MPEG-2的编码图像被分为三类分别称为I帧P帧和B帧。 I帧图像采用帧内编码方式即只利用了单帧图像内的空间相关性而没有利用时间相关性。P帧和B帧图像采用帧间编码方式即同时利用了空间和时间上的相关性。P帧图像只采用前向时间预测可以提高压缩效率和图像质量。P帧图像中可以包含帧内编码的部分即P帧中的每一个宏块可以是前向预测也可以是帧内编码。B帧图像采用双向时间预测可以大大提高压缩倍数。
4.2.3 H.264/AVC
H.264是由ISO/IEC与ITU-T组成的联合视频组(JVT)制定的新一代视频压缩编码标准。在ISO/IEC中该标准命名为AVC (Advanced Video Coding)作为MPEG-4标准的第10个选项在ITU-T中正式命名为H.264标准。
4.2.4 H.265/HEVC
H.265是ITU-T VCEG 继H.264之后所制定的新的视频编码标准。H.265标准围绕着现有的视频编码标准H.264保留原来的某些技术同时对一些相关的技术加以改进。新技术使用先进的技术用以改善码流、编码质量、延时和算法复杂度之间的关系达到最优化设置。具体的研究内容包括:提高压缩效率、提高鲁棒性和错误恢复能力、减少实时的时延、减少信道获取时间和随机接入时延、降低复杂度等。H264由于算法优化可以低于1Mbps的速度实现标清数字图像传送;H265则可以实现利用1~2Mbps的传输速度传送720P(分辨率1280*720)普通高清音视频传送。
4.3视屏压缩编码技术
视频信息之所以存在大量可以被压缩的空间是因为其中本身就存在大量的数据冗余。其主要类型有 时间冗余视频相邻的两帧之间内容相似存在运动关系 空间冗余视频的某一帧内部的相邻像素存在相似性 编码冗余视频中不同数据出现的概率不同 视觉冗余观众的视觉系统对视频中不同的部分敏感度不同
以记录数字视频的YUV分量格式为例YUV分别代表亮度与两个色差信号。例如对于现有的PAL制电视系统其亮度信号采样频率为13.5MHz色度信号的频带通常为亮度信号的一半或更少为6.75MHz或3.375MHz。以422的采样频率为例Y信号采用13.5MHz色度信号U和V采用6.75MHz采样采样信号以8bit量化则可以计算出数字视频的码率为
13.5*8 6.75*8 6.75*8 216Mbit/s
如此大的数据量如果直接进行存储或传输将会遇到很大困难因此必须采用压缩技术以减少码率。
数字化后的视频信号能进行压缩主要依据两个基本条件
数据冗余。例如如空间冗余、时间冗余、结构冗余、信息熵冗余等即图像的各像素之间存在着很强的相关性。消除这些冗余并不会导致信息损失属于无损压缩。视觉冗余。人眼的一些特性比如亮度辨别阈值视觉阈值对亮度和色度的敏感度不同使得在编码的时候引入适量的误差也不会被察觉出来。可以利用人眼的视觉特性以一定的客观失真换取数据压缩。这种压缩属于有损压缩。
数字视频信号的压缩正是基于上述两种条件使得视频数据量得以极大的压缩有利于传输和存储。一般的数字视频压缩编码方法都是混合编码即将变换编码运动估计和运动补偿以及熵编码三种方式相结合来进行压缩编码。通常使用变换编码来消去除图像的帧内冗余用运动估计和运动补偿来去除图像的帧间冗余用熵编码来进一步提高压缩的效率。下文简单介绍这三种压缩编码方法。
五、视屏接口
5.1模拟视屏接口
根据传输方式模拟视屏的接口有以下三类
5.1.1复合视屏接口
1.消费类接口RCA
RCA端子RCA jack或RCA connector俗称梅花头、莲花头是一种应用广泛的端子可以应用的场合包括了模拟视频/音频例AV端子三色線、数字音频例S/PDIF与色差分量例色差端子传输等。
下图是AV端子是不是很眼熟小时候家里的VCD用的就是这个东西 2.专业接口BNC
专业视屏领域会使用BNC接头使用同轴电缆来传输视屏信号有效提升信号质量、抗干扰能力和传输距离。 5.1.2分量视屏接口
1.SDTV/HDTV
针对有RGB和YUV两种色彩的信号SDTV/HDTV定义了两种接头
RGB Interface
SDTV RGB接口使用三个RCA梅花连接头传输模拟RGB信号。 注意这里使用的RCA连接头的颜色分别似乎红、绿、蓝而我们最开始介绍的RCA端子使用的是黄、白、红它们是完全不同的接口传输不同的信号注意区分。
YPbPr Interface
SDTV YPbPr接口使用三个RCA梅花连接头传输模拟YPbPr信号。 因为人眼对绿色最敏感因此Y一般用绿色表示我是这么理解的也可以理解成PbPr分别是蓝色色差分量、红色色差分量所以分别用蓝色和红色表示剩下的亮度就用绿色表示了。 上图的仪器就支持S-VideoYPbPrCVBS复合同步视频广播信号也叫RCA视频。
2. D-Connector Interface
在日本和新加坡某些高端消费类设备上14针母D型连接头是可用的。它们主要用于转换EIA 770.2或EIA 770.3模拟YPbPr数据。
来自 https://zhuanlan.zhihu.com/p/28944235
3.VGA接口
VGAVideo Graphics Array视频图形阵列是IBM于1987年提出的一个使用模拟信号的电脑显示标准。VGA接口即电脑采用VGA标准输出数据的专用接口。VGA接口共有15针分成3排每排5个孔显卡上应用最为广泛的接口类型绝大多数显卡都带有此种接口。它传输红、绿、蓝模拟信号以及同步信号(水平和垂直信号)。
VGA线的母头如下图。 各个引脚功能 来自 https://zhuanlan.zhihu.com/p/28944235
5.1.3分离视屏接口
S-Videoseparate video信号是Y、C分离信号。传输亮度信号Y和色度信号C。S-Video用于传输标清视频信号尤其是480i和576i视频。由于亮度信号和色度信号分离因此它的视频效果要比composite video要好但是比component video差。
S-Video主要在美国、日本等NTSC制国家中使用。
5.2
数字视屏接口
5.2.1 SDI
串行数字接口SDISerial Digital Interface,SD/HD/3G/6G/12G-SDI SDI理论上传输距离可达100m而HDMI的传输距离一般在30m以内。
5.2.2 HDMI
高清晰度多媒体接口英文High Definition Multimedia InterfaceHDMI HDMI接口的线20米要400到600RMB如果按照这个计量标准SDI要使用几百米估计得破产了。然而实际上SDI的线1米才几块钱就算是200米也才不到1000块钱。所以SDI比HDMI的成本更低 5.2.3 DVI
DVIDigital Visual Interface即数字视频接口。 5.2.4 DisplayPort
DisplayPort也是一种高清数字显示接口标准简称DP比HDMI更先进的是DisplayPort在一条线缆上还可实现更多的功能。 5.2.5 雷电
Intel“Thunderbolt”雷电接口。融合了PCIExpress数据传输技术和DisplayPort显示技术可以同时对数据和视频信号进行传输并且每条通道都提供双向10Gbps带宽。 本文主要参考来源视屏技术自学笔记 - 知乎
