视频质量

视频质量是量化一段视频通过视频传输／处理系统时画面质量变化（通常是下降）程度的方法。由于视频处理系统可能会导致一定的视频信号失真，因此视频质量评价對於视频传输／处理系统的選擇，显得十分重要。

从模拟信号到数字信号

[编辑]

自从世界上第一段视频被录制以来，各种各样的视频处理系统都被设计生产。在模拟视频系统时期，评估视频处理系统的质量可使其播放一些"传统测试信号"，并计算其频率响应得到。（比如一系列的色条与圆圈）

如今，数字视频已经取代模拟视频，评价的方法也随之改变。数字视频处理系统的性能显著地取决于输入视频的动态特性（如动作或空间细节）。

客观视频质量

[编辑]

客观视频评估技术是一些与主观质量评估结果相近的数学模型，但是它们通常由计算机按照一定的标准与指标自动完成。评价的方法大致是将原视频（高品质、一般不被压缩）与处理后的视频进行分类对比。分类对比分为三种：全参考（FR）、部分参考（RR）、无参考（NR）。全参考比较处理前后的两段视频每个像素的差别，部分参考提取两段视频的一些特性，并依此给予它们评分。以上两种方法通常在原视频可用时使用，如在有限的带宽下。无参考则试图在没有任何原视频的参考下进行评估，通常在视频编码方法已知时使用。

当然，最传统的方法是计算两段视频信噪比（SNR）与峰值信噪比（PSNR）的差异。 PSNR是使用最广泛的客观视频质量的度量方法，但由于人类视觉系统的非线性，因此PSNR值与人眼感受到的视频质量仍有较大出入。近来一些更复杂、更精确的一些指标被指定，比如VQM （页面存档备份，存于互联网档案馆）、PEVQ（英语：Perceptual Evaluation of Video Quality）、结构相似性（SSIM）、VQuad-HD（英语：VQuad-HD） （页面存档备份，存于互联网档案馆）、CZD（英语：Czenakowski distance）。

一个客观的视频质量指标的表现由计算客观分数与视频主观质量（英语：Subjective video quality）测试分数之间的相关性得出。后者被称为平均意见分数（MOS）。最常用的相关系数有：线性相关系数、斯皮尔曼等级相关系数、峰度、Kappa系数（英语：Cohen's kappa）与离群率（英语：Outliers ratio）。

客观视频质量模型的分类

[编辑]
Classification of objective video quality models into Full-Reference, Reduced-Reference and No-Reference.
No-reference image and video quality assessment methods.

客观模型可以根据原始信号、接收信号或是否存在信号的可用信息量进行分类:[1]

  • 全参考方法 (FR): FR模型通过将原始视频信号与接收的视频信号进行比较来计算质量差异。典型地，将来自源的每个像素与接收到的视频中的对应像素进行比较，而不了解其间的编码或传输过程。更复杂的算法可以选择将基于像素的估计与其他方法相结合，如下所述。FR模型通常是最精确的，但代价是较高的计算量。因为它们要求在传输或编码之前原始视频的可用性，所以它们不能用于所有情况(例如，从客户端设备测量质量)。
  • 弱参考方法 (RR): RR模型提取两个视频的一些特征，并对它们进行比较以给出质量分数。当所有原始视频不可用时，或者当实际上不可能这样做时，例如在带宽有限的传输中，使用它们。这使得它们比FR模型更有效率，但代价是精度更低。
  • 无参考方法 (NR): NR模型试图在不参考原始信号的情况下评估失真视频的质量。由于没有原始信号，它们可能不如FR或RR方法准确，但计算效率更高。
    • 基于像素的方法 (NR-P): 基于像素的模型使用信号的解码表示，并基于像素信息分析质量。其中一些只评估特定的退化类型，如模糊或其他编码伪像。
    • 参数/比特流方法 (NR-B): 这些模型利用从传输容器和/或视频比特流中提取的特征，例如，MPEG-TS分组报头、运动矢量（英语：Motion vector）和量化参数。他们无法访问原始信号，也不需要对视频进行解码，这使得他们更加高效。与NR-P模型相反，它们无法访问最终的解码信号。然而，他们提供的图像质量预测并不十分准确。
    • 混合方法 (Hybrid NR-P-B): 混合模型将从比特流中提取的参数与解码的视频信号相结合。因此，它们是 NR-P 和 NR-B 模型的混合体。

使用图像质量模型进行视频质量评估

[编辑]

用于视频质量评估的一些模型(如PSNR或SSIM)只是图像质量模型，其输出是为视频序列的每一帧计算的。然后可以记录每一帧的质量度量，并随着时间的推移汇集在一起，以评估整个视频序列的质量。虽然这种方法很容易实现，但它没有考虑到随时间发展的某些类型的降级，例如由数据包丢失及其隐藏引起的运动伪像。考虑质量下降的时间方面的视频质量模型，如VQM或电影指数，可能能够产生更准确的人类感知质量的预测。

实例

[编辑]
指标 用途 描述
全参考 PSNR (峰值信噪比) 图像 它是在原始视频信号和降级视频信号的每一帧之间计算的。PSNR是最广泛使用的客观图像质量指标。然而，由于人类视觉系统的复杂、高度非线性的行为，PSNR值与感知的图像质量不太相关。
SSIM[2] (结构相似性) 图像 SSIM是一种基于感知的模型，它将图像退化视为结构信息中的感知变化，同时还结合了重要的感知现象，包括亮度掩蔽和对比度掩蔽项。
MOVIE（英语：MOVIE Index）[3] 基于运动的视频完整性评估 视频 MOVIE 指数是一个基于神经科学的模型，用于预测(可能是压缩的或失真的)电影或视频相对于原始参考视频的感知质量。
VMAF[4] 视频多方法评估 视频

VMAF使用四个特征来预测视频质量VIF、DLM、MCPD和信噪比。使用基于SVM的回归来融合上述特征，以提供单个输出分数。然后，使用算术平均在整个视频序列上暂时汇集这些分数，以提供总体差异平均意见分数(DMOS)。

弱参考 SRR[5] (基于SSIM的弱参考) 视频 SRR值由接收的(目标)视频信号SSIM与参考视频模式SSIM值的比值计算。
ST-RRED[6] 视频 计算视频序列中相邻帧之间帧差的小波系数(用GSM建模)。它用于评估导致时间性再狭窄的相对熵差异。它结合通过在视频的每一帧上应用空间平均指数而评估的空间平均指数，产生时空平均指数
无参考 NIQE[7] Naturalness Image Quality Evaluator 图像 该IQA模型建立在从局部图像块提取的感知相关空间域n自然场景统计(NSS)特征的基础上，该特征有效地捕捉自然图像的基本低阶统计。
BRISQUE[8] 无参考图像空间质量评估器 图像 方法提取局部归一化亮度信号的逐点统计，并基于测量到的与自然图像模型的偏差来测量图像自然度(或缺乏自然度)。它还对相邻归一化亮度信号的成对统计分布进行建模，从而提供失真方向信息。
Video-BLIINDS[9] 视频 计算帧差的离散余弦变换系数的统计模型，并计算运动特征。基于这些特征用 SVM 方法预测分数。


当评估一个视频编解码器的质量时，所有上文提到的客观方法可能都要逐一反复进行测试，以满足所需的视觉质量水平。无疑，这十分费时、复杂，并且在商业化应用中不切实际。出于上述原因，许多研究都专注于开发新的客观评价方法，使其更为实用[1][永久失效連結] 。

主观视频质量

[编辑]

许多主观视频质量的主要目标是自动评估用户（即观众）对视频处理系统处理后的视频质量的意见。其主要思路与MOS相近，即记录观众意见的平均值来评估视频的质量。但是测试出的细节出入可能极大。

评估视频质量的工具

[编辑]
工具 获取方式 包含的指标
FFmpeg （页面存档备份，存于互联网档案馆） 免费 PSNR, SSIM, VMAF
MSU VQMT （页面存档备份，存于互联网档案馆） 基础指标免费

HDR指标付费

PSNR, SSIM, MS-SSIM, 3SSIM, VMAF, NIQE, VQM, Delta, MSAD, MSE

MSU提出的指标: 模糊程度指标, 区块效应指标, 亮度抖动指标, 丢帧指标, 噪声估计指标

EPFL VQMT （页面存档备份，存于互联网档案馆） 免费 PSNR, PSNR-HVS, PSNR-HVS-M, SSIM, MS-SSIM, VIFp
OpenVQ （页面存档备份，存于互联网档案馆） 免费 PSNR, SSIM, OPVQ(开放式感知视频质量指标)
Elecard （页面存档备份，存于互联网档案馆） 收费 PSNR, APSNR, MSAD, MSE, SSIM, Delta, VQM, NQI, VMAF, VIF
AviSynth （页面存档备份，存于互联网档案馆） 免费 SSIM
VQ Probe （页面存档备份，存于互联网档案馆） 免费 PSNR, SSIM, VMAF
  • FFmpeg - FFmpeg是领先的多媒体框架，能够解码、编码、转码、多路复用、多路分解、流式传输、滤镜和播放人类和机器创造的几乎任何东西。它的支持范围囊括从最古老的格式到最新的格式。不管这些格式是由标准委员会、社区还是公司设计的。它还具有很高的可移植性:FFmpeg 可跨Linux、Mac OS X、微软Windows、BSDs、Solaris等在各种各样的构建环境、机器架构和配置下编译、运行并通过称为FATE的测试基础设施，
  • MSU VQMT - MSU视频质量测量工具是一个客观的视频质量评估程序。它提供了全参考(检查两个视频)和单参考(分析一个视频)比较的功能。
  • EPFL VQMT - 该软件提供了以下客观指标的快速实现:PSNR、SSIM、MS-SSIM、VIFp、PSNR-HVS、PSNR-HVS-M。在该软件中，上述指标是基于其开发人员提供的原始Matlab实现在OpenCV (C++)中实现的。
  • OpenVQ - OpenVQ是一个视频质量评估工具包。该项目的目标是为任何对视频质量评估感兴趣的人提供一个工具包，该工具包提供了现成的视频质量指标实现，并使实现其他视频质量指标变得容易。
  • Elecard - 视频质量测量工具，旨在根据客观指标来比较编码流的质量，例如PSNR、APSNR、SSIM、DELTA、MSE、MSAD、VQM、NQI、VMAF，VIF。
  • AviSynth - AviSynth是视频后期制作的有力工具。它提供了编辑和处理视频的方法。AviSynth作为一个框架服务器工作，提供即时编辑，而不需要临时文件。AviSynth本身不提供图形用户界面(GUI)，而是依赖于允许高级非线性编辑的脚本系统。
  • VQ Probe - VQ Probe是一个专业的用来评估客观和主观视频质量的视频工具。该工具允许用户比较不同的编解码器标准，建立研发曲线，并计算BD速率。

参见

[编辑]

参考

[编辑]

延伸阅读

[编辑]

参考文献

[编辑]
  1. ^ Shahid, Muhammad; Rossholm, Andreas; Lövström, Benny; Zepernick, Hans-Jürgen. No-reference image and video quality assessment: a classification and review of recent approaches. EURASIP Journal on Image and Video Processing. 2014-08-14, 2014: 40. ISSN 1687-5281. doi:10.1186/1687-5281-2014-40 可免费查阅. 
  2. ^ Wang, Zhou; Bovik, A.C.; Sheikh, H.R.; Simoncelli, E.P. Image quality assessment: from error visibility to structural similarity. IEEE Transactions on Image Processing. 2004-04-01, 13 (4): 600–612. Bibcode:2004ITIP...13..600W. CiteSeerX 10.1.1.2.5689 可免费查阅. ISSN 1057-7149. PMID 15376593. doi:10.1109/TIP.2003.819861. 
  3. ^ Seshadrinathan, K.; Bovik, A.C. Motion Tuned Spatio-Temporal Quality Assessment of Natural Videos. IEEE Transactions on Image Processing. 2010-02-01, 19 (2): 335–350. CiteSeerX 10.1.1.153.9018 可免费查阅. ISSN 1057-7149. PMID 19846374. doi:10.1109/TIP.2009.2034992. 
  4. ^ vmaf: Perceptual video quality assessment based on multi-method fusion, Netflix, Inc., 2017-07-14 [2017-07-15], （原始内容存档于2022-07-13） 
  5. ^ Kourtis, M.-A.; Koumaras, H.; Liberal, F. Reduced-reference video quality assessment using a static video pattern. Journal of Electronic Imaging. July–August 2016. doi:10.1117/1.jei.25.4.043011 可免费查阅. 
  6. ^ Soundararajan, R.; Bovik, A.C. Video Quality Assessment by Reduced Reference Spatio-Temporal Entropic Differencing. IEEE Transactions on Circuits and Systems for Video Technology. 2013-04-04, 23: 684–694. doi:10.1109/tcsvt.2012.2214933. 
  7. ^ Mittal, A.; Soundararajan, R.; Bovik, A.C. Making a “Completely Blind” Image Quality Analyzer. IEEE Signal Processing Letters. March 2013, 20: 209–212. doi:10.1109/lsp.2012.2227726. 
  8. ^ Mittal, A.; Moorthy, A.K.; Bovik, A.C. Blind/Referenceless Image Spatial Quality Evaluator. 2011 Conference Record of the Forty Fifth Asilomar Conference on Signals, Systems and Computers (ASILOMAR). 2011-11-09. doi:10.1109/acssc.2011.6190099. 
  9. ^ Saad, M. A.; Bovik, A. C.; Charrier, C. Blind Prediction of Natural Video Quality. IEEE Transactions on Image Processing. March 2014, 23 (3): 1352–1365. CiteSeerX 10.1.1.646.9045 可免费查阅. ISSN 1057-7149. PMID 24723532. doi:10.1109/tip.2014.2299154.