现阶段针对有真实参考的图像生成任务,主要有三种质量评价指标,分别为两种人为设计的指标SSIM和PSNR,也包括深度学习网络抽取到的特征进行对比的LPIPS评价指标
一:结构相似性(structural similarity,SSIM)
SSIM(Structural Similarity),是一种衡量两幅图像相似度的指标。相对PSNR而言,SSIM在评价图像质量上更能符合人类的视觉特性。SSIM使用的两张图像中,一张为未经压缩的无失真图像,另一张为失真后的图像。
给定两个图像x和y, 两张图像的结构相似性可按照以下方式求出:
SSIM值的范围为[0,1],越大代表图像越相似。如果两张图片完全一样时,SSIM值为1。
SSIM指数从图像组成的角度将结构信息定义为独立于亮度、对比度的,反映场景中物体结构的属性,并将失真建模为亮度、对比度和结构三个不同因素的组合。用均值作为亮度的估计,标准差作为对比度的估计,协方差作为结构相似程度的度量。
二:峰值信噪比(Peak Signal to Noise Ratio,PSNR)
PSNR(Peak Signal to Noise Ratio),是一种评价图像质量的度量标准。因为PSNR值具有局限性,所以它一般用于衡量最大值信号和背景噪音之间的图像质量参考值。
PSNR的单位为dB,其值越大,图像失真越少。一般来说,PSNR高于40dB说明图像质量几乎与原图一样好;在30-40dB之间通常表示图像质量的失真损失在可接受范围内;在20-30dB之间说明图像质量比较差;PSNR低于20dB说明图像失真严重。
PSNR是最普遍,最广泛使用的评鉴图像的客观量测法,不过许多实验结果都显示,PSNR的分数无法和人眼看到的视觉品质完全一致,有可能PSNR较高者看起来反而比PSNR较低者差。这是因为人眼的视觉对于误差的敏感度并不是绝对的,其感知结果会受到许多因素的影响而产生变化(例如:人眼对空间频率较低的对比差异敏感度较高,人眼对亮度对比差异的敏感度较色度高,人眼对一个区域的感知结果会受到其周围邻近区域的影响)
给定一个大小为m×n的灰度图 I 和噪声图 K,均方误差(Mean Square Error,MSE,)公式如下:
在此基础上,PSNR被定义为:
三:学习感知图像块相似度(Learned Perceptual Image Patch Similarity, LPIPS)
LPIPS(Learned Perceptual Image Patch Similarity),也称为“感知损失”(perceptual loss),用于度量两张图像之间的差别。来源于CVPR2018的一篇论文《The Unreasonable Effectiveness of Deep Features as a Perceptual Metric》,该度量标准学习生成图像到Ground Truth的反向映射强制生成器学习从假图像中重构真实图像的反向映射,并优先处理它们之间的感知相似度。LPIPS 比传统方法(比如L2/PSNR, SSIM, FSIM)更符合人类的感知情况。LPIPS的值越低表示两张图像越相似,反之,则差异越大。
d为 x0与x之间的距离。从L层提取特征堆(feature stack)并在通道维度中进行单位规格化(unit-normalize)。利用向量WL 来放缩激活通道数,最终计算L2距离。最后在空间上平均,在通道上求和。