HDR综述

目录

1      背景介绍

2      HDR基本概念

2.1      可见光与人眼感知原理

2.1.1       可见光

2.1.2       人眼感知原理

2.2      动态范围与最小可辨别差异(JND)

2.2.1      动态范围

2.2.2       最小可分辨差异(JND)

2.2.3       低动态范围图像与高动态范围图像对比

2.3      伽马修正与显示模型

2.3.1       伽马修正

2.3.2       显示模型

2.4      颜色空间

3      HDR流水线及内容获取

4      HDR存储格式与压缩

4.1      HDR图像像素编码格式

4.1.1       minifloat

4.1.2       RGBE

4.1.3       LogLUV

4.1.4       JND steps

4.2      HDR图像文件格式

4.2.1       Openexr

4.2.2       Radiance.

5      色调映射(tone MApping)

5.1      色调映射的分类

5.1.1       Visual System Simulators(VSS)

5.1.2       Scene reproduction(SRP) operators

5.1.3       Best subjective quality(BSQ) operators

5.2      色调映射的代数解释

5.3      色调映射的主要方法

5.3.1       光照和反射的分离(Illumination and reflectance separation)

5.3.2       前馈视觉模型(Forward visual model)

5.3.3       前馈和反馈的视觉模型( ForwarD and inverse visual model)

5.3.4       约束映射问题(Constrained mapping problem)

6      逆色调映射(Inverse Tone Mapping)

6.1      动态范围恢复

6.1.1       LDR像素值线性化

6.1.2       动态范围扩展

6.2      抑制轮廓和量化误差

6.3      恢复过曝和欠曝区域纹理

7      HDR图像的评价方式

7.1      Visual difference predictor for HDR images

7.2      亮度独立的度量(LuMINANCE-INDEPENDENT METRICS)

8      总结

 

 

1     背景介绍

HDR(高动态范围成像),在计算机图形学与电影摄影技术中,是用来实现比普通数字图像技术更大曝光动态范围(即更大的明暗差别)的一组技术[1]。也就是说相比较于LDR(低动态范围)图像,HDR图像中像素值可以表示更大范围的颜色、亮度等级。

作为下一代高清电视标准的重要组成部分,关于HDR的研究正在如火如荼的开展。本文将基于HDR成像技术的流水线对HDR整个领域进行介绍。

2      HDR基本概念

所有的显示成像技术都是为了能够使人眼观看显示的图像能更加接近于实际场景,所以有必要先简单了解人眼对光线的感知原理。

2.1    可见光与人眼感知原理

2.1.1     可见光

可见光是空间中辐射能的一种形式,在空间中的传播根据介质的不同主要有透射,吸收和反射三种相互作用的方式。透射是指入射光会穿过介质,并根据介质属性不同改变传播方向。吸收是指光线击中介质后,被介质吸取,能量形式转换为热能。反射又分为漫反射和镜面反射。镜面反射指入射光线根据介质属性不同沿特定方向反射;漫反射指在理想情况下入射光会以相同的能量被反射到各个方向。光线的三种传播方式如图2.1所示,

图2.1 光线的传播形式

不同波长的光线到达人眼后,刺激人眼以获得不同的视觉感知。可见光的波长主要集中在400nm到700nm之间,其频谱图如图2.2所示。

图2.2光线的波长与其频谱图

 

2.1.2     人眼感知原理

眼睛是人类的感光器官,光线首先通过角膜进入瞳孔,随后透过晶状体,折射到达位于视网膜的感光组织,感光组织将受到光线刺激后产生信号,接着生成的的信号再通过感光神经传递到视觉皮层,视觉皮层依据这些信号产生图像信息。整个系统被称为HVS(人类视觉系统)[2]。

眼球中有两种液体,一种是玻璃体,它充满着眼球内部以维持眼球形状,并使视网膜与内壁分离。另一种是房水,在角膜和晶状体之间主要为了维持眼压。人眼的具体结构如图2.3所示。

图2.3 人眼的内部结构

另外,人眼中感光细胞也主要有两种,一种是视锥细胞,一种是视杆细胞。

在中心凹处大约有七百万个视锥细胞。视锥细胞对10^-2—10^8 cd/m^2(明亮的环境)等级的光线更为敏感,负责感知快速运动和高频信息。进一步细分,视锥细胞可以分为:短波视锥细胞,对435nm左右的光线最为敏感;中波视锥细胞,对530nm左右的光线最为敏感;长波视锥细胞,对580nm左右的光线最为敏感。

视杆细胞大约有七千五百万到一亿五千万个。视杆细胞主要对10^-6—10 cd/m^2的光线(较暗的环境)比较敏感,但是视杆细胞无法提供颜色信息,这也就是为什么在低照度环境下我们难以区分物体的颜色。视锥细胞和视杆细胞会对原始光线动态范围进行压缩以缩小动态范围,压缩规则如公式(2.1)所示:

其中R代表感光细胞的响应,Rmax是最大的响应,I代表光线强度,变量σ和n分别是半饱和常数和灵敏度控制指数,对于视锥细胞和视杆细胞是不同的。

2.2    动态范围与最小可辨别差异(JND)

2.2.1    动态范围

动态范围是指某度量的最大和最小值之间的比值。对于图像而言,亮度等级就是所需评价的度量,根据实际应用的不同有以下几种动态范围的测量。如表2.1所示。

表2.1 不同动态范围的描述

虽然描述方式根据不同的应用场景有所不一样,但形式上基本一致,都是各种场景下像素值最大值与最小值之间的比值及其变形。

对比度(contrast ratio)是用于显示系统的度量,定义为设备所能产生最亮颜色和最暗颜色的亮度的比值。由于HDR显示设备无法产生亮度等级为零的光线,所以将设备能产生零之后的第一个亮度等级定义为最暗[3]。对比度也是动态范围中最常用的一个概念,提升对比度是HDR技术研究的主要目的之一。

对数域曝光范围(log exposure range)是HDR技术中常用于测量场景动态范围的度量。这里主要考虑的是给定场景中的最亮和最暗亮度,亮度的计算是在对数域下进行的。使用对数值的优点是,它们能够更好地描述动态范围中感知的差异。

信噪比(SNR)用于描述数码相机的动态范围。它利用使图像传感器恰好饱和的信号强度Ypeak和恰好使图像传感器能够感知的信号强度Ynoise来进行定义。单位是dB。

可感知动态范围是描述人眼可感知动态范围的度量。目前这一概念还存在一些争议。一般而言,如2.1.2节介绍,投射到视网膜的光线会被压缩,压缩后,光线亮度大约为2-3个log-10单位,但由于人眼的高度敏感一般认为人眼可以感受4倍以上log-10单位的光线强度。根据[4,5,6]等研究可以知道人眼更喜欢观看HDR设备所显示的对比度在1000:1的内容,这说明人眼可以感受到很高的动态范围,并且更倾向于高动态范围。所以更高动态范围的设备和媒体资源是提升观看体验必须要解决的问题。图2.4给出了目前常用设备所能显示的动态范围和真实场景的实际亮度范围。

图2.4 真实场景亮度范围和设备所能显示的亮度范围[4]

2.2.2     最小可分辨差异(JND)

正如前面章节所介绍的,人眼对于光线的感知并不是线性的,另外,实际上,将现有的LDR图像处理算法适配到HDR图像的最简单的方法是对对数像素值进行操作。所以本节介绍相对对比度变化的敏感度与对数函数的关系,进而介绍最小可分辨差异(JND)。

在视觉研究中亮度对比度一般如式(2.2)定义:

其中 表示由于刺激造成的亮度变化,L表示背景亮度,一般可以取L的平均值。之所以这样定义是因为一百年前心理学实验发现刺激物的增量与原来刺激物之比是一个常数,如式(2.3)所示:

这就是韦伯定律,其中常数k被称为韦伯系数。这个是标准定义,可能有点费解。打个比方,一瓶水原本价格2元,涨价2元那就会觉得贵了很多;而一台电脑原价5000元,涨价2元,你不会有太大感觉,但是如果涨价5000元,你就会有和水涨价2元一样的感觉。韦伯定律要表达的就是能给人带来的心理上感觉差异的刺激物增量的阈值是与刺激物的原值成正比的。基于韦伯定律,我们希望构建一个函数R(L)用于近似描述人眼对光线的响应,我们假设可以恰好被人眼分辨的两个亮度等级之间差异是单位一,如式(2.4)所示:

R(L+∆L)−R(L)=1 ⇐⇒ =k               (2.4)

这个等式将响应函数R(L)归一化为一个JND单位。一个JND单位等同于有75%概率发现两个亮度等级之间的不同。经过归一化,在响应空间R中加减1将会带来一个最小可分辨差异(JND)。响应空间R可以通过迭代的方式导出,如式(2.5)所示,从一些很小的亮度值开始,如L0 = 0.005,

       Lt = Lt-1 + ∆L

 Rt = t,  for t = 1,2……                 (2.5)

将韦伯定律带入得,

             Lt = Lt-1 + kLt-1 = Lt-1(k+1), for t = 1,2……       (2.6)

将所得点集(LtRt)画出得到图2.5所示的图像。

图2.5 将亮度映射到JND尺度响应,映射函数如橘线所示[4]

2.2.3     低动态范围图像与高动态范围图像对比

尽管近年来数字图像的采集和显示技术有了长足进步但是离真实场景还有很大的距离。根本原因就在于数字图像在空间域和时间域上的离散化与现实世界的连续性之间的巨大差异。就技术层面而言,目前限制超高清电视(UHD)发展并不是分辨率而是色域限制和不完美的压缩格式造成的对比度和亮度的损失。比如,由相机采集的RAW格式图像,由JPEG编码成8位整数像素值后,会造成不可恢复的损失,只能表示真实世界中一小部分的色域和亮度。为了说明这种成像技术的局限性,通常将其称为低动态范围(LDR)。

高动态范围成像(HDR)通过增加像素色差精度来克服这些限制,以便能够表示真实世界中可以被人眼察觉的所有颜色。为了适当地增强色彩鲜艳度,数字图像必须保存关于原始场景的实际亮度水平的信息,这在传统成像的情况下是不可能的。真实世界的场景不仅比数字图像中的更明亮,更丰富多彩,而且还包含更高的对比度,包括相邻对象之间的局部对象,以及远处对象之间的全局对比度。 与HDR相比,LDR不能描述如此高的对比度的场景。此外,一些常见的视觉现象LDR也无法表示,如光源的表面(阳光,闪亮的灯光)和明亮的镜面高光区域; 也没有足够的信息来再现视觉眩光(周围闪光物体的变亮)和由于场景的亮度突然增加(例如,在室内暴露在阳光下时)而造成的短时间的炫目。因此,要高还原度地表现,存储和再现所有这些效果,必须使用高保真HDR技术存储和处理原始场景。HDR与LDR一些具体的差异如图2.6所示,

图2.6 LDR与HDR之间的差异对比[4]

2.3    伽马修正与显示模型

2.3.1     伽马修正

大多数低动态范围的图像和视频格式都会使用伽马修正将亮度或RGB光谱颜色强度转换为整数,以方便编码[4]。

伽马修正通常以指数形式给出,

intensity = signal^γ                         (2.7)

其中intensity表示原始的亮度或光谱强度,signal表示修正后的信号强度。γ的取值在1.8到2.8之间。伽马修正一开始是为了减少相机噪声并且适应当时的CRT显示器的水平,但是之后发现,经过伽马修正后显示器所显示的信息能线性近似于真实场景的信息,这是一个令人惊喜的巧合。因为CRT显示器的输入电平和显示值之间也存在一个指数关系,而像素的编码值决定了输入电平值的大小。进一步分析后,我们可以使用两个不同伽马值定义的转换函数(transfer function)来描述整个显示系统。编码伽马值(encoding gamma)定义了编码转换函数,用于描述设备采集的场景辐射值与像素编码值之间的关系。另一个是显示伽马值(display gamma),定义了显示转换函数,用于描述输入的编码像素值与显示设备显示光谱值之间的关系。两个转换函数的乘积得到的全局伽马值(overall gamma)或端到端伽马值(end-to-end gamma)可以很好描述整个显示系统,如图2.7所示。

图2.7 两种转换函数结合描述整个显示系统

如果全局伽马值为1,那么显示的辐射值与实际场景的辐射值是一种很好的线性关系,这看起来很理想,但是用显示设备和实际场景的观看条件是不一样的。主要存在两个问题,一是由于显示技术限制,显示设备能显示辐射值的数量比实际场景存在的辐射值数量低了很多个数量级,无法完全描述;二是,存在所谓的环绕效应(surround effect),在实际场景中光线来自整个场景,而在观看显示设备的成像时,光线集中来自于显示设备,并且会受到环境光的极大影响,比如,在办公室环境光很亮,在电影院环境光很暗。

基于上述两个原因,全局伽马值一般不设为单位一,根据不同的设备和使用条件不同而不一样,比如在影院中一般设为1.5,在办公室中一般设为1.125[6],以此来保证显示辐射值与真实场景辐射值的近似关系。

2.3.2     显示模型

2.3.1中介绍的显示伽马修正,只是显示模型的简化,为了进一步定量分析,就需要介绍完整的显示模型,伽马偏移增益(gamma-offset-gain, GOG)。GOG模型更准确地描述了输入的像素值与显示的值之间的关系。式(8)给出了在灰度图情况下像素的亮度值与显示亮度之间的关系,

L = (Lpeak - Lbalck)V^γ + Lblack + Lrefl                       (2.8)

  L是显示亮度,V是像素值亮度。Lpeak是显示设备在完全黑暗环境中的亮度峰值,Lbalck是显示设备所能发出的最暗光线的亮度,Lrefl表示从显示设备表面反射的环境光值。Lrefl的定义如式(9)所示,

k表示显示设备的反射率,Eamb表示环境光的亮度。

2.4    颜色空间

颜色空间是用数学描述来定义颜色的一种方式,一般由被称为三原色的三个分量表示。主要分为两类:设备相关(device dependent)和设备无关(device independent),前者描述了与显示设备用于显示颜色的技术有关的颜色信息。比如,电脑显示器依赖于荧光剂来显色,喷墨打印机依赖于墨水显色。这种描述的特点是对于同一坐标值的颜色,在不同的显示设备上显示效果是不一样的。设备无关的颜色空间并不依赖于特定的显示设备的性质。典型的设备相关的颜色空间是RGB颜色空间,RGB颜色空间是由三原色,R,G,B构成的笛卡尔立方体。

典型的设备无关的颜色空间是CIE 1931 XYZ颜色空间,主要由频谱能量分布I在对应的color-matching函数上 , , 的投影定义,如式(2.10)所示。

其中 代表波长。 , , 函数的具体图像如图2.8所示。在XYZ中,Y分量描述的是颜色的亮度,颜色的色度由公式(2.11)定义。

图2.8 color-matching函数对应的函数曲线

 

这些值在图2.9中被画出,形成所谓的CIE xy色度图,它能描述HVS所能感知的所有颜色。目前在CRT和LCD显示其中最常用的是sRGB颜色空间,它所采用三原色R(红),G(绿),B(蓝)的是ITU-R的提案BT.709中为高清电视定义的三原色。

图2.9 CIE xy色度图

 

在sRGB空间中每种颜色都是三原色的线性相加,并且权重都是[0, 1],所以sRGB只能表示xy色度图中的部分颜色,如图2.9中虚线三角形所示。在XYZ和RGB之间存在式(2.12)的关系。

其中M矩阵定义如下:

近年来随着显示技术的发展,已经有很多设备可以显示更多的颜色,所在ITU-R提案BT.2020中提出一种比sRGB色域更广的颜色空间BT.2020,如图2.9中实线三角形所示。其M矩阵定义如下:

3      HDR流水线及内容获取

作为成像领域的革命性技术, HDR可以对真实光照值进行操作和存储。之后的章节将按照HDR成像技术的流水线进行介绍,如图3.1所示,第一部分是从

摄像机或者通过计算机渲染得到HDR的图像;第二部分将介绍HDR图像的压缩与编码技术;之后将对HDR成像显示进行说明,包括为了在LDR显示器上显示HDR图像的tone mapping技术以及在HDR显示器上更好显示LDR图像的Inverse tone mapping技术;为了衡量某一HDR技术性能优劣,最后将介绍HDR的评价标准。具体如图3.1所示。

图3.1 HDR成像的流水线(pipeline)

HDR内容获取主要有两个来源,第一种是使用计算机图形学工具抽象建模渲染获得[7];第二种是通过摄像机拍摄真实世界场景获得。渲染的方法是由真实图像合成以及全局照明计算来实现,最终可以获得光度标定后的像素值。用摄像机拍摄的方法又可以分为两种,一种是用传统摄像机和LDR传感器对某一场景按时间顺序进行多重曝光,之后采用多曝光融合的技术合成HDR图像;另一种是直接用HDR摄像机直接拍摄获得。

4      HDR存储格式与压缩

由于HDR图像本身携带更多信息,所占存储空间更大,比如相同分辨率的RAW格式图像是JPEG图像所占空间的60倍到250倍。所以我们对于HDR的音视频我们需要一种更好的表征方式。

下面从HDR图像的像素格式与文件格式对HDR的表征方式做以介绍。

4.1    HDR图像像素编码格式

4.1.1     minifloat

也称为半精度浮点数,在显卡中一直用这种紧凑的描述方式来表示浮点数,有时也用S5E10来形象表示,S表示一位符号位,5E表示5位指数位,10表示10位尾数,如图4.1所示。

图4.1 半精度浮点数的像素编码格式

半精度浮点数可以灵活方便地对线性亮度值和辐射值进行编码,能覆盖较大的动态范围,同时比直接用32位精度浮点数更节省空间。所以HDR图像文件存储格式OPENEXR就采用的这种像素编码格式。但是由于精度的原因,这种表示方式最大只能表示65504,所以若HDR图像包含亮度值极大的部分则需要放缩后再用半精度浮点数存储编码。

4.1.2     RGBE

RGBE的像素编码格式主要用在Radiance的HDR图像文件格式中。利用四个字节编码,前三个字节表示红绿蓝三种颜色,最后一个字节存储公用的指数。如图4.2所示。

图4.2 RGBE的像素编码格式

之所以共用一个指数是因为三种颜色在RGB空间中有很强相关性,数值上至少都在同一数量级,因而不需要为每个通道单独存储指数。但是RGBE无法表示在sRGB色域之外的高度饱和的颜色,因为这样的颜色转换到RGB空间中会变成负数。一种解决方法是在CIE XYZ空间中仿照RGBE的编码方式定义XYZE编码。

4.1.3     LogLUV

在4.1.1中介绍的半精度浮点数编码方式对于图像压缩不是最优的,这是因为有额外的位数分别编码尾数和指数,而不是整数。这种表示虽然很灵活,但对于颜色数据并不是必要的。结合在2.2.2中讲到的JND,我们可以知道人眼对不同亮度范围的亮度差异的感知是不一样的,所以用整数编码HDR图像更适合压缩。

LogLuv编码格式就是用整数对人眼可见的整个动态范围和色域进行编码。2.2.2中我们讲到人眼对亮度变化的感知是非线性的,对暗处的亮度变化更为敏感,这种特性可以用对数形式近似模拟。LogLuv用32位二进制数进行编码,其中两个字节编码亮度,另外两个字节编码色度。但是这种格式也有缺点,它对于使用算术编码进行的压缩是无效的。具体形式如图4.3所示。

图4.3 LogLuv像素编码格式

4.1.4     JND steps

因为直接对亮度值取对数误差较大,所以结合2.2.2中介绍的JND(最小可辨别差异)可以将真实亮度映射为一个JND单元,此单元需要更高的编码精度,因此而提出了JND STEP的编码格式。具体如图4.4所示,与LogLuv相比只是对亮度编码部分有变化。

图4.4 JND step像素编码格式

4.2    HDR图像文件格式

目前常用的HDR图像文件格式有两种:一种是OpenEXR格式(后缀名.exr),另外一种是Radiance格式(后缀名为.hdr或.pic)。

4.2.1     Openexr

OpenEXR格式是2002年由美国工业光魔提出开发,此后,这种格式已经被许多开源和商业应用所采用,成为HDR图像的事实上的标准,在特效行业应用广泛,目前有公开的C++函数库支持(http://www.openexr.org/)。主要的特性有:

  • 支持16位、32位浮点数和32位整数像素。实际应用中16位半精度浮点数使用得最广泛。
  • 支持多种无损和低损的压缩算法。
  • 具有良好的扩展性。新的压缩编解码器和图像类型可以通过扩展OpenEXR软件发行版中包含的C ++类轻松添加。

4.2.2     Radiance

Radiance格式是最早的HDR文件格式之一,在1989年引入Radiance Rendering Package(http://radsite.lbl.gov/radiance/)之后更为流行。文件主要由文本头文件以及之后的编码像素构成。像素编码所采用的格式是4.1.2中介绍的RGBE或者XYZE编码格式,两种编码方式差异在于前者所用的基元是RGB(三原色),后者用的是CIE 1931 XYZ中的XYZ。后者可以编码人眼可见的所有颜色[8]。

5      色调映射(tone MApping)

色调映射是指将高对比度和宽色域的场景在对比度和色彩显示有限的显示器上进行渲染的过程。通常它包括将高动态范围的图像转换为可以在普通显示器上显示的像素值。

5.1    色调映射的分类

色调映射的目标根据应用程序和规范的不同可能会有很大的不同。这种多样化的目标是关于色调映射的混淆和误解的根源,因此清楚地确定这些目标是非常重要的。根据[9]的定义,我们可以将根据内容将色调映射方式分为以下几种。

5.1.1     Visual System Simulators(VSS)

VSS主要是模仿实验视觉系统的限制和性质,比如会加入眩光(glare)、模仿人眼在夜间的视觉效果或者减少图像色彩降低图像对比度。另一个例子是对图像在真实世界场景的条件和观看条件之间的差异(包括色彩方面)进行调整。

5.1.2     Scene reproduction(SRP) operators

SRP是尝试在色域、对比度和峰值亮度都受限的显示设备上保留原场景的样子,包括对比度,锐度和色彩。这类操作不会模拟由于感知影响而导致的外观变化,例如夜间视力和色觉的丧失。相反,他们致力于克服显示媒介的局限性,并尝试在有限的色域和动态范围内实现最佳匹配。

5.1.3     Best subjective quality(BSQ) operators

BSQ主要是基于主观喜好和艺术特点来产生最适宜的图像。这样的操作通常包含一系列的自适应参数,比较好的例子就是诸如Light Room一类的照片编辑软件。

正因为有不同的优化目标,所以没有单一的最佳色调映射算法。

5.2    色调映射的代数解释

简单而言,色调映射的代数解释就是将HDR的真实场景亮度转换到可以被LDR显示器现实的亮度区间。为进一步理解不同形状的色调映射曲线如何影响图像在显示器上的显示效果,我们先从最简单的灰度图分析,将色调映射公式化:

其中L表示原始的HDR像素亮度,p表示像素的索引, 表示应该在显示设备上显示器上显示的亮度。得到的 值将被第二节介绍的显示模型转换为LDR的像素值以能够在显示设备上显示。

有一些色调映射的方法直接将HDR的像素值 转换为LDR的像素值 ,而忽略了显示模型。这样做的缺点就是不能针对不同的显示器做出调整,所以本文将主要介绍第一类色调映射的方法。

乘法操作——亮度变化   

  乘法操作是最简单的操作之一,但是对HDR图像做乘法操作只会改变图像的整体亮度而不会影响图像的对比度或者动态范围,所以这样的色调映射函数,

类似于相机中的曝光变化,所以也称为曝光调整。可以参考图5.1的例子,

图5.1 对HDR像素值做乘法操作的效果

在对数域上分析,

t(lp) = lp +       (5.4)

其中b = log10(B),lp = log10(Lp)。

图5.2 功率函数对图像的影响

功率函数(Power Function)——改变对比度

功率函数可以控制一张图片的动态范围,动态范围有时与图像对比度可互换使用,因为降低动态范围也会降低整体图像对比度。公式如下,

其中c是对比度调节因子,该变化是相对于参考白点Lwhite的亮度,使得对比度将朝向或远离该点收缩或扩大。Lwhite一般是场景中最亮的点,会映射到显示器的峰值亮度。例子如图5.2所示。这种变换由于形式与显示模型类似,所以也被称为伽马修正。

图5.3 对图像像素值加一个常数的雾化效果

在对数域上可以表示为,

 t(lp) = c(lp−lwhite)         (5.6)

另外,根据韦伯定律,如果我们对图像的像素值加一个常数,对于图像的亮度影响很小,但是对暗处的影响很大。这会影响图像中暗处区域的对比度和亮度,比如会造成雾化效果或者均匀的光晕。如图,5.3所示。

5.3    色调映射的主要方法

近年来人们针对色调映射做了很多研究,但是大多数研究的机制和内部原理都是类似的,下面分为以下几类来进行介绍。

5.3.1     光照和反射的分离(Illumination and reflectance separation)

如果我们把到达眼睛的光线看作是光照(illumination)和物体表面的反射的积,并且对于视觉系统而言反射提供了比光照更多的信息。反射可以提供物体的形状颜色和纹理特征,并且对于大部分情况下都是不变的。相反光照很容易受环境的影响,比如,室内和是室外。

事实上,有证据表明,人类视觉系统中的存在几种生理机制是为了减少光照的影响,颜色适应就是一个典型的例子。如果光照不那么重要,那么很可能对图像的光照分量的修改比对反射的修改更容易保证图像原有的性质。限制光照部分的变化在色调映射算法中有很大的作用,因为光照决定了真实场景中的大动态范围。

漫反射表面反射率的变化范围很大,从黑色天鹅绒的1%到白色油漆的90%。即使在同一场景中两种物体都存在,单独反射产生的最大动态范围也要小于两个数量级,但是光照部分对动态范围的影响很容易就能超过四个数量级。这也就是说对图像中光照部分进行压缩将能极大程度的减小图像的动态范围。

对于大多数漫反射物体,其像素值都可以简单的被认为是光照和物体表面反射的乘积:

  intensity = reflectance  illumination            (5.6)

这是简化后的模型,忽略了物体的几何纹理和更为复杂的反射性质,但在计算机视觉领域应用得很广泛。如果我们知道如何分离光照和反射,就可以得出以下简单的色调映射操作算符,它只会影响光照而不会对反射部分造成失真。

intensity yd  = reflectance  T(illumination)        (5.7)

其中intensity yd 表示经过色调映射后的HDR图像像素值。最早提出这种算法的是Oppenheim[30]。

这种方法主要的难点在于分离光照分量和反射分量,这个问题的限制很多仅靠图像来找到准确的方法是不可能的。但是有一些靠真实场景中光线的统计性质来近似的方法。与反射不同,在图像中像素点之间的光照变化十分平滑,在光源和阴影边界的部分可能会存在不连续。提取图像平滑变化部分的最简单方法是用高斯滤波器对其进行卷积,

其中Ip是像素p处提取出的光照分量,L是HDR图像的线性像素值, 是此像素相邻的像素点。f是高斯函数。

尽管这只是对光照分量一个粗略的近似,但在大多情况下都能得到满意的结果。Chiu[31]等人通过基于这种分离的方法设计了一种色调映射算法,利用空间非均匀映射函数来压缩HDR图像的对比度。

其中k为2~8范围内的常数,常数k将改变整个图像的亮度,但不会改变光照分量的对比度。更为有效的表达方式可以写作,

其中k 表示光照分量的压缩系数。在对数域的表示为,

t(lp) = lp −(1−k)ip = (lp ip)+kip      (5.11)

高斯滤波的缺点就是不能检测到光照的剧变,比如阴影和光源的边缘。这样当对强对比度区域进行修改时,跨越这些区域的光照分量将被平滑,会导致光环伪影 (halo artfacts)的出现。所以我们需要利用可以检测明显边缘的滤波方式来避免伪影。常用的保边滤波方式就是双边滤波,

其中ks是归一化项,

函数g是限制像素平均值的范围的高斯函数。如果p附近的像素t的值与Lp的值差异很大,则 的值非常低。Durand[31]提出一种快速双边滤波的方法并将其应用到色调映射之中,

lp = log10(Lp), ip = log10(Ip)     (5.14)

t(lp) = cip +(lp ip)         (5.15)

除了上面介绍的滤波方法来分离光照分量和反射分量外,还有一种方法——Retinex算法。Retinex算法最初由Land和McCann[32]提出,用来解释颜色恒常现象。Retinex将模拟HVS(人类视觉系统)在光照发生变化的情况下从我们感知的世界中提取可靠信息的能力。McCann将Retinex算法从理论变为形式化,并表明该问题等同于求解泊松方程[33,34]。 该算法本质上试图通过抑制小的梯度来分离反射和照明[39]。

还有基于梯度和对比度的方法,不用将图像分成反射层和照明层,可以在用伽玛函数(或对数域中的线性缩放)压缩图像对比度之前,增强图像中的细节(反射率)[35,36,37]。

5.3.2     前馈视觉模型(Forward visual model)

由于视网膜与视皮层之间的神经连接只能传输有限动态范围的信号,所以视觉系统在将视觉信息传递给大脑之前需要在视网膜中进行有效的动态范围压缩。 因此,可以模仿视觉系统的这种压缩方法进行色调映射。这样,物理信号就被转换成视觉系统的抽象内部表示,诸如光感受器[38,33]的响应,lightness[40,32]或brightness[42,43]。这样的响应将被映射到显示器上的像素值。具体步骤如6.4所示。

图5.4 基于前馈视觉模型的色调映射流程的图

尽管这类方法能很大程度地降低动态范围,但是这种类比推导是有缺陷的,眼睛所看到的亮度与实际显示器所显示的所谓的抽象亮度表示是不一样的。所以基于这种理论的色调映射不是感知准确的。

这类方法中较为特殊的一种是将感光器的响应建模为S形的sigmod函数[44,45,46,47,48]。这个函数的选择通常通过所谓的Naka-Rushton方程来解释,这个方程解释了光感受器对于闪光的灵敏度是如何随着亮度的变化而变化的。

5.3.3     前馈和反馈的视觉模型(       ForwarD and inverse visual model)

只有前馈的视觉模型只是模拟了对于原始场景观察的视觉过程,而缺少了对显示在屏幕上经过色调映射图像的观察过程,而最终还是需要人眼去观察的,这也就是前文所说的不准确之处。

流程如图5.5所示,

图5.5 基于前馈和反馈视觉模型的色调映射流程

文献[48,49,37,50,51,52,53,54]都是基于这个流程设计的,如流程所示,假设观察者适应原始场景中的观看条件,首先由正向视觉模型处理原始HDR图像。这意味着适应户外场景的较高亮度和夜景的较低亮度。然后,视觉模型的结果可以被进一步编辑调整,例如减小动态范围或提高细节的可见性。再下一步,抽象的表达通过基于特定的显示器的逆显示模型被转换回亮度值或三色值。最后,使用反向显示模型将物理亮度值或三色值转换为像素值。通过这样的处理就得到了伽马修正后的RGB值,可以直接显示在屏幕上。

这类方法包含前馈和反馈的模型,在物理上和感知上都是合理准确的。这种方法的一个主要优点是它可以根据真实世界场景和显示器之间的观看条件差异来调整图像外观。例如,夜景可以真实地在显示器上显示,显示的结果要比原始场景明亮。这是通过模拟视觉系统中的夜视(所谓的暗视觉和中视觉视觉)来实现的。前馈和反馈视觉模型还可以补偿由于色彩适应引起的色彩偏移,或者由于适应光照或黑暗环境而导致的视觉暂时丢失。

但是前馈和反馈方法的也有缺点,因为它是建立在标准显示器可以再现更亮或更暗的场景的视觉感觉的前提下。根据所使用的视觉模型,逆视觉模型的结果可能产生位于色域之外的颜色,超出了目标显示器的动态范围,从而导致这样的操作在减小动态范围方面往往不是最有效的。另外,许多复杂的视觉模型很难求逆,不能直接用于这种方法。

5.3.4     约束映射问题(Constrained mapping problem)

Tumblin和Rushmeier [55]提出的色调映射问题的原始目标之一是在显示器上再现一个场景,使得显示的图像的亮度感觉与现实世界的亮度感觉相等或接近匹配。由于显示设备能够提供的亮度,动态范围(对比度)和色域有所不足,所以原始图像和其在显示器上显示几乎不可能完美匹配。因此,输出设备上的渲染是以牺牲其他图像特征为代价的折衷。例如,图像的高对比度和高亮度通常只能在明亮或黑暗区域中裁剪,即截断(饱和)一定量的像素保存,即截断。基于这些考虑,色调映射可以被表述为如图5.6所示的优化问题

图5.6 基于受限约束问题的色调映射流程图

将原始HDR图像作为输入,目标是生成能最佳呈现原始场景的显示器适应的图像。可以这样假设,如果HVS对显示器上显示的图像的响应Rdisp,与对原始场景响应Rorig近似相等,那么目标是可以达到的。由于显示器的性能限制两种响应是不可能一样的。同时考虑观看显示器显示时会受观看条件,如环境光,影响,是的两者更难一致。所以这个优化问题的求解的方法就是优化色调映射的参数以最小化两者的误差,显示模型在图6.6中,引入了显示器的颜色和亮度方面的物理约束。

这类方法与前面提到的前馈反馈模型有相似的地方,但区别在于先前的方法都有默认的假设Rdisp = Rorig。而基于优化的方法可以适用于任何HVS和显示模型,不需要其是可逆的。但此类方法最大的缺点就是计算量巨大,即使采用最简单的显示模型,也十分耗时。

具体的工作可以参见Ward[56]和Mantiuk[57,58]。

 

6      逆色调映射(Inverse Tone Mapping)

常用的8比特编码格式的图像若要在HDR显示器上显示则无法提供足够的精度,所以需要从LDR图像恢复HDR信息,这一过程称为逆色调映射(inverse

tone mapping),也被称为相机响应函数的反函数(inversion of complete camera response function)。通过相机响应函数的反函数可以对相机的光学缺陷和传感器的非线性进行补偿,所以逆色调映射的关键就是找到相机响应函数反函数。

在使用多曝光融合技术中,恢复相机响应函数已经有了较为成熟的流程。但仅有单张图片,没有任何拍摄相机信息和参数以及场景信息的情况下,找到合适的相机响应函数就变得十分困难,而这也是大量传统影视资源所面临的情况。所以想要将LDR转换为HDR,就需要逆色调映射技术(inverse tone mapping)。

由于在LDR图像编码存储时会有伽马修正,所以在恢复的第一步就是LDR图像像素值线性化,得到的像素值将是实际场景亮度值的等比例放缩。但也存在两个问题,一是由于有均匀量化过程存在,线性化的过程中会有伪影出现,尤其是在天空等平坦区域,我们称之为带状伪影(banding artifacts);另外就是在图像高光区域、光源区域和阴影区域的细节恢复,这些细节在LDR图像中是被裁剪的,但在HDR图像中是可见的,所以在高光区域会产生诸如光晕等伪影。所以在恢复的过程中需要对伪影做修正,最后是颜色的修正,这一部分主要是宽色域(WCG)扩展的内容,之后会在宽色域扩展中详细介绍。

下面将介绍逆色调映射的基本步骤。

6.1    动态范围恢复

将LDR图像的低动态范围恢复到HDR的高动态范围,一般需要考虑一下三个步骤,找到合适的逆伽马修正函数或逆色调映射函数或逆相机响应函数,基于找到的函数将LDR图像中所有像素值做变换得到线性的像素值,再对线性像素值成比例的拉伸以获得在所显示的HDR设备上的最佳显示效果。

6.1.1     LDR像素值线性化

逆伽马修正

Rempel[10]和Masia[11]等人提出简单的用γ= 2.2的逆伽马变换就能得到很好的线性化的像素值,这种变换直接基于伽马修正的反变换。Farid[12]在此基础上提出在缺少相机标定信息时用单张图片可以估计伽马值。他们的方法是基于这样的观察:伽马校正为图像引入了几个新的谐波,其频率与图像中的原始谐波相关。 原始和新引入的谐波的幅度之间也有很强的依赖性。可以看出,频域中的这种更高阶的相关性随着伽马校正的非线性增加而单调地增加。可以使用来自多谱分析的工具来检测这种相关性,并且通过搜索使这种相关最小化的反相伽马,可以找到最初应用于图像的实际伽玛校正。这称之为盲逆色调映射(blindly inverse tone mapping)。

逆色调映射曲线

某种角度来讲,逆色调映射可看做色调映射的逆过程,基于此,Banterle[13]等人通过色调映射函数的反函数来对LDR像素值线性化,取得了很好的视觉效果,但由于高亮区域的带状伪影动态范围的扩展幅度十分受限,以为色调映射主要是指数函数和sigmod函数,这些函数对动态范围有很大的抑制作用。

逆相机响应曲线

实际上伽马函数只是相机响应函数的粗略近似,在恢复实际亮度时对精度有很大影响。Lin[14]提出了对于单个LDR图像,可以基于物体边缘附近的彩色像素的分布来更精确地重建相机响应曲线。

Grossberg[23] 等人总结了常见的相机响应函数,可以直接利用。

6.1.2     动态范围扩展

线性扩展

Akyuz[15]和Rempel[10]简单的使用线性拉伸就能获得很好的显示效果,Rempel[10]指出将动态范围拉伸到5000:1是在HDR成像质量与可见伪影之间较好的折中。有意思的是,Akyuz[15]在高质量的LDR图像中没有执行线性化的过程,仍然取得较好的HDR恢复图。

局部变化的亮度扩展(Locally-varying brightness boost)

显然,为了更精确地恢复HDR图像,对LDR图像中不同亮度的区域的扩展程度是不一样的,比如天空、光源相对于墙面就需要更多的扩展,高亮的区域扩展应该高于暗区域。

在[17][18][19]中也提到为了得到质量更好的HDR图像,需要对饱和区域的对比度和亮度同时提升。基于这个原因,饱和像素点周围的区域中至少一个像素通道的像素值需要有额外的增强,需要额外增强区域由一个高斯核对饱和像素点滤波得到。同时YongQing[20]等人,认为高亮区域在并不占主要位置,并且常见的算法在高亮区域的恢复容易产生伪影,所以在不影响视觉效果的基础上可以通过预处理将高亮区域移除,简化算法流程。Masia[11,21]针对高亮区域基于伽马转换的思路解决。

基于语义的亮度扩展(Semantically-driven brightness boost)

一些其他方法通过图像中不同场景元素的语义差异,对其进行不同程度的扩展。例如Meylan[22]将图像分割为漫反射区域和高亮区域,对不同的区域采用不同的线性扩展系数,并且Meylan在一个心理学实验中观察到在户外场景中,被测试者倾向于将小部分的动态范围分配给高亮区域以获得明亮的整体场景,相反在室内场景中更倾向于向高亮区域分配更大的动态范围。

6.2    抑制轮廓和量化误差

常见的LDR图像多维8比特编码,在编码后由于量化会造成细节的遗失。有限的像素精度还会导致在平滑梯度区域出现假轮廓(带状伪影),对于彩色通道而言,这通常被称为分层。所有这些效应都会因为LDR到HDR转换的动态范围扩展而强烈加剧。 传感器噪声也会变得更加明显。 为此,在许多LDR到HDR技术中,在对比度和亮度提升步骤之前执行各种形式的高级滤波。

双边滤波和基于核的滤波是经常采用的滤波技术,因为很消除带状伪影和传感器噪声带来的影响,但是滤波后会丢失低振幅和高频率部分的图像细节,比如人的皮肤纹理在滤波后可能会过度平滑导致视觉上不自然。

6.3    恢复过曝和欠曝区域纹理

传统LDR图像的另一个问题是图像欠曝和过曝区域,其中纹理图案大部分是饱和的,最多只包含场景中的稀疏信息。 由于许多不同的场景可能导致在这样的区域中LDR图像的外观相同,这一点即使利用强大的机器学习技术也很难解决。通常认为,要获得较好结果必须要引入人的主观判断。Wang[24]等人提出可以通过曝光良好的区域作为参考来恢复过曝和欠曝区域的纹理信息。GABRIEL[25]等人提出用深度学习的方法,采用VGG网络对过曝区域的信息进行恢复,但对于欠曝区域并不能很好解决。

7      HDR图像的评价方式

为了比较不同的算法之间的性能差异,必须对生成的图像或者视频进行评价。例如,一个视频压缩算法可以被认为比其他视频压缩算法更好,只要它为相同的视频质量产生更小的比特流。人类可以很容易地选择两个视频剪辑中哪一个更好看;但是进行广泛的主观实验往往是不切实际的。因此,需要能够预测测试图像与其参考之间在视觉上显着差异的质量的计算指标,从而取代繁琐的实验。

大多数图像质量指标都考虑对某种设备进行质量评估,例如LCD显示屏或打印机。然而,通过计算机图形学方法计算出的物理精确的结果并不与任何具体的设备相关联。它们产生像素包含线性辐射值的图像,而不是显示设备的伽马校正的RGB值。此外,真实场景对应的亮度值可以跨越一个非常大的动态范围,超过了典型显示设备的对比度范围。因此,如何比较用于表示实际场景的这些图像的质量而不是它们经过色调映射(tone mapping)后的显示(即亮度经过调整后的显示)是需要解决的问题。

传统的LDR图像存储的像素值都是经过伽马修正的,在低亮度情况下(CRT显示器80 cd/m^2)可以认为是感知均衡的,但是当显示亮度变亮时,暗处的失真将变得十分明显,现在的HDR显示器可显示亮度已经达到1000 cd/m^2。而HDR图像存储的是线性的亮度值或辐射值,而物理上的亮度值之间的差异与实际上我们感受到的视觉差异几乎没有关系,人眼对于亮度之间的对比更加敏感而不是绝对的亮度值,这一现象也被称为亮度掩蔽(luminance masking)。所以诸如PSNR之类的评价LDR图像的指标并不直接适用于HDR图像。

对HDR图像的评价度量又可以分为对其绝对亮度和相对亮度的评价。

显示相关的度量是评价图像由显示器显示时,显示器发出的绝对亮度,比如,感知均衡编码(perceptually uniform encoding)和HDR-VDP。感知均衡编码(Perceptually-uniform encoding)

Aydin[26]等人提出一种简单的亮度编码,从可以使用PSNR和SSIM[16]等LDR的度量对HDR图像评价。通过将物理亮度值近似编码为感知均衡的表示形式,这种转换使用阈值积分法的亮度检测数据[27],之后又进一步受进一步约束将CRT显示器现实的亮度(0.1-80 cd/m^2)映射到0-255的范围,以模仿sRGB的非线性,从图8.1可以看出,感知均衡的编码就是为了使映射后的亮度值与sRGB的相似,从而可以应用传统的度量方式。

图7.1 将物理亮度值进行感知均衡编码

7.1    Visual difference predictor for HDR images

感知均匀编码的方式可以解决亮度掩蔽,但无法解决其他亮度相关的影响,比如眼内光的散射或亮度的对比度敏感函数(CSF)的频移。而HDR-VDP很好的解决了这个问题,HDR-VDP是在传统的VDP[28]基础上修改调整得到的,在HDR-VDP的基础上又调整得到HDR-VDP 2[29]。HDR-VDP 2是对覆盖很广绝对亮度范围的无色图像之间差异的度量指标并可以将其可视化。如图8.2所示,

图 7.2 HDR-VDP 2系统流程图

整个系统将HDR的亮度图或辐射图作为输入,预测其中可能存在差异部分的概率(PmapPdet)以及感知失真水平(QQMOS)。一个限制高对比度场景的对比度感知的主要因素是由于光线在人眼的感光部分和视网膜上的散射。HDR-VDP 2将这一部分建模为一个频率空间的滤波器,将其与适当的数据集拟合。

HDR-VDP 2的源代码可以从http://hdrvdp. sourceforge.net网站上下载,或者在网站http://driiqm.mpi-inf.mpg.de/上进行在线测评。

7.2    亮度独立的度量(LuMINANCE-INDEPENDENT METRICS)

亮度独立的度量是指将对HDR图像像素值进行操作,并且对于像素值乘以常数后仍然能给出相同的结果。假设观察者对光线的敏感程度服从于韦伯定律,就可以将像素值转换到对数域以方便计算。一个典型的例子就是log-PSNR。

其中

是待测图片中第i个像素的像素值, 是参考图(ground truth)中第i个像素的像素值。 是噪声之上最小的亮度, 不能是图像中最大像素值,因为这是图像无关的度量,一般定为10000。

8      总结

本报告按照HDR技术流水线逐一介绍了,HDR资源的获取,压缩与存储,在不同设备上的显示以及评价方式。随着人们对影视资源画质要求的提升,国内外各大厂商和政府都在大力推行下一代高清电视技术标准——高分辨率,高动态范围,高帧率和宽色域。 在CES 2018大会上已经有满足标准的高坪品质显示器出现,但是媒体资源方面,由于拍摄设备十分昂贵不易获取,所以仍十分匮乏。所以从LDR到HDR的转换技术是目前研究的重点和热点。

 

 

参考文献:

  1. https://zh.wikipedia.org/wiki/%E9%AB%98%E5%8A%A8%E6%80%81%E8%8C%83%E5%9B%B4%E6%88%90%E5%83%8F
  2. George Mather. Foundations of Perception, First Edition. Psychology Press, Hove, East Sussex, UK, March 2006.
  3. Seetzen, W. Heidrich, W. Stuerzlinger, G. Ward, L. Whitehead, M. Trenta- coste, A. Ghosh, and A. Vorozcovs. High dynamic range display systems. ACM Transactions on Graphics (Proc. SIGGRAPH), 23(3):757–765, 2004.
  4. Rafał K. Mantiuk, Karol Myszkowski and Hans-Peter Seidel. High Dynamic Range Imaging
  5. Tomas Akenine-Moller, Eric Haines, Naty Hoffman. Real-Time Rendering Third Edition
  6. Poynton, Charles, Digital Video and HDTV: Algorithms and Interfaces, Morgan Kaufmann, 2003. Related resource: Gamma FAQ. Cited on p. 141, 143, 146, 216
  7. James T. Kajiya. The rendering equation. In Computer Graphics (Proceedings of SIGGRAPH 86), pages 143–150, 1986
  8. Ward. Real pixels. In J. Arvo, editor, Graphics Gems II, pages 80–83. Aca- demic Press, 1991.
  9. Gabriel Eilertsen, Robert Wanat, Rafał Mantiuk, and Jonas Unger. Evaluation of Tone Mapping Operators for HDR-Video. Computer Graphics Forum, 32(7):275–284, 2013.
  10. Allan G. Rempel, Matthew Trentacoste, Helge Seetzen, H. David Young, Wolf- gang Heidrich, Lorne Whitehead, and Greg Ward. Ldr2Hdr: On-the-fly reverse tone mapping of legacy video and photographs. ACM Transactions on Graphics (Proc. SIGGRAPH), 26(3), 2007. Article 39.
  11. Belen Masia, Sandra Agustin, Roland W. Fleming, Olga Sorkine, and Diego Gutierrez. Evaluation of reverse tone mapping through varying exposure condi- tions. ACM Transactions on Graphics (Proc. SIGGRAPH Asia), 28(5):160:1– 160:8, 2009.
  12. Hany Farid. Blind inverse gamma correction. IEEE Transactions on Image Processing, pages 1428–1433, 2001
  13. Francesco Banterle, Alessandro Artusi, Kurt Debattista, and Alan Chalmers. Advanced High Dynamic Range Imaging: Theory and Practice. AK Peters (CRC Press), Natick, MA, USA, 2011.
  14. Stephen Lin, Jinwei Gu, Shuntaro Yamazaki, and Heung-Yeung Shum. Radio- metric calibration from a single image. Conference on Computer Vision and Pattern Recognition (CVPR’04), 02:938–945, 2004.
  15. Ahmet Ouz Akyüz, Erik Reinhard, Roland Fleming, Berhard E. Riecke, and Heinrich H. Bülthoff. Do HDR displays support LDR content? a psychophysical evaluation. ACM Transactions on Graphics (Proc. SIGGRAPH), 26(3), 2007.
  16. Zhou Wang, A.C. Bovik, H.R. Sheikh, and E.P. Simoncelli. Image quality assessment: From error visibility to structural similarity. IEEE Transactions on Image Processing, 13(4):600–612, 2004.
  17. Francesco Banterle, Patrick Ledda, Kurt Debattista, and Alan Chalmers. Inverse tone mapping. In 18th Eurographics Symposium on Rendering, pages 321–326, 2006.
  18. Seetzen, H. Li, L. Ye, W. Heidrich, L. Whitehead, and G. Ward. 25.3: Obser- vations of luminance, contrast and amplitude resolution of displays. In SID 06 Digest, pages 1229–1233, 2006.
  19. Akiko Yoshida, Rafał Mantiuk, Karol Myszkowski, and Hans-Peter Seidel. Analysis of reproducing real-world appearance on displays of varying dynamic range. Computer Graphics Forum (Proc. of EUROGRAPHICS), 25(3):415–426, 2006.
  20. Yongqing Huo, Fan Yang and Chao Li, "HDR image generation from LDR image with highlight removal," 2015 IEEE International Conference on Multimedia & Expo Workshops (ICMEW), Turin, 2015, pp. 1-5.
  21. Belen Masia, Gordon Wetzstein, Piotr Didyk, and Diego Gutierrez. A survey on computational displays: Pushing the boundaries of optics, computation, and perception. Computers & Graphics, 37(8):1012 – 1038, 2013.
  22. Laurence Meylan, Scott Daly, and Sabine Susstrunk. The reproduction of spec- ular highlights on high dynamic range displays. In Proc. of the 14th Color Imaging Conference, 2006.
  23. D. Grossberg and S. K. Nayar. 2003. What is the space of camera response functions?. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR ’03)., Vol. 2. II–602–9.
  24. Lvdi Wang, Liyi Wei, Kun Zhou, Baining Guo, and Heung-Yeung Shum. High dynamic range image hallucination. In 18th Eurographics Symposium on Rendering, pages 321–326, 2007.
  25. GABRIEL EILERTSEN, JOEL KRONANDER, GYORGY DENES, RAFAŁK. MANTIUK, JONAS UNGER,HDR image reconstruction from a single exposure using deep CNNs, ACM Transactions on Graphics, Vol. 36, No. 6, Article 178. Publication date: November 2017.
  26. Tunç O. Aydın, Rafał Mantiuk, and Hans-Peter Seidel. Extending quality met- rics to full luminance range images. In Proc. of Human Vision and Electronic Imaging, pages 68060B–10, 2008.
  27. Hugh R. Wilson. A transducer function for threshold and suprathreshold human vision. Biological Cybernetics, 38(3):171–178, 1980.
  28. The visible differences predictor: Analgorithm for the assessment of image fidelity. In Andrew B. Watson, editor, Digital Images and Human Vision, pages 179–206. MIT Press, 1993.
  29. Rafał Mantiuk, KilJoongKim, Allan G.Rempel, and Wolfgang Heidrich. HDR- VDP-2: a calibrated visual metric for visibility and quality predictions in all luminance conditions. ACM Transactions on Graphics (Proc. SIGGRAPH), 30(4):1, 2011.
  30. AV Oppenheim, R.W. Schafer, and T.G. Stockham. Nonlinear filtering of multi- plied and convolved signals. Proceedings of the IEEE, 56(8):1264–1291, 1968.
  31. Frédo Durand and Julie Dorsey. Fast bilateral filtering for the display of high- dynamic-range images. ACM Transactions on Graphics (Proc. SIGGRAPH), 21(3):257–266, 2002.
  32. H.Land and J.J.McCann.Lightness and retinex theory.Journal of the Optical society of America, 61(1):1–11, 1971.
  33. Berthold K.P. Horn. Determining lightness from an image. Computer Graphics and Image Processing, 3(4):277–299, 1974.
  34. Anya Hurlbert. Formal connections between lightness algorithms. Journal of the Optical Society of America A, 3(10):1684, 1986.
  35. Zeev Farbman, Raanan Fattal, Dani Lischinski, and Richard Szeliski. Edge- preserving decompositions for multi-scale tone and detail manipulation. ACM Transactions on Graphics (Proc. SIGGRAPH), 27(3):no. 67, 2008.
  36. Raanan Fattal,Dani Lischinski,and Michael Werman.Gradient domain highdy- namic range compression. ACM Transactions on Graphics (Proc. SIGGRAPH), 21(3):249–256, 2002.
  37. Rafał Mantiuk, Karol Myszkowski, and Hans-Peter Seidel. A perceptual frame- work for contrast processing of high dynamic range images. ACM Transactions on Applied Perception, 3:286–308, 2006.
  38. Reinhard and K. Devlin. Dynamic range reduction inspired by photorecep- tor physiology. IEEE Transactions on Visualization and Computer Graphics, 11(1):13–24, 2005.
  39. Meylan and S. Susstrunk. High dynamic range image rendering with a retinex-based adaptive filter. IEEE Transactions on Image Processing, 15(9):2820–2830, 2006.
  40. H. Van Hateren. Encoding of high dynamic range video with a model of human cones. ACM Transactions on Graphics, 25(4):1380–1399, 2006.
  41. Frédéric Drago, William L. Martens, Karol Myszkowski, and Hans-Peter Sei- del. Perceptual evaluation of tone mapping operators with regard to similarity and preference. Technical Report MPI-I-2002-4-002, Max-Planck-Institut für Informatik, Im Stadtwald 66123 Saarbrücken, Germany, 2002.
  42. TG Stockham Jr. Image processing in the context of a visual model. Proceedings of the IEEE, 60(7):828–842, 1972.
  43. Jiangtao Kuang, Garrett M. Johnson, and Mark D. Fairchild. icam06: A refined image appearance model for HDR image rendering. Journal of Visual Commu- nication and Image Representation, 18(5):406–414, 2007.
  44. Sumanta N. Pattanaik, Jack Tumblin, Hector Yee, and Donald P. Greenberg. Time-dependent visual adaptation for fast realistic image display. In Proc. of SIGGRAPH 2000, pages 47–54, New York, New York, USA, 2000. ACM Press.
  45. Erik Reinhard and Kate Devlin. Dynamic range reduction inspired by photore- ceptor physiology. IEEE Transactions on Visualization and Computer Graphics, 11(1):13–24, 2005.
  46. Erik Reinhard,Tania Pouli,TimoKunkel,BenLong,AndersBallestad,andGer- win Damberg. Calibrated image appearance reproduction. ACM Transactions on Graphics, 31(6):1, 2012.
  47. Spitzer, Y. Karasik, and S. Einav. Biological Gain control for High Dynamic Range Compression. In Proceedings SID Eleventh Color Imaging Conference, pages 42–50, 2003.
  48. Piti Irawan, James A. Ferwerda, and Stephen R. Marschner. Perceptually based tone mapping of high dynamic range image streams. In 16th Eurographics Sym- posium on Rendering, pages 231–242, 2005.
  49. Adam G. Kirk and James F. O’Brien. Perceptually based tone mapping for low- light conditions. ACM Transactions on Graphics (Proc. SIGGRAPH), 30(4):42, 2011.
  50. Sumanta N. Pattanaik, James A. Ferwerda, Mark D. Fairchild, and Donald P. Greenberg. A multiscale model of adaptation and spatial vision for realistic image display. In Siggraph 1998, Computer Graphics Proceedings, pages 287– 298, 1998.
  51. Sumanta N. Pattanaik, Jack E. Tumblin, Hector Yee, and Donald P. Greenberg. Time-dependent visual adaptation for fast realistic image display. In Proc. of ACM SIGGRAPH 2000, pages 47–54, 2000. ISBN 1-58113-208-5.
  52. Erik Reinhard, Tania Pouli, Timo Kunkel,Ben Long, Anders Ballestad, and Ger- win Damberg. Calibrated image appearance reproduction. ACM Transactions on Graphics, 31(6):1, 2012.
  53. Jack Tumblin and Holly E. Rushmeier. Tone reproduction for realistic images. IEEE Computer Graphics and Applications, 13(6):42–48, 1993.
  54. Robert Wanat and Rafał Mantiuk. Simulating and compensating changes in appearance between day and night vision. Transactions on Graphics (Proc. of SIGGRAPH), 33(4):147, 2014.
  55. Jack Tumblin and Holly E. Rushmeier. Tone reproduction for realistic images. IEEE Computer Graphics and Applications, 13(6):42–48, 1993.
  56. Ward, H. Rushmeier, and C. Piatko. A visibility matching tone reproduction operator for high dynamic range scenes. IEEE Transactions on Visualization and Computer Graphics, 3(4):291–306, 1997.
  57. Mantiuk, S. Daly, and L. Kerofsky. Display adaptive tone mapping. ACM Transactions on Graphics (Proc. SIGGRAPH), 27(3):68, 2008.
  58. Zicong Mai, Hassan Mansour, Rafał Mantiuk, Panos Nasiopoulos, Rabab Ward, and Wolfgang Heidrich. Optimizing a tone curve for backward-compatible high dynamic range image and video compression. IEEE Transactions on Image Processing, 20(6):1558–1571, 2011.