下载:
-
深度估计是计算机视觉和计算机图形学中的重要问题,广泛存在于机器人视觉、智能视觉监视和智能驾驶辅助系统等领域,目前有立体视觉法、运动结构法(structure from motion,SFM)、聚焦深度法(depth from focus,DFF)和散焦深度法(depth from defocus,DFD)等解决方法[1-3]。立体视觉法需面对特征提取和匹配问题,适于静态图像。SFM也是通过特征匹配来获得3D运动和场景深度。DFF用单相机的多种聚焦参数图像集估计深度[1],但需要多图像支持,难以实时应用。传统DFD[2]认为散焦图像的模糊量与场景深度相关,模糊图像可以建模成清晰图像与点扩散函数的卷积,可用单相机不同散焦程度的两幅模糊图像估计场景深度。DFD去除了DFF的多图像约束,也回避了双(多)目立体视觉的特征匹配难点,受到国内外学者的关注。
单幅DFD是传统DFD的新发展,是当前极具挑战性的研究热点,主要有主动光照法(active illumination methods,AIM)[4]、编码孔径散焦深度法(coded-aperture depth-from defocus,CDDFD)[5-7]和边沿模糊量DFD[8]。主动光照法将投射在场景中的稀疏网格点图像与标定图像比较,计算散焦模糊量,估计场景深度。文献[5-7]则是在相机镜头中插入编码的形状或多色滤片等特定模式的光学器具,控制由散焦引起的光学模糊,使场景图像块在不同的深度呈现可区分的统计空间结构。估计的精度较高,但需要特制镜头,且传感器输出的是一种调制图像。
边沿模糊量DFD则无需改装相机,利用点扩散函数(point spread function,PSF)模型,计算图像边沿散焦模糊量来估计深度[3]。如Namboodiri等将PSF建模成一个热扩散过程,用不均匀逆热传导方程估计全场景深度[8]。Zhou等将PSF用2D 高斯建模,用原图像和高斯再模糊图像边沿梯度比值实现深度估计[3]。Fang等则采用与Zhou等人相同的PSF,假设局部深度连续,获得全深度估计[9]。
本文研究非标定普通相机单幅散焦图像深度估计问题。在文献[3, 10]的启发下,本文用2D柯西分布核建模PSF,用两个2D 柯西分布分别再模糊原图像,从二者梯度比值计算图像边沿模糊量,以内插方法获得全深度图。实验结果表明,本方法优于基于高斯PSF方法。
-
假设图像按普通薄透镜模型成像,df是清晰成像物距,d是模糊成像物距。d与df、镜头参数及描述模糊量的模糊圈直径c的关系为[3]:
(1) 式中,f0和N分别是镜头的焦距和光圈数。显然,c是d的一个非线性单调增函数。
本文边沿采用理想阶跃边沿模型[3],即:
(2) 式中,u(x)是单位阶跃函数;A和B分别是幅度值和偏移量;x=0时为边沿。
文献[2]用一个标准偏差为σ的高斯函数g(x,σ)建模PSF,且σ=k·c,k为常数,以σ度量模糊量和场景深度(物距)d。由DFD原理[2],模糊边沿i(x)表示为:
图 1 柯西分布与高斯分布
Figure 1. Cauchy Distribution and Gaussian Distribution
(3) 文献[10]指出,PSF仅须旋转对称,可用非高斯模型。鉴于柯西分布的特点(见图 1)及作者前期工作[11],用一个2D 柯西分布建模PSF,以柯西分布的尺度参数σ(与高斯标准偏差σ的作用相同)度量场景深度,则i(x)变为:
(4) 其中,c(x,y,x0,y0,σ)=
-
本文方法估计图像边沿模糊量的过程如图 2所示。
图 2 本文模糊估计方法(黑色虚线为边沿位置)
Figure 2. Overview of Our Blur Estimation Approach (Black Dash Line=Edge Loction)
为了方便论述,本文先介绍对1D时的模糊估计,然后扩展到2D。两次再模糊处理后,图像中边沿梯度分别为:
(5) 同理,
其中,σ是原图像柯西分布未知的尺度参数;σ1和σ2分别是两次再模糊柯西分布函数的尺度参数,称为再模糊尺度。二者的柯西分布梯度比值R为:
(6) 可以证明,R的最大值在边沿处(x=0),其最大值为:
(7) 式中,σ1、σ2已知。给定最大值R,则σ为:
(8) 2D图像的模糊估计与1D情况类似,梯度幅度为:
(9) 其中,∇ix和∇iy分别是沿x和y方向的梯度。
-
用6种数据测试本文方法,并与Zhou[3]、Fang[9]的方法进行比较。在实验中,σ1=1,σ2=2,λ[3]在0.000 1~0.01间取值,深度层次取3。
图 3是本文方法处理White Flower图像的中间及最终结果。图 3中颜色由蓝到红,代表数值由小到大,也表示距离由近到远(以下相同)。White Flower图像的聚焦点在最下方的白色花瓣上。深度从近及远,依次从图像底部到上部,由花朵到其下方的绿叶区域连续变化。
在图 4(Pumpkin图像)中,本文方法与Zhou[3]、Fang[9]的方法进行了比较。图 4(a)中,场景深度从图像的底部到顶部连续变化。其中,Zhou的结果是灰度图,灰度颜色由黑(近)到白(远);Fang和本文方法的结果是彩色图。三种方法都生成了合理的分层深度图,但Zhou在场景中部左侧南瓜蒂处有明显的误差。Fang消除了此处的误差,但物体形状模糊,深度层次变化不精细。本文方法给出了包括物体形状的场景深度层次连续精细变化,具有更高的深度分辨力。
图 4 本文算法与Zhou、Fang等人方法的比较
Figure 4. Comparison of the Proposed Method with Zhou’s and Fang’s Methods
在图 5中,分别用Building、Yellow Flower、Bird和Boy图像(从上至下)比较了本文方法和Zhou的方法[3]。在Building中,本文方法很好地识别了最近的墙,中间的建筑及树木和最远的天空,特别是天空层更优于Zhou的方法。在Yellow Flower中,本文方法将黄色花瓣和枝干与背景的草地和树木分离,深度层次更分明,且左右侧山坡的深度差别也有区分。在Zhou的结果中,部分黄色花瓣和全部的枝干未同草地层分离,山坡层则有较多误差。Bird和Boy的结果,本文方法也好于Zhou的方法。
图 5 本文算法与Zhou的方法[3]在不同场景的比较
Figure 5. Comparison of the Proposed Method with Zhou’s Method
-
实验结果表明,利用柯西分布梯度比值计算边沿模糊量的柯西分布PSF模型方法,能够从非标定单幅散焦图像中产生准确、细致表达深度层细节变化的深度估计。本文方法对噪声、边沿位置误差和邻近边沿的干扰具有较好的抗干扰能力,性能优于现有的基于高斯PSF模型方法。同时,也证明了用非高斯模型建模PSF的有效性。
在下一步的研究中,我们将尝试将本文方法用于运动模糊图像的深度估计中。
-
摘要: 单幅图像深度估计是目前计算机视觉和计算机图形学中的一个挑战性问题。基于柯西分布的点扩散函数模型(point spread function,PSF),给出了一种以计算物体图像边沿散焦模糊量实现单幅图像场景深度估计的方法。将原始散焦图像分别用两个柯西分布核重新模糊,用两模糊图像的梯度比值计算边沿散焦模糊量,得到稀疏深度估计,再通过内插方法取得场景的全深度估计。多种真实场景图像的实验结果表明,本方法能够从非标定单幅散焦图像中较好地估计场景深度,且对图像噪声、边沿误差和邻近边沿的干扰具有较好的鲁棒性,综合性能优于现有基于高斯PSF模型的方法;同时,验证了也可用非高斯模型建模PSF。Abstract: Scene depth estimation from a single image is a challenging problem in the field of computer vision and computer graphics. We present an approach to estimate the amount of defocus blur at edges based on the Cauchy distribution model for the DSF (points spread function). The input image was re-blurred twice respectively using two Cauchy distribution kernels, and the amount of defocus blur at the edges was obtained by the two scale parameters and the ratio between the gradients of the two re-blurred images. By propagating the blur amount at edges to the entire image, a full depth map was obtained. Experimental results on several real images demonstrate the effectiveness of our method in providing reliable depth estimation. Our method is robust to image noise, inaccurate edge location, and interference from neighboring edges, and its performance is better than existing methods based on a Gaussian DSF model. The results verify that a non-Gaussian model for DSF is feasible.
-
Key words:
- depth estimation /
- depth from defocus /
- defocus blur /
- Gaussian gradient /
- Cauchy distribution
-
图 2 本文模糊估计方法(黑色虚线为边沿位置)
Figure 2. Overview of Our Blur Estimation Approach (Black Dash Line=Edge Loction)
图 3 由本文方法生成的White Flower图像深度
Figure 3. White Flower Image’s Depth Map Generated by the Proposed Method
图 4 本文算法与Zhou、Fang等人方法的比较
Figure 4. Comparison of the Proposed Method with Zhou’s and Fang’s Methods
-
[1] Ens J, Lawrence P. An Investigation of Methods for Determining Depth from Focus[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1993, 15(2):97-108 [2] Pentland A P. A New Sense for Depth of Field[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 1987, 9(4):523-531 [3] Zhuo S, Sim T. Recovering Depth from a Single Defocused Image[J]. Pattern Recognition, 2011, 44(9):1852-1858 [4] Moreno-Noguer F, Belhumeur P N, Nayar S K. Active Refocusing of Images and Videos[J]. ACM Trans Graphics, 2007, 26(3):67-75 [5] Levin A, Fergus R, Durand F, et al. Image and Depth from a Conventional Camera with a Coded Aperture[C]. ACM SIGGRAPH, San Diego, 2007 [6] Veeraraghavan A, Raskar R, Agrawal A, et al. Dappled Photography:Mask Enhanced Cameras for Heterodyned Light Fields and Coded Aperture Refocusing[C]. ACM SIGGRAPH, San Diego, 2007 [7] Lee S, Lee J, Hayes M H, et al. Single Camera-based Full Depth Map Estimation Using Color Shifting Property of a Multiple Color-Filter Aperture[C]. ICASSP, Kyoto, Japan, 2012 [8] Namboodiri V P, Chaudhuri S. Recovery of Relative Depth from a Single Observation Using an Uncalibrated (Real-Aperture) Camera[C]. IEEE Conference on Computer Vision and Pattern Recognition, Alaska, 2008 [9] Fang S, Qin T, Cao Y, et al. Depth Recovery from a Single Defocused Image Based on Depth Locally Consistency[C]. The 5th International Conference on Internet Multimedia Computing and Service, Huangshan, China, 2013 [10] Subbarao M, Gurumoorthy N. Depth Recovery from Blurred Edges[C]. Computer Society Conference on Computer Vision and Pattern Recognition, Michigan, 1988 [11] 明英,蒋晶珏.视频序列图像中运动目标检测与阴影去除[J].武汉大学学报·信息科学版,2008,33(12):1216-1220 Ming Ying, Jiang Jingjue. Moving Objects Detection and Shadows Elimination for Video Sequence[J]. Geomatics and Information Science of Wuhan University, 2008, 33(12):1216-1220 -
点击查看大图
图(5)
计量
- 文章访问数: 2160
- HTML全文浏览量: 67
- PDF下载量: 443
- 被引次数: 0
