留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于柯西分布的单幅图像深度估计

明英 蒋晶珏 明星

明英, 蒋晶珏, 明星. 基于柯西分布的单幅图像深度估计[J]. 武汉大学学报 ● 信息科学版, 2016, 41(6): 838-841. doi: 10.13203/j.whugis20140580
引用本文: 明英, 蒋晶珏, 明星. 基于柯西分布的单幅图像深度估计[J]. 武汉大学学报 ● 信息科学版, 2016, 41(6): 838-841. doi: 10.13203/j.whugis20140580
MING Ying, JIANG Jingjue, MING Xing. Cauchy Distribution Based Depth Map Estimation from a Single Image[J]. Geomatics and Information Science of Wuhan University, 2016, 41(6): 838-841. doi: 10.13203/j.whugis20140580
Citation: MING Ying, JIANG Jingjue, MING Xing. Cauchy Distribution Based Depth Map Estimation from a Single Image[J]. Geomatics and Information Science of Wuhan University, 2016, 41(6): 838-841. doi: 10.13203/j.whugis20140580

基于柯西分布的单幅图像深度估计

doi: 10.13203/j.whugis20140580
基金项目: 

中央高校青-教师资助计划 3101017

详细信息
    作者简介:

    明英, 博士, 副教授,主要从事智能视觉及三维重建研究。whumike@foxmail.com

  • 中图分类号: P237.3;TP751;TP391.4

Cauchy Distribution Based Depth Map Estimation from a Single Image

Funds: 

The Young Teacher Project of the Central Universities 3101017

More Information
    Author Bio:

    MING Ying, PhD, associate professor, specializes in intelligent vision and 3D reconstruction.。 whumike@foxmail.com

  • 摘要: 单幅图像深度估计是目前计算机视觉和计算机图形学中的一个挑战性问题。基于柯西分布的点扩散函数模型(point spread function,PSF),给出了一种以计算物体图像边沿散焦模糊量实现单幅图像场景深度估计的方法。将原始散焦图像分别用两个柯西分布核重新模糊,用两模糊图像的梯度比值计算边沿散焦模糊量,得到稀疏深度估计,再通过内插方法取得场景的全深度估计。多种真实场景图像的实验结果表明,本方法能够从非标定单幅散焦图像中较好地估计场景深度,且对图像噪声、边沿误差和邻近边沿的干扰具有较好的鲁棒性,综合性能优于现有基于高斯PSF模型的方法;同时,验证了也可用非高斯模型建模PSF。
  • 图  1  柯西分布与高斯分布

    Figure  1.  Cauchy Distribution and Gaussian Distribution

    图  2  本文模糊估计方法(黑色虚线为边沿位置)

    Figure  2.  Overview of Our Blur Estimation Approach (Black Dash Line=Edge Loction)

    图  3  由本文方法生成的White Flower图像深度

    Figure  3.  White Flower Image’s Depth Map Generated by the Proposed Method

    图  4  本文算法与Zhou、Fang等人方法的比较

    Figure  4.  Comparison of the Proposed Method with Zhou’s and Fang’s Methods

    图  5  本文算法与Zhou的方法[3]在不同场景的比较

    Figure  5.  Comparison of the Proposed Method with Zhou’s Method

  • [1] Ens J, Lawrence P. An Investigation of Methods for Determining Depth from Focus[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1993, 15(2):97-108
    [2] Pentland A P. A New Sense for Depth of Field[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 1987, 9(4):523-531
    [3] Zhuo S, Sim T. Recovering Depth from a Single Defocused Image[J]. Pattern Recognition, 2011, 44(9):1852-1858
    [4] Moreno-Noguer F, Belhumeur P N, Nayar S K. Active Refocusing of Images and Videos[J]. ACM Trans Graphics, 2007, 26(3):67-75
    [5] Levin A, Fergus R, Durand F, et al. Image and Depth from a Conventional Camera with a Coded Aperture[C]. ACM SIGGRAPH, San Diego, 2007
    [6] Veeraraghavan A, Raskar R, Agrawal A, et al. Dappled Photography:Mask Enhanced Cameras for Heterodyned Light Fields and Coded Aperture Refocusing[C]. ACM SIGGRAPH, San Diego, 2007
    [7] Lee S, Lee J, Hayes M H, et al. Single Camera-based Full Depth Map Estimation Using Color Shifting Property of a Multiple Color-Filter Aperture[C]. ICASSP, Kyoto, Japan, 2012
    [8] Namboodiri V P, Chaudhuri S. Recovery of Relative Depth from a Single Observation Using an Uncalibrated (Real-Aperture) Camera[C]. IEEE Conference on Computer Vision and Pattern Recognition, Alaska, 2008
    [9] Fang S, Qin T, Cao Y, et al. Depth Recovery from a Single Defocused Image Based on Depth Locally Consistency[C]. The 5th International Conference on Internet Multimedia Computing and Service, Huangshan, China, 2013
    [10] Subbarao M, Gurumoorthy N. Depth Recovery from Blurred Edges[C]. Computer Society Conference on Computer Vision and Pattern Recognition, Michigan, 1988
    [11] 明英,蒋晶珏.视频序列图像中运动目标检测与阴影去除[J].武汉大学学报·信息科学版,2008,33(12):1216-1220

    Ming Ying, Jiang Jingjue. Moving Objects Detection and Shadows Elimination for Video Sequence[J]. Geomatics and Information Science of Wuhan University, 2008, 33(12):1216-1220
  • [1] 陈涛, 钟子颖, 牛瑞卿, 刘桐, 陈胜云.  利用深度信念网络进行滑坡易发性评价 . 武汉大学学报 ● 信息科学版, 2020, 45(11): 1809-1817. doi: 10.13203/j.whugis20190144
    [2] 张立强, 李洋, 侯正阳, 李新港, 耿昊, 王跃宾, 李景文, 朱盼盼, 梅杰, 姜颜笑, 李帅朋, 辛奇, 崔颖, 刘素红.  深度学习与遥感数据分析 . 武汉大学学报 ● 信息科学版, 2020, 45(12): 1857-1864. doi: 10.13203/j.whugis20200650
    [3] 何慧优, 方剑, 陈铭, 崔荣花.  利用重力数据反演中国东海海域莫霍面深度 . 武汉大学学报 ● 信息科学版, 2019, 44(5): 682-689. doi: 10.13203/j.whugis20170330
    [4] 赵建虎, 吴敬文, 赵兴磊, 周丰年.  一种改进的机载激光测深深度偏差模型 . 武汉大学学报 ● 信息科学版, 2019, 44(3): 328-333. doi: 10.13203/j.whugis20160481
    [5] 胡涛, 朱欣焰, 呙维, 张发明.  融合颜色和深度信息的运动目标提取方法 . 武汉大学学报 ● 信息科学版, 2019, 44(2): 276-282. doi: 10.13203/j.whugis20160535
    [6] 潘银, 邵振峰, 程涛, 贺蔚.  利用深度学习模型进行城市内涝影响分析 . 武汉大学学报 ● 信息科学版, 2019, 44(1): 132-138. doi: 10.13203/j.whugis20170217
    [7] 庞小平, 刘清全, 季青.  北极一年海冰表面积雪深度遥感反演与时序分析 . 武汉大学学报 ● 信息科学版, 2018, 43(7): 971-977. doi: 10.13203/j.whugis20160259
    [8] 宋爽, 陈驰, 杨必胜, 李清泉.  低成本大视场深度相机阵列系统 . 武汉大学学报 ● 信息科学版, 2018, 43(9): 1391-1398. doi: 10.13203/j.whugis20160397
    [9] 潘雄, 罗静, 刘衍宏, 韦忠扬, 徐景田.  基于矩估计法的P范分布参数估计 . 武汉大学学报 ● 信息科学版, 2017, 42(4): 563-568. doi: 10.13203/j.whugis20140968
    [10] 何立新, 孔斌, 杨静.  单目图像内静态物体深度的自动测量方法 . 武汉大学学报 ● 信息科学版, 2016, 41(5): 635-641. doi: 10.13203/j.whugis20140656
    [11] 樊恒, 徐俊, 邓勇, 向金海.  基于深度学习的人体行为识别 . 武汉大学学报 ● 信息科学版, 2016, 41(4): 492-497. doi: 10.13203/j.whugis20140110
    [12] 刘金钊, 柳林涛, 梁星辉, 叶周润, 李红蕾.  重力梯度特征向量和多尺度分析法在密度异常深度探测中的应用 . 武汉大学学报 ● 信息科学版, 2016, 41(3): 322-330. doi: 10.13203/j.whugis20140235
    [13] 薛树强, 杨元喜.  抗差高斯-雅克比组合平差法 . 武汉大学学报 ● 信息科学版, 2015, 40(7): 932-937. doi: 10.13203/j.whugis20130247
    [14] 柯灝, 张红梅, 鄂栋臣, 赵建虎, 王胜平.  利用调和常数内插的局域无缝深度基准面构建方法 . 武汉大学学报 ● 信息科学版, 2014, 39(5): 616-620. doi: 10.13203/j.whugis20120201
    [15] 周曲, 颜国正, 王文兴, 徐金馗.  基于倒谱分析的散焦模糊图像参数识别 . 武汉大学学报 ● 信息科学版, 2008, 33(3): 318-321.
    [16] 明英, 蒋晶珏.  视频序列图像中运动目标检测与阴影去除 . 武汉大学学报 ● 信息科学版, 2008, 33(12): 1216-1220.
    [17] 柯小平, 王勇, 许厚泽.  用变密度模型反演青藏高原的莫霍面深度 . 武汉大学学报 ● 信息科学版, 2006, 31(4): 289-292.
    [18] 暴景阳, 刘雁春, 晁定波, 肖付民.  中国沿岸主要验潮站海图深度基准面的计算与分析 . 武汉大学学报 ● 信息科学版, 2006, 31(3): 224-228.
    [19] 郑建生, 罗军, 黄建忠, 胡志雄.  石油测井光电编码器深度测量系统 . 武汉大学学报 ● 信息科学版, 1998, 23(1): 67-69.
    [20] 郑建生, 林宗坚, 袁宇正, 黄建忠.  石油测井深度定位测量系统 . 武汉大学学报 ● 信息科学版, 1997, 22(2): 166-168.
  • 加载中
图(5)
计量
  • 文章访问数:  2160
  • HTML全文浏览量:  67
  • PDF下载量:  443
  • 被引次数: 0
出版历程
  • 收稿日期:  2015-04-12
  • 刊出日期:  2016-06-05

基于柯西分布的单幅图像深度估计

doi: 10.13203/j.whugis20140580
    基金项目:

    中央高校青-教师资助计划 3101017

    作者简介:

    明英, 博士, 副教授,主要从事智能视觉及三维重建研究。whumike@foxmail.com

  • 中图分类号: P237.3;TP751;TP391.4

摘要: 单幅图像深度估计是目前计算机视觉和计算机图形学中的一个挑战性问题。基于柯西分布的点扩散函数模型(point spread function,PSF),给出了一种以计算物体图像边沿散焦模糊量实现单幅图像场景深度估计的方法。将原始散焦图像分别用两个柯西分布核重新模糊,用两模糊图像的梯度比值计算边沿散焦模糊量,得到稀疏深度估计,再通过内插方法取得场景的全深度估计。多种真实场景图像的实验结果表明,本方法能够从非标定单幅散焦图像中较好地估计场景深度,且对图像噪声、边沿误差和邻近边沿的干扰具有较好的鲁棒性,综合性能优于现有基于高斯PSF模型的方法;同时,验证了也可用非高斯模型建模PSF。

English Abstract

明英, 蒋晶珏, 明星. 基于柯西分布的单幅图像深度估计[J]. 武汉大学学报 ● 信息科学版, 2016, 41(6): 838-841. doi: 10.13203/j.whugis20140580
引用本文: 明英, 蒋晶珏, 明星. 基于柯西分布的单幅图像深度估计[J]. 武汉大学学报 ● 信息科学版, 2016, 41(6): 838-841. doi: 10.13203/j.whugis20140580
MING Ying, JIANG Jingjue, MING Xing. Cauchy Distribution Based Depth Map Estimation from a Single Image[J]. Geomatics and Information Science of Wuhan University, 2016, 41(6): 838-841. doi: 10.13203/j.whugis20140580
Citation: MING Ying, JIANG Jingjue, MING Xing. Cauchy Distribution Based Depth Map Estimation from a Single Image[J]. Geomatics and Information Science of Wuhan University, 2016, 41(6): 838-841. doi: 10.13203/j.whugis20140580
  • 深度估计是计算机视觉和计算机图形学中的重要问题,广泛存在于机器人视觉、智能视觉监视和智能驾驶辅助系统等领域,目前有立体视觉法、运动结构法(structure from motion,SFM)、聚焦深度法(depth from focus,DFF)和散焦深度法(depth from defocus,DFD)等解决方法[1-3]。立体视觉法需面对特征提取和匹配问题,适于静态图像。SFM也是通过特征匹配来获得3D运动和场景深度。DFF用单相机的多种聚焦参数图像集估计深度[1],但需要多图像支持,难以实时应用。传统DFD[2]认为散焦图像的模糊量与场景深度相关,模糊图像可以建模成清晰图像与点扩散函数的卷积,可用单相机不同散焦程度的两幅模糊图像估计场景深度。DFD去除了DFF的多图像约束,也回避了双(多)目立体视觉的特征匹配难点,受到国内外学者的关注。

    单幅DFD是传统DFD的新发展,是当前极具挑战性的研究热点,主要有主动光照法(active illumination methods,AIM)[4]、编码孔径散焦深度法(coded-aperture depth-from defocus,CDDFD)[5-7]和边沿模糊量DFD[8]。主动光照法将投射在场景中的稀疏网格点图像与标定图像比较,计算散焦模糊量,估计场景深度。文献[5-7]则是在相机镜头中插入编码的形状或多色滤片等特定模式的光学器具,控制由散焦引起的光学模糊,使场景图像块在不同的深度呈现可区分的统计空间结构。估计的精度较高,但需要特制镜头,且传感器输出的是一种调制图像。

    边沿模糊量DFD则无需改装相机,利用点扩散函数(point spread function,PSF)模型,计算图像边沿散焦模糊量来估计深度[3]。如Namboodiri等将PSF建模成一个热扩散过程,用不均匀逆热传导方程估计全场景深度[8]。Zhou等将PSF用2D 高斯建模,用原图像和高斯再模糊图像边沿梯度比值实现深度估计[3]。Fang等则采用与Zhou等人相同的PSF,假设局部深度连续,获得全深度估计[9]

    本文研究非标定普通相机单幅散焦图像深度估计问题。在文献[3, 10]的启发下,本文用2D柯西分布核建模PSF,用两个2D 柯西分布分别再模糊原图像,从二者梯度比值计算图像边沿模糊量,以内插方法获得全深度图。实验结果表明,本方法优于基于高斯PSF方法。

    • 假设图像按普通薄透镜模型成像,df是清晰成像物距,d是模糊成像物距。ddf、镜头参数及描述模糊量的模糊圈直径c的关系为[3]:

      (1)

      式中,f0N分别是镜头的焦距和光圈数。显然,cd的一个非线性单调增函数。

      本文边沿采用理想阶跃边沿模型[3],即:

      (2)

      式中,u(x)是单位阶跃函数;A和B分别是幅度值和偏移量;x=0时为边沿。

      文献[2]用一个标准偏差为σ的高斯函数g(x,σ)建模PSF,且σ=k·c,k为常数,以σ度量模糊量和场景深度(物距)d。由DFD原理[2],模糊边沿i(x)表示为:

      图  1  柯西分布与高斯分布

      Figure 1.  Cauchy Distribution and Gaussian Distribution

      (3)

      文献[10]指出,PSF仅须旋转对称,可用非高斯模型。鉴于柯西分布的特点(见图 1)及作者前期工作[11],用一个2D 柯西分布建模PSF,以柯西分布的尺度参数σ(与高斯标准偏差σ的作用相同)度量场景深度,则i(x)变为:

      (4)

      其中,c(x,y,x0,y0,σ)= x0y0是位置参数,本文中取边沿处,即x0y0皆取0。

    • 本文方法估计图像边沿模糊量的过程如图 2所示。

      图  2  本文模糊估计方法(黑色虚线为边沿位置)

      Figure 2.  Overview of Our Blur Estimation Approach (Black Dash Line=Edge Loction)

      为了方便论述,本文先介绍对1D时的模糊估计,然后扩展到2D。两次再模糊处理后,图像中边沿梯度分别为:

      (5)

      同理,

      其中,σ是原图像柯西分布未知的尺度参数;σ1和σ2分别是两次再模糊柯西分布函数的尺度参数,称为再模糊尺度。二者的柯西分布梯度比值R为:

      (6)

      可以证明,R的最大值在边沿处(x=0),其最大值为:

      (7)

      式中,σ1、σ2已知。给定最大值R,则σ为:

      (8)

      2D图像的模糊估计与1D情况类似,梯度幅度为:

      (9)

      其中,∇ix和∇iy分别是沿x和y方向的梯度。

    • 完成边沿模糊量计算后,得到一个场景的稀疏深度估计d^(x),如图 3(d)所示。将d^(x)向其他区域扩展获得场景全深度估计d(x),如图 3(e)所示。为了与Zhou等的方法[3]比较,本文采用深度内插方法计算其他区域的深度估计。详细扩展过程请参见文献[3]

      图  3  由本文方法生成的White Flower图像深度

      Figure 3.  White Flower Image’s Depth Map Generated by the Proposed Method

    • 用6种数据测试本文方法,并与Zhou[3]、Fang[9]的方法进行比较。在实验中,σ1=1,σ2=2,λ[3]在0.000 1~0.01间取值,深度层次取3。

      图 3是本文方法处理White Flower图像的中间及最终结果。图 3中颜色由蓝到红,代表数值由小到大,也表示距离由近到远(以下相同)。White Flower图像的聚焦点在最下方的白色花瓣上。深度从近及远,依次从图像底部到上部,由花朵到其下方的绿叶区域连续变化。

      图 4(Pumpkin图像)中,本文方法与Zhou[3]、Fang[9]的方法进行了比较。图 4(a)中,场景深度从图像的底部到顶部连续变化。其中,Zhou的结果是灰度图,灰度颜色由黑(近)到白(远);Fang和本文方法的结果是彩色图。三种方法都生成了合理的分层深度图,但Zhou在场景中部左侧南瓜蒂处有明显的误差。Fang消除了此处的误差,但物体形状模糊,深度层次变化不精细。本文方法给出了包括物体形状的场景深度层次连续精细变化,具有更高的深度分辨力。

      图  4  本文算法与Zhou、Fang等人方法的比较

      Figure 4.  Comparison of the Proposed Method with Zhou’s and Fang’s Methods

      图 5中,分别用Building、Yellow Flower、Bird和Boy图像(从上至下)比较了本文方法和Zhou的方法[3]。在Building中,本文方法很好地识别了最近的墙,中间的建筑及树木和最远的天空,特别是天空层更优于Zhou的方法。在Yellow Flower中,本文方法将黄色花瓣和枝干与背景的草地和树木分离,深度层次更分明,且左右侧山坡的深度差别也有区分。在Zhou的结果中,部分黄色花瓣和全部的枝干未同草地层分离,山坡层则有较多误差。Bird和Boy的结果,本文方法也好于Zhou的方法。

      图  5  本文算法与Zhou的方法[3]在不同场景的比较

      Figure 5.  Comparison of the Proposed Method with Zhou’s Method

    • 实验结果表明,利用柯西分布梯度比值计算边沿模糊量的柯西分布PSF模型方法,能够从非标定单幅散焦图像中产生准确、细致表达深度层细节变化的深度估计。本文方法对噪声、边沿位置误差和邻近边沿的干扰具有较好的抗干扰能力,性能优于现有的基于高斯PSF模型方法。同时,也证明了用非高斯模型建模PSF的有效性。

      在下一步的研究中,我们将尝试将本文方法用于运动模糊图像的深度估计中。

参考文献 (11)

目录

    /

    返回文章
    返回