留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

利用人脸3DMM重构信息检测深度伪脸视频

胡永健 佘惠敏 刘琲贝 陈香全 刘光尧

胡永健, 佘惠敏, 刘琲贝, 陈香全, 刘光尧. 利用人脸3DMM重构信息检测深度伪脸视频[J]. 武汉大学学报 ● 信息科学版. doi: 10.13203/j.whugis20210427
引用本文: 胡永健, 佘惠敏, 刘琲贝, 陈香全, 刘光尧. 利用人脸3DMM重构信息检测深度伪脸视频[J]. 武汉大学学报 ● 信息科学版. doi: 10.13203/j.whugis20210427
HU Yongjian, SHE Huimin, LIU Beibei, CHEN Xiangquan, LIU Guangyao. Deepfake Video Detection Using 3DMM Facial Reconstruction Information[J]. Geomatics and Information Science of Wuhan University. doi: 10.13203/j.whugis20210427
Citation: HU Yongjian, SHE Huimin, LIU Beibei, CHEN Xiangquan, LIU Guangyao. Deepfake Video Detection Using 3DMM Facial Reconstruction Information[J]. Geomatics and Information Science of Wuhan University. doi: 10.13203/j.whugis20210427

利用人脸3DMM重构信息检测深度伪脸视频

doi: 10.13203/j.whugis20210427
基金项目: 

国家重点研发计划项目(2019QY2202),广州开发区国际合作项目(2019GH16)和中新国际联合研究院项目(206-A018001)资助。

详细信息
    作者简介:

    胡永健,博士,教授,主要从事多媒体信息安全、图像处理及人工智能研究。eeyjhu@scut.edu.cn

  • 中图分类号: TN911.73

Deepfake Video Detection Using 3DMM Facial Reconstruction Information

Funds: 

National Key Research and Development Project(Grant 2019QY2202),Science and Technology Foundation of Guangzhou Huangpu Development District (Grant 2019GH16) and ChinaSingapore International Joint Research Institute (Grant 206-A018001)

  • 摘要: 该文提出一种基于人脸三维形变模型(3D Morphable Model,3DMM)的深度伪脸视频检测算法,利用3DMM强大的人脸形状、纹理、表情和姿态参数估算能力,逐帧获取鉴伪基本信息。设计面部行为特征提取模块和静态外貌特征计算模块,以滑动窗为单位,在时间轴上分别从表情和姿态参数提取人物的面部行为特征,从形状和纹理参数计算人物的静态外貌特征。鉴伪过程利用人物外貌特征与面部行为特征的一致性来完成。所提出的算法人物针对性强,可解释性好。与同类算法相比,半总错误率更低,抗视频压缩能力更好,计算更加简便。
  • [1] Haliassos A, Vougioukas K, Petridis S, et al.Lips don't lie:A generalisable and robust approach to face forgery detection[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Nashville, TN, USA:5037-5047
    [2] Yang X, Li Y Z, Lyu S W.Exposing deep fakes using inconsistent head poses[C]//ICASSP 2019-2019 IEEE International Conference on Acoustics, Speech and Signal Processing.Brighton, UK:8261-8265
    [3] Li M, Liu B B, Hu Y J, et al.Exposing deepfake videos by tracking eye movements[C]//202025th International Conference on Pattern Recognition (ICPR).Milan, Italy:5184-5189
    [4] Li M, Liu B B, Hu Y J, et al.Deepfake detection using robust spatial and temporal features from facial landmarks[C]//2021 IEEE International Workshop on Biometrics and Forensics.Rome, Italy:1-6
    [5] Li Y Z, Lyu S W.Exposing DeepFake Videos by Detecting Face Warping Artifacts[EB/OL].2018:arXiv:1811.00656.https://arxiv.org/abs/1811.00656
    [6] Dang H, Liu F, Stehouwer J, et al.On the detection of digital face manipulation[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Seattle, WA, USA:5780-5789
    [7] Li Y Z, Yang X, Sun P, et al.Celeb-DF:A large-scale challenging dataset for DeepFake forensics[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Seattle, WA, USA:3204-3213
    [8] Agarwal S, Farid H, Gu Y, et al.Protecting World Leaders Against Deep Fakes[C]//IEEE Conference on Computer Vision&Pattern Recognition Workshops, 2019
    [9] Agarwal S, Farid H, El-Gaaly T, et al.Detecting deep-fake videos from appearance and behavior[C]//2020 IEEE International Workshop on Information Forensics and Security.New York, NY, USA:1-6
    [10] Blanz V, Vetter T.A Morphable Model for the Synthesis of 3D Faces[C]//Proceedings of the 26th annual conference on Computer graphics and interactive techniques.1999:187-194
    [11] Paysan P, Knothe R, Amberg B, et al.A 3D face model for pose and illumination invariant face recognition[C]//2009 Sixth IEEE International Conference on Advanced Video and Signal Based Surveillance.Genova, Italy:296-301
    [12] Cao C, Weng Y L, Zhou S, et al.FaceWarehouse:A 3D Facial Expression Database for Visual Computing[J].IEEE Transactions on Visualization and Computer Graphics, 2014, 20(3):413-425
    [13] Deng Y, Yang J L, Xu S C, et al.Accurate 3D face reconstruction with weakly-supervised learning:From single image to image set[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW).Long Beach, CA, USA.:285-295
    [14] He K M, Zhang X Y, Ren S Q, et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas, NV, USA:770-778
    [15] Wang X, Han X T, Huang W L, et al.Multi-similarity loss with general pair weighting for deep metric learning[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Long Beach, CA, USA:5017-5025
    [16] Deng J K, Guo J, Ververas E, et al.RetinaFace:single-shot multi-level face localisation in the wild[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Seattle, WA, USA.:5202-5211
    [17] Chung J S, Nagrani A, Zisserman A.VoxCeleb2:Deep Speaker Recognition[EB/OL].2018:arXiv:1806.05622.https://arxiv.org/abs/1806.05622
    [18] Rössler A, Cozzolino D, Verdoliva L, et al.FaceForensics:learning to detect manipulated facial images[C]//2019 IEEE/CVF International Conference on Computer Vision (ICCV).Seoul, Korea (South):1-11
    [19] DeepFakes Detection Dataset.https://github.com/ondyari/FaceForensics
  • [1] 郭从洲, 李可, 李贺, 童晓冲, 王习文.  遥感图像质量等级分类的深度卷积神经网络方法 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20200292
    [2] 畅柳, 武艳强, 杨博, 金涛.  唐山7.8级地震三维地表形变和断层运动特征 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20220159
    [3] 杜佳威, 武芳, 行瑞星, 李彩霞, 李靖涵.  几种具有编解码结构的深度学习模型在建筑物综合中的应用与比较 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20200143
    [4] 任加新, 刘万增, 李志林, 李然, 翟曦.  利用卷积神经网络进行“问题地图”智能检测 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20190259
    [5] 周于涛, 吴华意, 成洪权, 郑杰, 李学锡.  结合自注意力机制和结伴行为特征的行人轨迹预测模型 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20200159
    [6] 霍亮, 段元晶, 朱翊, 沈涛, 张孝勇, 翟佳磊, 符季颖.  顾及局部特征的城市三维模型多尺度表达方法 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20200148
    [7] 文学东, 陈为民, 谢洪, 闫利.  一种融合多源特征的建筑物三维模型重建方法 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20180320
    [8] 门计林, 刘越岩, 张斌, 周繁.  多结构卷积神经网络特征级联的高分影像土地利用分类 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20180137
    [9] 刘民士, 龙毅, 费立凡, 何桂芳.  顾及三维形态特征的河流曲线化简方法 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20150176
    [10] 瞿涛, 邓德祥, 刘慧, 邹炼, 刘弋锋.  多层独立子空间分析时空特征的人体行为识别方法 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20140581
    [11] 王帅, 张永志, 姜永涛, 刘宁.  断层三维转动及其引起的地表形变空间分布特征 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20130837
    [12] 方天红, 陈庆虎, 廖海斌, 邱益鸣.  融合纹理与形状的人脸加权新特征 . 武汉大学学报 ● 信息科学版,
    [13] 吴华意, 李锐, 周振, 蒋捷, 桂志鹏.  公共地图服务的群体用户访问行为时序特征模型及预测 . 武汉大学学报 ● 信息科学版, doi: 10.13203/j.whugis20150283
    [14] 杨国华, 杨博, 陈欣, 刘志广.  华北现今三维形变场空间变化的基本特征 . 武汉大学学报 ● 信息科学版,
    [15] 姜少波, 杨必胜, 孙轩.  特征保持的三维复杂建筑物模型多分辨率表达 . 武汉大学学报 ● 信息科学版,
    [16] 陈振学, 常发亮, 刘春生, 徐建光.  基于Adaboost算法和人脸特征三角形的姿态参数估计 . 武汉大学学报 ● 信息科学版,
    [17] 廖海斌, 陈庆虎, 鄢煜尘.  面向形变模型的三维人脸建模研究及其改进 . 武汉大学学报 ● 信息科学版,
    [18] 王新洲, 邓兴升.  大坝变形预报的模糊神经网络模型 . 武汉大学学报 ● 信息科学版,
    [19] 史文中.  三维地理信息系统中几何特征的误差模型 . 武汉大学学报 ● 信息科学版,
    [20] 林宗坚, 刘少创.  自组织特征映射神经网络及其在彩色地图自动分层中的应用 . 武汉大学学报 ● 信息科学版,
  • 加载中
计量
  • 文章访问数:  75
  • HTML全文浏览量:  7
  • PDF下载量:  3
  • 被引次数: 0
出版历程
  • 收稿日期:  2022-06-23

利用人脸3DMM重构信息检测深度伪脸视频

doi: 10.13203/j.whugis20210427
    基金项目:

    国家重点研发计划项目(2019QY2202),广州开发区国际合作项目(2019GH16)和中新国际联合研究院项目(206-A018001)资助。

    作者简介:

    胡永健,博士,教授,主要从事多媒体信息安全、图像处理及人工智能研究。eeyjhu@scut.edu.cn

  • 中图分类号: TN911.73

摘要: 该文提出一种基于人脸三维形变模型(3D Morphable Model,3DMM)的深度伪脸视频检测算法,利用3DMM强大的人脸形状、纹理、表情和姿态参数估算能力,逐帧获取鉴伪基本信息。设计面部行为特征提取模块和静态外貌特征计算模块,以滑动窗为单位,在时间轴上分别从表情和姿态参数提取人物的面部行为特征,从形状和纹理参数计算人物的静态外貌特征。鉴伪过程利用人物外貌特征与面部行为特征的一致性来完成。所提出的算法人物针对性强,可解释性好。与同类算法相比,半总错误率更低,抗视频压缩能力更好,计算更加简便。

English Abstract

胡永健, 佘惠敏, 刘琲贝, 陈香全, 刘光尧. 利用人脸3DMM重构信息检测深度伪脸视频[J]. 武汉大学学报 ● 信息科学版. doi: 10.13203/j.whugis20210427
引用本文: 胡永健, 佘惠敏, 刘琲贝, 陈香全, 刘光尧. 利用人脸3DMM重构信息检测深度伪脸视频[J]. 武汉大学学报 ● 信息科学版. doi: 10.13203/j.whugis20210427
HU Yongjian, SHE Huimin, LIU Beibei, CHEN Xiangquan, LIU Guangyao. Deepfake Video Detection Using 3DMM Facial Reconstruction Information[J]. Geomatics and Information Science of Wuhan University. doi: 10.13203/j.whugis20210427
Citation: HU Yongjian, SHE Huimin, LIU Beibei, CHEN Xiangquan, LIU Guangyao. Deepfake Video Detection Using 3DMM Facial Reconstruction Information[J]. Geomatics and Information Science of Wuhan University. doi: 10.13203/j.whugis20210427
参考文献 (19)

目录

    /

    返回文章
    返回