留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

利用城市公共摄像头分析夜间灯光变化规律

陈宇伦 陈丹妮 李熙

陈宇伦, 陈丹妮, 李熙. 利用城市公共摄像头分析夜间灯光变化规律[J]. 武汉大学学报 ● 信息科学版, 2022, 47(8): 1318-1327. doi: 10.13203/j.whugis20220235
引用本文: 陈宇伦, 陈丹妮, 李熙. 利用城市公共摄像头分析夜间灯光变化规律[J]. 武汉大学学报 ● 信息科学版, 2022, 47(8): 1318-1327. doi: 10.13203/j.whugis20220235
CHEN Yulun, CHEN Danni, LI Xi. Analysis of Night Light Patterns Using Urban Public Camera[J]. Geomatics and Information Science of Wuhan University, 2022, 47(8): 1318-1327. doi: 10.13203/j.whugis20220235
Citation: CHEN Yulun, CHEN Danni, LI Xi. Analysis of Night Light Patterns Using Urban Public Camera[J]. Geomatics and Information Science of Wuhan University, 2022, 47(8): 1318-1327. doi: 10.13203/j.whugis20220235

利用城市公共摄像头分析夜间灯光变化规律

doi: 10.13203/j.whugis20220235
基金项目: 

国家重点研发计划 2019YFE0126800

详细信息

Analysis of Night Light Patterns Using Urban Public Camera

Funds: 

The National Key Research and Development Program of China 2019YFE0126800

More Information
  • 摘要: 与卫星影像相比,摄像机影像数据具有更高的时间和空间分辨率。互联网共享的摄像头视频提供了丰富的夜间灯光信息,但数据的获取难度较大。针对实时视频数据设计特定爬虫程序进行数据获取,再基于获取的视频进行数据挖掘。通过分析日本东京某实验区的影像,发现城市夜间灯光表现复杂且存在一定的随机性,但是整夜的夜间灯光随着时间呈现明显减弱的趋势,并且部分区域呈现出先增加后减少等更为复杂的变化规律,此外不同建筑物侧面灯光趋势也存在差异。
  • 图  1  研究区域的卫星图

    Figure  1.  Satellite Imagery for the Study Area

    图  2  研究区域的摄像机视角街景图

    Figure  2.  Street View Imagery from the Camera for the Study Area

    图  3  爬虫程序架构图

    Figure  3.  Architecture of the Proposed Crawler Program

    图  4  爬虫程序执行流程图

    Figure  4.  Flowchart of the Crawler Program

    图  5  爬虫程序获取的样例数据

    Figure  5.  Data Samples Acquired by the Crawler Program

    图  6  研究区域在不同时间的影像

    Figure  6.  Images at Different Time for the Study Area

    图  7  不同类型的异常影像

    Figure  7.  Different Types of the Abnormal Images

    图  8  三处典型光源光强度的时间序列曲线

    Figure  8.  Time Series of Light Intensity for Three Typical Light Sources

    图  9  研究区夜间灯光的第一主成分变化趋势

    Figure  9.  Change Tendency of the First Principal Component of the Night Light in the Study Area

    图  10  研究区的第一主成分贡献率分布

    Figure  10.  Distribution of the First Component Contribution for the Study Area

    图  11  研究区夜间灯光的第二主成分变化趋势

    Figure  11.  Change Tendency of the Second Principal Component of the Night Light in the Study Area

    图  12  研究区的第二主成分贡献率分布

    Figure  12.  Distribution of the Second Component Contribution for the Study Area

    图  13  研究区夜间灯光的第三主成分变化趋势

    Figure  13.  Change Tendency of the Third Principal Component of the Night Light in the Study Area

    图  14  研究区的第三主成分贡献率分布

    Figure  14.  Distribution of the Third Component Contribution for the Study Area

    表  1  主要建筑属性

    Table  1.   Attributes of the Major Buildings

    建筑编号 类别 楼层数/层
    A 居民楼 15
    B 居民楼 13
    C 幼儿园 15
    D 小区管理事务所 13
    E 公寓 19
    F 公寓 21
    G 居民楼 约50
    H 四星级酒店 约36
    下载: 导出CSV
  • [1] 李德仁, 李熙. 论夜光遥感数据挖掘[J]. 测绘学报, 2015, 44(6): 591-601 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201506002.htm

    Li Deren, Li Xi. An Overview on Data Mining of Nighttime Light Remote Sensing[J]. Acta Geodaetica et Cartographica Sinica, 2015, 44(6): 591-601 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201506002.htm
    [2] Levin N, Kyba C C M, Zhang Q L, et al. Remote Sensing of Night Lights: A Review and an Outlook for the Future[J]. Remote Sensing of Environment, 2020, 237: 111443 doi:  10.1016/j.rse.2019.111443
    [3] Croft T A. Nighttime Images of the Earth from Space[J]. Scientific American, 1978, 239(1): 86-98 doi:  10.1038/scientificamerican0778-86
    [4] Chen X, Nordhaus W D. VIIRS Nighttime Lights in the Estimation of Cross-Sectional and Time-Series GDP[J]. Remote Sensing, 2019, 11(9): 1057 doi:  10.3390/rs11091057
    [5] Chen X, Nordhaus W D. Using Luminosity Data as a Proxy for Economic Statistics[J]. Proceedings of the National Academy of Sciences of the United States of America, 2011, 108(21): 8589-8594 doi:  10.1073/pnas.1017031108
    [6] Fu H Y, Shao Z F, Fu P, et al. The Dynamic Analysis Between Urban Nighttime Economy and Urbanization Using the DMSP/OLS Nighttime Light Data in China from 1992 to 2012[J]. Remote Sensing, 2017, 9(5): 416 doi:  10.3390/rs9050416
    [7] Chen J D, Gao M, Cheng S L, et al. China's City-Level Carbon Emissions During 1992—2017 Based on the Inter-Calibration of Nighttime Light Data[J]. Scientific Reports, 2021, 11: 3323 doi:  10.1038/s41598-021-81754-y
    [8] Gao B, Huang Q X, He C Y, et al. Similarities and Differences of City-Size Distributions in Three Main Urban Agglomerations of China from 1992 to 2015: A Comparative Study Based on Nighttime Light Data[J]. Journal of Geographical Sciences, 2017, 27(5): 533-545 doi:  10.1007/s11442-017-1391-7
    [9] Liu Z F, He C Y, Zhang Q F, et al. Extracting the Dynamics of Urban Expansion in China Using DMSP-OLS Nighttime Light Data from 1992 to 2008[J]. Landscape and Urban Planning, 2012, 106(1): 62-72 doi:  10.1016/j.landurbplan.2012.02.013
    [10] 徐慧敏, 胡守庚. 夜光遥感视角下的中国城市规模的时空演变[J]. 武汉大学学报·信息科学版, 2021, 46(1): 40-49 doi:  10.13203/j.whugis20190330

    Xu Huimin, Hu Shougeng. Chinese City Size Evolution Under Perspective of Nighttime Light Remote Sensing[J]. Geomatics and Information Science of Wuhan University, 2021, 46(1): 40-49 doi:  10.13203/j.whugis20190330
    [11] 汪韬阳, 李熙, 田礼乔, 等. 城市建筑群航天遥感动态监测[J]. 武汉大学学报·信息科学版, 2020, 45(5): 640-650 doi:  10.13203/j.whugis20200096

    Wang Taoyang, Li Xi, Tian Liqiao, et al. Space Remote Sensing Dynamic Monitoring for Urban Complex[J]. Geomatics and Information Science of Wuhan University, 2020, 45(5): 640-650 doi:  10.13203/j.whugis20200096
    [12] 刘冰洁, 陈佐旗, 余柏蒗, 等. 夜间灯光遥感对城市发展类动能与相似性评估[J]. 遥感学报, 2021, 25(5): 1187-1200 https://www.cnki.com.cn/Article/CJFDTOTAL-YGXB202105012.htm

    Liu Bingjie, Chen Zuoqi, Yu Bailang, et al. Kinetic Energy Assessment and Similarity Analysis of Urban Development Based on NPP-VIIRS Nighttime Light Remote Sensing[J]. National Remote Sensing Bulletin, 2021, 25(5): 1187-1200 https://www.cnki.com.cn/Article/CJFDTOTAL-YGXB202105012.htm
    [13] Li X, Li D R, Xu H M, et al. Intercalibration Between DMSP/OLS and VIIRS Night-Time Light Images to Evaluate City Light Dynamics of Syria's Major Human Settlement During Syrian Civil War[J]. International Journal of Remote Sensing, 2017, 38(21): 5934-5951 doi:  10.1080/01431161.2017.1331476
    [14] 许刚, 王传立, 孟庆祥, 等. COVID-19疫情初期美国城市夜间灯光时空变化分析[J]. 遥感学报, 2022, DOI: 10.11834/jrs.20221645

    Xu Gang, Wang Chuanli, Meng Qingxiang, et al. Spatio-Temporal Variations of Night-Time Lights at Early Stages of the COVID-19 Epidemic in the United States[J]. National Remote Sensing Bulletin, 2022, DOI: 10.11834/jrs.20221645
    [15] Falchi F, Furgoni R, Gallaway T A, et al. Light Pollution in USA and Europe: The Good, the Bad and the Ugly[J]. Journal of Environmental Management, 2019, 248: 109227 doi:  10.1016/j.jenvman.2019.06.128
    [16] Ohayon M M, Milesi C. Artificial Outdoor Nighttime Lights Associate with Altered Sleep Behavior in the American General Population[J]. Sleep, 2016, 39(6): 1311-1320 doi:  10.5665/sleep.5860
    [17] 伍亿真, 施开放, 余柏蒗, 等. 利用NPP-VIIRS夜间灯光遥感数据分析城市蔓延对雾霾污染的影响[J]. 武汉大学学报·信息科学版, 2021, 46(5): 777-789 doi:  10.13203/j.whugis20200455

    Wu Yizhen, Shi Kaifang, Yu Bailang, et al. Analysis of the Impact of Urban Sprawl on Haze Pollution Based on the NPP-VIIRS Nighttime Light Remote Sensing Data[J]. Geomatics and Information Science of Wuhan University, 2021, 46(5): 777-789 doi:  10.13203/j.whugis20200455
    [18] Luo L W, Kang M J, Guo J H, et al. Spatiotemporal Pattern Analysis of Potential Light Seine Fishing Areas in the East China Sea Using VIIRS Day/Night Band Imagery[J]. International Journal of Remote Sensing, 2019, 40(4): 1460-1480 doi:  10.1080/01431161.2018.1524605
    [19] Waluda C M, Griffiths H J, Rodhouse P G. Remotely Sensed Spatial Dynamics of the Illex Argentinus Fishery, Southwest Atlantic[J]. Fisheries Research, 2008, 91(2): 196-202
    [20] Bharti N, Tatem A J, Ferrari M J, et al. Explaining Seasonal Fluctuations of Measles in Niger Using Nighttime Lights Imagery[J]. Science, 2011, 334(6061): 1424-1427 doi:  10.1126/science.1210554
    [21] Franklin M, Chau K, Cushing L J, et al. Characterizing Flaring from Unconventional Oil and Gas Operations in South Texas Using Satellite Observations[J]. Environmental Science & Technology, 2019, 53(4): 2220-2228
    [22] 李德仁, 张过, 沈欣, 等. 珞珈一号01星夜光遥感设计与处理[J]. 遥感学报, 2019, 23(6): 1011-1022 https://www.cnki.com.cn/Article/CJFDTOTAL-YGXB201906001.htm

    Li Deren, Zhang Guo, Shen Xin, et al. Design and Processing Night Light Remote Sensing of LJ-1 01 Satellite[J]. Journal of Remote Sensing, 2019, 23(6): 1011-1022 https://www.cnki.com.cn/Article/CJFDTOTAL-YGXB201906001.htm
    [23] Li X, Zhao L X, Li D R, et al. Mapping Urban Extent Using Luojia 1-01 Nighttime Light Imagery[J]. Sensors (Basel, Switzerland), 2018, 18(11): 3665 doi:  10.3390/s18113665
    [24] Yin Z M, Li X, Tong F, et al. Mapping Urban Expansion Using Night-Time Light Images from Luojia1-01 and International Space Station[J]. International Journal of Remote Sensing, 2020, 41(7): 2603-2623 doi:  10.1080/01431161.2019.1693661
    [25] Jiang W, He G J, Long T F, et al. Potentiality of Using Luojia 1-01 Nighttime Light Imagery to Investigate Artificial Light Pollution[J]. Sensors (Basel, Switzerland), 2018, 18(9): 2900 doi:  10.3390/s18092900
    [26] Guk E, Levin N. Analyzing Spatial Variability in Night-Time Lights Using a High Spatial Resolution Color Jilin-1 Image—Jerusalem as a Case Study[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 163: 121-136 doi:  10.1016/j.isprsjprs.2020.02.016
    [27] Li X, Levin N, Xie J L, et al. Monitoring Hourly Night-Time Light by an Unmanned Aerial Vehicle and Its Implications to Satellite Remote Sensing[J]. Remote Sensing of Environment, 2020, 247: 111942 doi:  10.1016/j.rse.2020.111942
    [28] Dobler G, Ghandehari M, Koonin S E, et al. Dynamics of the Urban Lightscape[J]. Information Systems, 2015, 54: 115-126 doi:  10.1016/j.is.2015.06.002
    [29] Dobler G, Bianco F B, Sharma M S, et al. The Urban Observatory: A Multi-Modal Imaging Platform for the Study of Dynamics in Complex Urban Systems[J]. Remote Sensing, 2021, 13(8): 1426 doi:  10.3390/rs13081426
    [30] 黄璜. 基于故障数据预处理的超算系统容错关键技术研究[D]. 长沙: 国防科技大学, 2019

    Huang Huang. Research on the Key Technology of Fault Tolerance Based on Fault Data Preprocessing for Supercomputing Systems[D]. Changsha: National University of Defense Technology, 2019
    [31] Fan C, Chen M L, Wang X H, et al. A Review on Data Preprocessing Techniques Toward Efficient and Reliable Knowledge Discovery from Building Operational Data[J]. Frontiers in Energy Research, 2021, 9: 652801 doi:  10.3389/fenrg.2021.652801
    [32] Geladi P, Linderholm J. Principal Component Analysis[M]// Amsterdam: Elsevier, 2020
    [33] Gupta A, Shethia S, Hsu W C, et al. Empirical Analysis of Battery Performance with Ambient Temperature for Small Electric UASs[C]//AIAA Aviation 2021 Forum, Xiamen, China, 2021
    [34] 段严丽. 基于张量的时空数据主成分分析及其在经济评级中的应用[D]. 上海: 上海交通大学, 2020

    Duan Yanli. Principal Component Analysis of Spatiotemporal Data Based on Tensor and Its Application in Economic Rating[D]. Shanghai: Shanghai Jiao Tong University, 2020
    [35] Small C. Spatiotemporal Dimensionality and Time-Space Characterization of Multitemporal Imagery[J]. Remote Sensing of Environment, 2012, 124: 793-809 doi:  10.1016/j.rse.2012.05.031
    [36] Small C, Elvidge C D. Night on Earth: Mapping Decadal Changes of Anthropogenic Night Light in Asia[J]. International Journal of Applied Earth Observation and Geoinformation, 2013, 22: 40-52 doi:  10.1016/j.jag.2012.02.009
  • [1] 王鹏新, 陈弛, 张悦, 张树誉, 刘峻明.  利用双变量同化与PCA-Copula法的冬小麦单产估测 . 武汉大学学报 ● 信息科学版, 2022, 47(8): 1201-1212. doi: 10.13203/j.whugis20220038
    [2] 程钢, 李岩林, 赵宗泽, 杨杰, 卢小平, 原东方.  顾及邻近关系的NPP/VIIRS序列影像时空插值方法 . 武汉大学学报 ● 信息科学版, 2022, 47(2): 252-260. doi: 10.13203/j.whugis20200019
    [3] 张霖, 李熙.  夜光遥感视角下的巴基斯坦区域发展差异分析 . 武汉大学学报 ● 信息科学版, 2022, 47(2): 269-279. doi: 10.13203/j.whugis20210057
    [4] 张立强, 李洋, 侯正阳, 李新港, 耿昊, 王跃宾, 李景文, 朱盼盼, 梅杰, 姜颜笑, 李帅朋, 辛奇, 崔颖, 刘素红.  深度学习与遥感数据分析 . 武汉大学学报 ● 信息科学版, 2020, 45(12): 1857-1864. doi: 10.13203/j.whugis20200650
    [5] 李熙, 薛翔宇.  基于波士顿矩阵的夜光遥感电力消费估算方法 . 武汉大学学报 ● 信息科学版, 2018, 43(12): 1994-2002. doi: 10.13203/j.whugis20180334
    [6] 佃袁勇, 杨光, 方圣辉.  傅里叶谱纹理和光谱信息结合的高分辨率遥感影像地表覆盖分类 . 武汉大学学报 ● 信息科学版, 2017, 42(3): 362-368. doi: 10.13203/j.whugis20140952
    [7] 苟娇娇, 罗明良, 王飞.  影响黄土高原集水面积阈值的地形因子主成分分析 . 武汉大学学报 ● 信息科学版, 2017, 42(5): 704-710. doi: 10.13203/j.whugis20140783
    [8] 李德仁, 余涵若, 李熙.  基于夜光遥感影像的“一带一路”沿线国家城市发展时空格局分析 . 武汉大学学报 ● 信息科学版, 2017, 42(6): 711-720. doi: 10.13203/j.whugis20170100
    [9] 田晶, 何遒, 周梦杰.  运用主成分分析识别道路网中的网格模式 . 武汉大学学报 ● 信息科学版, 2013, 38(5): 604-607.
    [10] 刘良明, 徐琪, 周正, 叶沅鑫.  利用HJ-1A/1BCCD数据进行黄河凌汛监测 . 武汉大学学报 ● 信息科学版, 2012, 37(2): 141-144.
    [11] 陈炳文, 王文伟, 秦前清.  利用主成分背景抑制的红外目标检测 . 武汉大学学报 ● 信息科学版, 2012, 37(8): 925-928.
    [12] 张鹏林, 李新战, 陈江平.  物联网节点监视信息的精简与分析技术 . 武汉大学学报 ● 信息科学版, 2011, 36(11): 1353-1357.
    [13] 文汉江, 章传银.  由ERS-2和TOPEX卫星测高数据推算的海面高异常的主成分分析 . 武汉大学学报 ● 信息科学版, 2006, 31(3): 221-223.
    [14] 尹晖, SpirosD.Pagiatakis.  最小二乘谱及其在超导重力观测数据分析中的应用 . 武汉大学学报 ● 信息科学版, 2005, 30(7): 613-616.
    [15] 张路, 廖明生, 盛辉.  基于正交变换的多通道遥感影像变化检测 . 武汉大学学报 ● 信息科学版, 2004, 29(5): 456-460,469. doi: 10.13203/j.whugis2004.05.018
    [16] 郭庆胜, 闫卫阳, 李圣权.  中心城市空间影响范围的近似性划分 . 武汉大学学报 ● 信息科学版, 2003, 28(5): 596-599.
    [17] 王新洲, 柳宗伟, 陈顺清.  城市人口地理信息系统建设模式探讨 . 武汉大学学报 ● 信息科学版, 2001, 26(3): 226-231.
    [18] 施品浩, 李征航, 冯延明.  东北地区高精度GPS定位试验初步结果 . 武汉大学学报 ● 信息科学版, 1991, 16(3): 94-102.
    [19] 郭仁忠, 张克权.  Q型聚类分析中变量相关性的处理方法分析 . 武汉大学学报 ● 信息科学版, 1987, 12(3): 64-78.
    [20] 李熙, 巩钰.  夜间灯光遥感视角下的中国对中亚地区援助效果评估 . 武汉大学学报 ● 信息科学版, 0, 0(0): 0-0. doi: 10.13203/j.whugis20220478
  • 加载中
图(14) / 表(1)
计量
  • 文章访问数:  111
  • HTML全文浏览量:  44
  • PDF下载量:  14
  • 被引次数: 0
出版历程
  • 收稿日期:  2022-04-30
  • 刊出日期:  2022-08-05

利用城市公共摄像头分析夜间灯光变化规律

doi: 10.13203/j.whugis20220235
    基金项目:

    国家重点研发计划 2019YFE0126800

    作者简介:

    陈宇伦,硕士生,研究方向为数据分析。2020286190107@whu.edu.cn

    通讯作者: 李熙,博士,教授。lixi@whu.edu.cn
  • 中图分类号: P237

摘要: 与卫星影像相比,摄像机影像数据具有更高的时间和空间分辨率。互联网共享的摄像头视频提供了丰富的夜间灯光信息,但数据的获取难度较大。针对实时视频数据设计特定爬虫程序进行数据获取,再基于获取的视频进行数据挖掘。通过分析日本东京某实验区的影像,发现城市夜间灯光表现复杂且存在一定的随机性,但是整夜的夜间灯光随着时间呈现明显减弱的趋势,并且部分区域呈现出先增加后减少等更为复杂的变化规律,此外不同建筑物侧面灯光趋势也存在差异。

English Abstract

陈宇伦, 陈丹妮, 李熙. 利用城市公共摄像头分析夜间灯光变化规律[J]. 武汉大学学报 ● 信息科学版, 2022, 47(8): 1318-1327. doi: 10.13203/j.whugis20220235
引用本文: 陈宇伦, 陈丹妮, 李熙. 利用城市公共摄像头分析夜间灯光变化规律[J]. 武汉大学学报 ● 信息科学版, 2022, 47(8): 1318-1327. doi: 10.13203/j.whugis20220235
CHEN Yulun, CHEN Danni, LI Xi. Analysis of Night Light Patterns Using Urban Public Camera[J]. Geomatics and Information Science of Wuhan University, 2022, 47(8): 1318-1327. doi: 10.13203/j.whugis20220235
Citation: CHEN Yulun, CHEN Danni, LI Xi. Analysis of Night Light Patterns Using Urban Public Camera[J]. Geomatics and Information Science of Wuhan University, 2022, 47(8): 1318-1327. doi: 10.13203/j.whugis20220235
  • 夜间灯光反映了人类夜间经济活动,被广泛应用于社会经济领域的研究[1-2]。夜光遥感起源于美国军事气象卫星计划,科研人员意外发现卫星可以捕捉到无云情况下夜间城镇的光源[3],目前已应用于社会经济参数估算[4-7]、城市化监测与评估[8-12]、重大事件评估[13-14]、环境及健康效应研究[15-17]、渔业信息提取[18-19]、流行病研究[20]、油气田监测[21]等领域。近年来,随着吉林一号、珞珈一号[22]等国产夜光遥感卫星的发射,夜光遥感在城市化制图[23-24]、光污染评估[25-26]等领域得到了更加深入和广泛的应用。

    随着夜光遥感研究的不断深入,为弥补卫星夜光遥感在时间和空间分辨率上的不足,有学者开始使用其他传感器或者平台监测夜间灯光。如文献[27]利用无人机监测武汉大学附近的城市灯光,发现不同地点的夜间亮度有不同的时间变化规律,表明城市夜光在时间和空间维度上都非常复杂。有学者通过搭建城市摄像机研究城市夜间灯光连续多天的变化规律,如文献[28]在城市天台搭建相机,以0.1 Hz频率拍摄美国曼哈顿城市的天际线,对22 d的夜间数据进行了分析,并将天文数据挖掘方法用于分析城市灯光的动态,发现夜间灯光的总开/关转换时间在夜间呈现重复的模式,住宅区和商业区灯光的总开/关转换时间存在明显差异。此外,文献[29]在天台搭建高光谱相机建立城市观测站,对城市动态过程进行持续、同步和细化成像,该成像系统可对可见光到红外波长进行记录,运行频率为0.01~30 Hz,该研究发现城市观测站获取的数据可以用于与城市功能相关的科学调查。

    无人机和自建城市相机虽然能得到高时间、高空间分辨率的夜光影像数据,但是其人力物力成本较高。而网络相机在互联网平台开放共享,这些相机提供了越来越多的夜光遥感数据。地球相机是一个开放的摄像头共享网站(https://www.earthcam.com),该网站提供了大量城市的全天候视频数据。与卫星遥感数据相比,这些数据空间分辨率可达分米级,时间分辨率达到秒级,通常记录着建筑物等的侧面光。然而,这些数据以视频方式呈现,往往难以获取,且目前缺乏对这些数据蕴含规律的挖掘与分析。因此,本文通过开发网络爬虫获取影像数据,对数据进行预处理后,再进行探索性数据分析,采用时间序列分析挖掘其内在规律。

    • 为了有效挖掘摄像机获取的夜间灯光信息,研究区域的选择原则有:(1)摄像头的姿态较稳定,不发生明显偏转;(2)摄像机的参数具有一致性,具体体现为时间序列影像对应的明暗和色调较为一致。本文选择日本东京都江东区四丁目作为研究区域。该区域由填海而来,四面环水,该区域卫星图如图 1所示。通过谷歌街景,找到了研究区域在地球相机网站中相机视角的街景图,如图 2所示。

      图  1  研究区域的卫星图

      Figure 1.  Satellite Imagery for the Study Area

      图  2  研究区域的摄像机视角街景图

      Figure 2.  Street View Imagery from the Camera for the Study Area

      使用谷歌街景对不同建筑进行分析,利用不同颜色框选区分主要建筑。由于其他建筑物距离更远或其用途难以分辨,本文只挑选图 2中的A~H楼,并将其范围用不同颜色框选出,其主要建筑属性如表 1所示。

      表 1  主要建筑属性

      Table 1.  Attributes of the Major Buildings

      建筑编号 类别 楼层数/层
      A 居民楼 15
      B 居民楼 13
      C 幼儿园 15
      D 小区管理事务所 13
      E 公寓 19
      F 公寓 21
      G 居民楼 约50
      H 四星级酒店 约36
    • 地球相机网站共享着约6 000个网络摄像机,分布在世界众多著名城市。这些摄像机主要由个人或组织搭建,通过地球相机与世界分享视频。然而,地球相机并未提供数据下载地址,大量数据仅凭人工方法难以获取。本文通过设计与实现爬虫系统,可在地球相机网站长期获取数据,该爬虫程序的架构如图 3所示。

      图  3  爬虫程序架构图

      Figure 3.  Architecture of the Proposed Crawler Program

      采用node.js作为爬虫程序运行环境,基于puppeteer.js库编写爬虫程序,通过控制Chrome浏览器,按照指定频率访问地球相机网站获取数据。本文设计的爬虫程序以10 min为时间间隔获取夜光数据,每10 min截取一次视频画面,将截取到的画面暂存于本地,然后由数据备份程序备份至云计算数据存储中心。

      在设计爬虫程序前,需要分析地球相机网站的操作行为与网站数据请求之间的逻辑规律,这一过程通常在浏览器调试模式下完成。通过鼠标点击或滚动页面触发浏览器请求数据,观察页面变化确定爬虫获取的数据。对地球相机网站进行分析,发现地球相机网站以固定的频率向服务器请求流媒体数据,服务器处理请求后返回流媒体数据,在浏览器解析流媒体数据后播放摄像头传来的实时画面。因此,通过编写程序控制浏览器,使浏览器执行本文设计的爬虫程序即可获取影像数据,具体流程如图 4所示,主要步骤如下:

      图  4  爬虫程序执行流程图

      Figure 4.  Flowchart of the Crawler Program

      1)计时器开始,控制爬虫获取数据的频率,以此确定影像的时间分辨率。为保证数据源的可靠性,选择质量最佳的研究区域。本文选择多个摄像头进行获取,每个摄像头对应独立的任务,创建任务队列管理任务。

      2)获取任务,根据该任务创建文件夹,以便存储影像文件。文件夹创建后,控制浏览器访问摄像头网址,访问过程中如果因为网络超时或其他错误导致任务获取失败,则生成错误日志,然后从任务队列中获取下一个任务,重复步骤2)。如果爬虫能成功访问摄像头网址,则进行步骤3)。

      3)页面打开后找到视频画面对应的HTML标签,对该标签进行截图,截取的图片即为影像数据,将该影像数据存储在文件夹中。此时,当前任务获取完毕,若任务队列仍有任务,则从中取出任务;若任务队列为空,表明该轮任务获取结束,此时根据计时器判断是否满足时间频率要求,满足则继续步骤1)。

      本文利用爬虫程序获取的数据如图 5所示,该区域不同时刻对比图如图 6所示。

      图  5  爬虫程序获取的样例数据

      Figure 5.  Data Samples Acquired by the Crawler Program

      图  6  研究区域在不同时间的影像

      Figure 6.  Images at Different Time for the Study Area

      数据预处理是数据分析前的重要准备工作,对数据进行预处理可以保证挖掘数据的正确性和有效性,通过对数据格式和内容的调整,使数据满足分析时的需要[30-31]。数据清洗包括缺失数据、错误数据、逻辑错误、相似重复记录等数据的检测和消除。爬虫程序在获取数据过程中由于诸多原因会导致获取的数据不可用,主要原因为:(1)由于网络状况导致数据获取缺失;(2)地球相机网站不可访问导致数据无法获取。获取的数据在质量方面也会存在一些问题,数据质量过低的原因有两种:(1)天气状况过差导致画面中光发生了很大程度的散射;(2)相机上沾满了雨水和相机发生了水平或垂直方向的抖动。这些不可用的数据需要在数据预处理时进行清除,针对上述问题,本文采用人工和自动化方法进行处理。

      因天气原因和相机抖动而导致影像不可用的数据需要通过人工方法清洗,这类影像画面质量过低,画面中光源发生很大程度散射,整张影像更加偏亮,并且在时间上会连续多张出现。自动化方法清洗主要针对文件异常的影像,文件异常影像所占存储空间均小于100 kB,可基于此特征进行清洗。图 7展示了几种典型异常影像。由于获取的数据是全天影像,文件在存储时包含了时刻信息,因此需根据日出日落的时间筛选出夜间影像。

      图  7  不同类型的异常影像

      Figure 7.  Different Types of the Abnormal Images

      经过人工和自动化方法对数据清洗后,得到连续多天的可用影像,影像数据在质量上能满足要求。此时影像文件在时间上并不以10 min为时间间隔连续出现,因此还需要对缺失的数据进行时间序列插值,以及对数据进行再组织以方便分析。本文研究的影像数据在时间上包含夜间的10 h,每张影像的大小为960×540像素,单张影像有红、绿、蓝3个波段。由于数据的计算量十分庞大,因此对于缺失的数据在插值时用前后的均值进行填充。

    • 本文选择典型区域,分析研究夜间灯光趋势变化的潜在规律。定义光强度[28]为:

      I(t)=R(t)+G(t)+B(t)3 ]]>

      式中,R(t)G(t)B(t)分别表示t时刻像素点红、绿和蓝三波段的像元灰度值(digital number,DN),三波段取值范围为0~255。

      经数据预处理后,相邻影像之间的时间t相差10 min,可以认为其在时间上连续,每个时刻的影像代表一个样本。针对图像中的不同区域,计算光强度的平均值,并构成时间序列展示数据的特征。

    • 在多元统计分析中,主成分分析是一种统计分析、简化数据集的方法,利用正交变换对一系列可能相关的变量的观测值进行线性变换,再投影为一系列线性不相关变量的值,这些不相关变量称为主成分[32-33],其目地是找到可以揭示数据集隐藏的结构并过滤掉噪音的基。定义矩阵Xp×n,其中p为变量个数,n为样本数量,表示为:

      Xp×n=x11x12x1px21x22x2pxn1xn2xnp=(X1,X2Xn)T ]]>

      式中,第i个样本Xi=(xi1,xi2xip)Ti=1,2…n。对数据进行标准化处理,以消除数据量纲带来的影响,过程如下:

      Zij=xij-x¯jSj ]]>

      式中,i=1, 2nj=1, 2px¯j=i=1nxij/nSj2=(xij-x¯j)2/(n-1)Xi标准化后服从均值为0、方差为1的标准正态分布。根据奇异值分解理论[34],对于给定的任意矩阵ARm×n,则存在矩阵U和矩阵V使得A可以分解为:

      A=UΣVT ]]>

      式中,URm×m称为左奇异矩阵,U中的向量是一组标准正交基,为酉矩阵;Σm×n的对角阵,其对角线上的元素按照A的奇异值从大到小排列;Vn×n的正交方阵,又叫右奇异矩阵。奇异值的平方等于特征值,对n×n的方阵ATA进行特征值分解:

      (ATA)qi=λiqi ]]>

      得到n个特征值λ1,λ2λn以及其对应的特征向量q1,q2qn,由特征分解法可得:

      ATA=QΛQ-1 ]]>

      式中,Q=(q1,q2qn)Λ=diag(λ1,λ2λn),根据奇异值分解定理,对ATA进行分解得:

      ATA=VΣUTUΣVT ]]>

      式中,U中的向量均为便准正交基,故UTU=IV为正交方阵,故VTV=IVT=V-1,那么式(7)可以简写为:

      ATA=VΣ2V-1 ]]>

      特征值的顺序被限定后,得到的分解是唯一的,因此有:

      Σ2=ΛV=Q ]]>

      即矩阵A的奇异值的平方等于方阵ATA的特征值,V是方阵ATA特征值对应的特征向量且按序排列。保留k(k<p)个主成分,则k个主成分的贡献率为:

      ϕ=i=1kλii=1pλi ]]>

      一般选择使得ϕ>0.8的前k个最大的特征值。前k个主成分方差累计贡献率越高,表明数据经过降维后信息损失越少,则前k个主成分能近似代替原来p个变量,从而反映整体的样本特征。

    • 根据基于主成分分析方法的DMSP(defense meteorological satellite program)/OLS(operational linescan system)夜光遥感数据挖掘方法[35-36],通过主成分分析获取夜间灯光时间序列规律的算法步骤如下:

      1)根据式(1)计算每张影像中像素的光强度,得到影像的光强度矩阵,该矩阵大小为g×h,合计为gh像素。本文中的g=540,h=960。

      2)对于每个像素,取出其时间序列值构成一个列向量,故合计有gh个列向量,构成一个新的矩阵,该矩阵共有gh列,行数为夜光时间序列的长度。由此得到光强度-时间的二维矩阵,定义该矩阵为A

      3)根据式(2)、式(3)对A进行标准化处理,消除数据量纲带来的影响。

      4)根据式(4)~式(9)对A进行奇异值分解,得到ΛU

      5)计算重投影后的矩阵U'Λ'U'为奇异值分解得到的U中的所有行和前k列,Λ'为奇异值分解得到的Λ中的前k行前k列,此时得到的矩阵为主成分分析降维后的矩阵,原始的数据被压缩且最大限度地保留了信息。

      6)根据式(10)取前k个最大特征值,使得ϕ>0.8,即前k个主成分能解释80%以上的数据变异。

      7)每个主成分对应一个一维数组,该数组有gh个数值,每个数值表示其对应像素的相对贡献率。对A按列取平均后得到A'A'为一维数组,该数组有gh个数值。将主成分对应的数组与A'点乘得到新的数组M。将M按行还原成大小为g×h的矩阵M'M'为新的影像,该影像反映了主成分在每个像素上的相对贡献率。贡献率越高,则像素亮度越大;贡献率越低,像素亮度越低。

    • 本文对研究区域2021-03-08的夜间灯光影像中部分灯光进行分析,特别针对规律变化显著的C楼、F楼和H楼的楼道光源进行分析,得到光强度随时间变化的时间序列图,如图 8所示。由图 8可以发现,不同光源的时间序列变化模式差异很大,因此难以逐像素地分析每个光源的变化规律。为研究整体光源趋势变化,采用主成分分析方法分析影像中所有像素光强度变化的整体趋势。

      图  8  三处典型光源光强度的时间序列曲线

      Figure 8.  Time Series of Light Intensity for Three Typical Light Sources

      对研究区域2021-03-08的夜间灯光影像进行主成分分析后,得到前6个主成分(第一至第六主成分),其方差贡献率分别为70.26%、7.95%、4.74%、3.02%、1.74%和1.49%。前6个主成分方差累计贡献率为89.20%,而前3种主成分方差贡献率总和为82.95%,说明前3种主成分可以解释82.95%的数据变异。因此,本文主要对前3种主成分进行分析,同时分别对3种主成分计算了贡献率分布。

      第一主成分方差贡献率为70.26%,其变化趋势如图 9所示,可见整体呈下降趋势,表明夜间灯光变化随时间推移而不断减弱;在23:30:00之前,夜间灯光减弱的趋势更快,23:30:00之后,夜间灯光减弱的趋势相对变得缓慢。

      图  9  研究区夜间灯光的第一主成分变化趋势

      Figure 9.  Change Tendency of the First Principal Component of the Night Light in the Study Area

      计算第一主成分在每个像素点上的相对贡献率,结果如图 10所示。由图 10可知,C楼、D楼和H楼表现为第一主成分的光源更为集中,而作为居民楼的A楼、B楼、F楼和G楼表现为第一主成分的光源更为分散。

      图  10  研究区的第一主成分贡献率分布

      Figure 10.  Distribution of the First Component Contribution for the Study Area

      第二主成分方差贡献率为7.95%,其变化趋势为次要趋势,如图 11所示。由图 11可知,20:00:00之前,夜间灯光的变化程度相对较弱,但在20:00:00~22:00:00,夜间灯光呈现急剧增强的趋势,当灯光强度增大到峰值后,在22:00:00~23:30:00持续一段时间,然后灯光强度开始逐渐减弱。

      图  11  研究区夜间灯光的第二主成分变化趋势

      Figure 11.  Change Tendency of the Second Principal Component of the Night Light in the Study Area

      计算第二主成分在每个像素点上的相对贡献率,结果如图 12所示。由图 12可知,第二主成分贡献率较高区域在A楼、B楼、F楼、H楼和G楼。与第一主成分贡献率分布图相比,C楼和D楼呈现第二主成分的光源更少,而其他建筑物光源均检测出第二主成分对应的趋势,建筑物中的光源也较为分散。

      图  12  研究区的第二主成分贡献率分布

      Figure 12.  Distribution of the Second Component Contribution for the Study Area

      第三主成分方差贡献率为4.74%,其变化趋势为次要趋势,如图 13所示。由图 13可知,18:00:00~ 21:30:00,灯光变化表现为减弱趋势,而21:30:00~ 23:00:00,灯光变化表现出增大趋势,在23:30:00之后,灯光变化再次出现减弱趋势。出现这种规律可能是因为发光区域由两部分光照构成,一部分光照减弱,而另一部分光照增强,在不同时间段内成为发光区域主导光源。因此,一部分光照在18:00:00~21:30:00减弱,以至于发光区域在18:00:00~ 21:30:00呈现减弱趋势,这部分光照减弱后,另一部分光照逐渐占发光区域的主导光源,于是呈现出21:30:00~23:00:00逐渐增加到最大随后逐渐减弱。

      图  13  研究区夜间灯光的第三主成分变化趋势

      Figure 13.  Change Tendency of the Third Principal Component of the Night Light in the Study Area

      计算第三主成分在每个像素点上的相对贡献率,结果如图 14所示。由图 14可知,第三主成分贡献率较高区域中主要为C楼和D楼,在第三主成分变化趋势中最为显著。而C楼与D楼的共同特点是均为公共型建筑,夜间室内不住人但公共楼道有公共照明,在深夜时为节约能源,部分灯光会关闭。且C楼与D楼出现大量白色像素,这些白色像素所在位置的光源均为关闭状态,但周围其他光源没有关闭,因此第三主成分的变化是两部分光照叠加的结果。

      图  14  研究区的第三主成分贡献率分布

      Figure 14.  Distribution of the Third Component Contribution for the Study Area

      通过上述分析可以发现:(1)高时空分辨率影像中含有丰富的细节,同时也含有一定噪声,尽管主成分分析对噪声进行了一定程度的抑制,但主成分分析的结果仍然呈现很强的复杂性,可以发现不同类别建筑的灯光变化具有明显差异,这是由于不同建筑具有不同的人类活动特征,因此灯光变化不同;(2)主成分分析结果表明,第一主成分为主要变化趋势,该趋势反映出研究区光源整体变化,主要表现为随时间不断减弱,这也与日常经验吻合,即随着时间推移,经济活动不断减弱,灯光逐渐变暗。

    • 公共摄像头作为一种新的影像数据源,其数据下载手段较为复杂,本文将爬虫技术应用于夜光遥感影像数据获取,采用主成分分析方法研究高度动态的城市夜光影像。选择日本东京都江东区四丁目为实验区域,发现城市夜间灯光表现复杂且存在一定的随机性,但是整夜的夜间灯光随着时间呈现明显减弱的趋势,并且部分区域呈现出先增加后减少的变化规律。

      该研究为获取高分辨率夜光遥感影像提供了新的思路,未来可以作为卫星夜光遥感的地面验证的手段,但由于主成分分析方法受噪声影响较小,对数据进行标准化处理消除量纲带来的影响后,数据含义会发生变化,因此主成分的解释含义相比原始数据较为模糊。此外,爬虫程序获取的影像数据中没有相机参数,难以对数据进行校正。因此在选用相机影像进行研究时,应确保相机参数固定,或通过其他方法对影像进行校正,避免因相机参数变化对数据分析带来干扰。

参考文献 (36)

目录

    /

    返回文章
    返回