万维网环境下涉灾信息数据采集方法研究 |
| |
引用本文: | 邓雨婷,胡卓玮,胡一奇.万维网环境下涉灾信息数据采集方法研究[J].自然灾害学报,2022(5):31-36. |
| |
作者姓名: | 邓雨婷 胡卓玮 胡一奇 |
| |
作者单位: | 1. 首都师范大学资源环境与旅游学院;2. 首都师范大学资源环境与地理信息系统北京市重点实验室;3. 首都师范大学城市环境过程与数字模拟国家重点实验室培育基地 |
| |
基金项目: | 国家重点研发计划项目(2018YFC1508902,2017YFC0506501)~~; |
| |
摘 要: | 随着自然灾害应急管理信息化的发展,越来越多的国家部门、行业单位、社会机构以万维网为载体提供涉灾信息数据服务。针对万维网上的涉灾信息数据分布零散和不易提取的问题,文中提出了一种涉灾信息数据采集方法,将全量采集和增量采集相结合以获取历史数据和实时数据,并整合动态页面获取技术和模拟登录技术以适用于多种网页类型。对综合性较强的网站设计了信息主题相关性判断方法,以便更准确地提取涉灾信息。通过实验,该方法能较好实现涉灾数据和涉灾信息的获取,为防灾减灾、应急管理提供数据支持。
|
关 键 词: | 涉灾信息数据 数据采集 多源数据 网络爬虫 防灾减灾 |
|