基于镶嵌数据集的海量数据存储管理 ——以青海湖流域为例

如何对多源、多尺度和不同分辨率的海量影像数据进行高效存储与管理已成为当前地理信息数据库建库的关键。镶嵌数据集是当前管理栅格影像数据的新技术。本文详细阐述了镶嵌数据集管理海量数据的处理方法与入库技术流程。同时以青海湖流域为研究区,选择最新的Landsat 8遥感影像数据与Aster DEM两种数据格式为例,应用新的镶嵌数据集数据处理与入库技术,实现了不同格式影像数据的镶嵌处理、数据系列产品的生成以及不同格式栅格数据的标准统一与数据建库工作。实验结果表明,使用镶嵌数据集可以高效地处理不同来源、不同时期以及不同格式的影像数据,可以实现多种类型影像数据及相关数据产品的实时构建、快速查询以及大容量数据的高效存储,说明应用镶嵌数据集在多源数据集成管理、数据显示以及网络并发访问等方面具有巨大的优势。     

大数据在环境执法与守法中的应用研究

在大数据已成为国家重要的基础性战略资源的背景下,文章梳理了大数据在环境执法与守法应用中面临的新机遇,指出了环境执法数据的价值资源及大数据在环境执法与守法中的促进作用。大数据在环境执法与守法中存在的问题包括数据源和数据质与量的限制、大数据人才的匮乏、大数据理念的认知不足等,该问题存在的根源在于缺乏长效的数据管理机制、立法和制度建设滞后、执法理念和大数据理念的融合不足。建议树立大数据的管理思维,做好大数据应用于执法的制度设计,建立数据应用的反馈机制,推进适用大数据时代环境执法与守法理论与方法的变革。     

基于数据挖掘的环境污染档案数据统计系统设计研究

针对目前中国自然环境污染档案数据统计效率较差的情况,基于数据挖掘技术,设计了新型环境污染数据统计系统。以射频和基带芯片为核心,利用大数据链路构建数据挖掘处理器,挖掘并缓存原始自然环境污染数据,设计系统自组织竞争网络,录入缓存数据并使用RBF神经网络对初始数据样本进行训练,将数据进行归一化处理,剔除原始环境数据中的错误数据,保证数据读入,将读入后的数据进行回归拟合和分布拟合并进行优化检验,确定函数特征,引入影响参数,分析环境数据的特征趋势,实现环境污染数据统计。     

浅析新浪“图解”的数据新闻实践

在大数据时代背景下,数据新闻被越来越多的媒体所重视,数据可视化成为近年来新闻业界的热点话题。本文以新浪"图解"专栏的相关数据新闻报道为例,从数据新闻选题的构成、数据的挖掘与分析、数据新闻表达方式等方面分析数据新闻实践的特点与不足,并提出建议。     

大数据时代气象数据分析应用方向探析

为提升气象数据分析质量,更好地应用大数据技术,分析了气象数据特征和构成要素,指出了大数据对气象数据分析的影响:对数据储存和使用、信息挖掘、信息发布的影响,展望了气象大数据应用发展趋势.未来,气象大数据将向着商品化和信息多样化方向发展,应做好大数据时代气象数据分析工作,强化气象数据应用,不断提升数据分析水平,使大数据分析...     

广东电网公司云浮供电局营销系统客户档案数据诊断

本文以营销系统客户档案数据诊断项目为实例,探讨了营销系统基础数据质量的重要性,并分别论述了营销系统数据诊断项目的整体建设过程、营销数据质量问题及诊断方法、项目建设成果等.营销系统客户档案数据诊断项目从数据的完整性和合规性两大方面对云浮局各供电所进行全面的数据梳理,整个数据整改工作效果显著,营销数据质量水平得到全面提升.     

《生态环境大数据建设总体方案》政策解读

我国"十三五"规划纲要明确提出实施国家大数据战略,把大数据作为基础性战略资源,全面推进大数据深化创新应用。面对严峻的生态环境形势与环境科学管理的需要,《生态环境大数据建设总体方案》应运而生。本文从环保云平台、数据资源整合、大数据管理平台、大数据应用四方面分析解读《生态环境大数据建设总体方案》的建设思路,从而充分发挥生态环境数据资源对人民群众生产、生活和经济社会活动的服务作用。     

城市空气污染数据统计分析及治理措施研究

城市空气污染数据具有统计特性,根据统计结果可以实现对空气污染数据的有效预测,提出一种基于支持向量机学习的城市空气污染数据预测方法。采用多维传感器进行城市空气污染数据采集,采用决策数据高维映射重构模型对多传感器采样的城市空气污染数据先验特征进行信息重排,采用闭频繁项集挖掘方法提取城市空气污染数据的统计特征量,采用量化回归分析方法进行大数据的主特征分析,将量化回归分析结果输入到支持向量机预测器中,结合灰度学习进行污染数据的有效预测和加权控制,提高数据预测的自适应性,实现城市空气污染数据优化预测。     

浅谈我国数据新闻的发展策略

大数据时代紧随信息时代而来,传统新闻学与大数据的有机融合衍生出新兴的新闻形态——"数据新闻"。经验匮乏和技术有限使我国在数据新闻领域尚有不足,存在着呈现模式单一、数据源稀缺、数据利用率低等壁垒。本文着眼于国内数据新闻发展历史,借鉴国外较为成熟的数据新闻实务模式,为国内数据新闻的发展提出博采众长、提升素养、建设开放新闻观等建议。     

北京市机动车尾气排放因子研究

通过调研北京市机动车车型构成、车辆行驶工况、环境温度、油品品质等基础数据,利用COPERTⅣ模型计算了机动车尾气中CO、NOx、HC和PM的排放因子.应用车载测试系统对典型轻型汽油客车和柴油货车的实际道路排放因子进行测量,并将测量结果与模型计算结果对比,结果发现国Ⅳ标准下,轻型汽油客车的CO排放因子的实测数据是模型数据的0.96倍,NOx的实测数据是模型数据的0.64倍,HC的实测数据是模型数据的4.89倍.对于国Ⅲ排放标准的柴油货车,轻型、中型和重型货车的CO排放因子,实测数据分别是模型数据的1.61、1.07和1.76倍,NOx排放因子的实测数据是模型数据的1.04、1.21和1.18倍,HC排放因子的实测数据是模型数据的3.75、1.84和1.47倍,PM排放因子则为模型数据是实测数据的1.31、3.42和6.42倍.     

基于GAN的小样本腐蚀失厚率数据增强方法

目的 对小样本腐蚀失厚率数据进行数据增强,实现数据扩充,以提升后续分析模型的预测精度,减轻过拟合程度,并提升模型的泛化能力。方法 利用生成对抗网络(Generative Adversarial Networks,GAN)扩充腐蚀失厚率数据,使数据分布更加全面。对生成数据进行降维可视化分析,探究生成数据与原始数据样本的分布规律,分析数据增强合理性,并从多个算法模型、多个评价指标角度对分析预测能力、泛化能力进行评估。结果 生成数据填补了原始数据在样本空间分布的薄弱环节,加入生成数据后,各机器学习算法模型得出的MSE均值为未加入生成数据的61.72%~91.74%,皮尔逊均值为99.01%~113.64%,预测准确度提升,结果关联性更强,模型泛化能力增强。结论 GAN能有效对小样本腐蚀失厚率数据进行增强,数据扩充对分析预测提供正向支持,生成数据不宜多于原始数据,防止扰乱训练样本分布,同时存在生成数据多样性受限的问题。     

对数据新闻“热”的冷思考

数据新闻,也称为数据驱动新闻,它是将大数据运用于新闻实践的重要体现。本文将从基础支持、媒体专业和受众三个角度来分析数据新闻流行的原因。但作为新事物,数据新闻也隐含着三种潜在的问题:开放数据、数据隐私和新闻教育。     

浅谈环境监测数据审核

准确、可靠、可比的环境监测数据是环境科学研究工作的基础,是环境管理的依据。环境监测数据审核是环境监测过程中各环节的最终环节,也是最重要的一环,是质量保证工作的重要环节。环境监测数据审核的水平高低,代表着监测站技术水平的高低。文章联系工作实际,详细介绍了环境监测数据审核人员要求、环境监测数据审核的依据、环境监测数据审核工作重点以及数据合理性分析方法,重点论述环境监测数据审核工作重点,以期提高数据审核工作质量和效率,为环境管理和环境科学研究服务。     

环境因素数据质量审核方法研究

目的 解决大气环境试验站的气象数据报表存在数据缺失、数据超过边界、数据内部不一致、数据时间不一致等问题,采用数据质量审核技术找出缺失、可疑或错误的数据,对科研人员进行警示,使其能够追根溯源,分析存在问题的原因。方法 参照相关规程和标准,建立环境因素数据质量审核算法和审核流程,并使用计算机语言编程固化流程和算法,利用多线程算法对数据进行扫描,实现大批量气象数据的并行审核。结果 利用Python语言设计了环境因素质量控制软件,通过该软件的应用证明了该方法合理、有效,能够快速、准确地标注气象数据报表中存在质量问题的数据。利用软件统计了存在问题数据的数量和正确率。结论 通过加载数据测试,证明了环境因素数据质量审核方法和审核流程合理有效,利用设计的审核软件实现了气象数据报表快速审核,提高了审核效率,减少了科研人员的劳动强度,为进一步填补、修正和利用数据奠定了基础。     

环境空气质量监测大数据存储模式研究

为解决传统的关系型数据库无法有效存储及查询海量空气质量监测数据的问题,设计了一个基于HBase的大数据存储模式。该模式以带时间戳的多版本形式存储空气质量监测物的实时数据,使用实时数据计算站点、城区的小时,日均值数据及评价后,将结果分别存储到对应的数据列中。通过设计包含地区编码、站点编码、时间信息维度的行健,将数据合理的分布在多个子区域及其包含的存储文件中,以便有效进行数据查询。实验结果表明该模式可以完全满足实时数据、小时均值数据及评价、日均值数据及评价的存储及业务逻辑的数据查询要求,从而证明了该存储模式的可行性。     

基于EAM的水环境数据平台的设计与实现

通过研究水环境管理中的数据库或数据平台的规范建设模式,提出了基于EAM的水环境数据平台建设方法,采取EAM方法设计了分层数据库,引入了数据集市对业务模板分类管理,构建了多数据库兼容技术和算法生成模块,综合建设出一套适合大数据管理要求的水环境数据平台。实践表明,这种方法构建的数据平台,能有效解决目前多系统、多数据、应用需求动态变化、以及数据安全的问题,有利于提升水环境大数据建设的基础。     

基于时空一体化的海洋大数据快速展示平台

海洋大数据的展示是海洋信息化过程中的重要环节,目前多源、异构和多维等海洋大数据特性给数据的快速展示带来技术挑战。本文从时间和空间维度考虑,设计并实现海洋大数据快速展示平台。平台首先针对海洋大数据的语义异构问题,实现基于本体驱动的数据预处理;同时,在时间维度上,利用PLR_LM算法,实现对海洋时间序列数据的压缩和降维;接着在空间维度上,采用多分辨率金字塔模型,实现海洋空间数据的分层和分块处理。平台保证展示数据准确的前提下,能有效提高海洋大数据展示的速度,为涉海行业研究者快速展示数据提供了新方案。     

应对可持续发展目标监测数据需求的供应来源探讨——以重庆市为例

联合国于2015年发布了17个可持续发展目标,为推动其落实,于2017年发布了包含232个指标的指标体系,同时由于其复杂的数据需求,成为可持续发展目标监测工作有效开展的瓶颈。本文针对该指标体系的数据需求,简述了具有可行性的数据供应来源,并以重庆市为例探讨了应对可持续发展目标监测数据需求的数据供应来源。结果发现,跨部门全面性数据需求,成为可持续发展目标监测工作有效实施的重要限制。地理国情普查/监测提供了跨部门数据融合的地理信息数据框架,共享交换平台提供了最为全面的跨部门数据汇聚成果,均成为可持续发展目标监测实施的有效数据供应来源。研究认为,如何发挥现有多类型数据汇聚工作成果优势,针对可持续发展目标监测需求开展数据供应机制研究,应是在实施层面推动监测有效开展的重要方向。     

基于MapReduce的海洋异构数据集成与实时查询展示研究

信息技术的发展,海洋领域的多元化信息系统建设步伐不断加快。大数据背景下,海洋数据多源异构的特性使得海洋数据无法实现共享和统一管理,从而导致产生数据孤岛的情况。结合MapReduce计算模型对该问题进行深入研究分析,本文提出基于中间件体系结构的海洋异构数据集成框架。该框架采用中介者模式进行数据查询,在查询中使用图结构的方式查找节点。通过实际项目实验验证,该框架能够提供一种有效的实时数据查询解决方案且在一定程度上减少数据孤岛现象的发生。     

编程Tser211处理团岛大气试验站气象采集数据

编写了处理团岛试验站气象数据的程序,实现了试验站气象数据的自动化统计处理与分析,提高了处理数据的效率,对处理统计该站的气象数据工作大有裨益。