稳健统计法在含离群值样本中的应用

在离群值(outlier)的处理方法上,目前都是采用剔除法.即先选用一种统计方法,如3S法、Dixon法、Crubbs法、T检验法等,若经检验确知是离群值后即剔除它.此法的优点是能较明确地指出谁是离群值,但亦存在一些缺点:一是各方法的原理有差异,使用不同的检验方法可能得出不同的结论.二是对众多数据中可能存在的笔误等粗差无法区别和处理.三是剔除离群值后,剩余样本的标准差可能大大降低,对了解分析方法的精密度及对样品定值不具备通用性.最近,英国皇家化学协会分析方法委员会采用的稳健的统计法(Robust Statistics)能较好地解决上述问题.     

用稳健统计法处理方法标准验证实验中方法检出限数据

方法检出限是分析方法基本性能参数之一。根据《环境监测分析方法标准制修订技术导则》(HJ 168—2010)的要求,此参数需要6家以上实验室基于特定样品测试数据的标准偏差得到。目前,标准文本大多采用各家实验室方法检出限中最大值。研究提出用稳健统计法处理方法验证数据,无需识别和删去离群值,可将离群值的影响降到最小。基于4组公开发表数据和2组实测数据,比较了不同方法计算结果。结果表明:参与统计的3组数据29个检测项目中,常规方法确认的方法检出限被判为离群值占27.6%。取最大值存在数值偏高的风险。提出了用曼德尔k检验法识别1组方法检出限数据中的离群值,该方法同样可以用于实验室数据与标准文本中方法检出限符合性判断。     

监测分析方法验证数据异常值的处理

以《固体废物痕量金属元素的测定电感耦合等离子体发射光谱法》编制说明(征求意见稿)中精密度数据为例,方法标准编制单位在处理方法验证数据时,应按照《GB/T 6379.2—2004》离群值剔除方法处理异常数据,避免重复性限r和再现性限R计算错误。     

环境监测实验室水中砷、汞监测能力考核结果评价

报道了全国环境监测系统136个实验室地表水中As、Hg监测能力考核的结果。采用四分位稳健统计法处理各实验室的测定数据,砷和汞结果均满意的实验室为101家。分析了各实验室质量管理体系运行中存在的问题,质控环节的问题是质量体系运行中较为突出的问题。提出了综合数据结果和质量体系运行情况进行结果评价的方法。     

环境检测领域能力验证工作的组织及评价方法

介绍了环境检测领域能力验证的基本情况和统计方法，以及当前国内外能力验证计划提供者采用的数据处理方法，分析了该领域能力验证的发展趋势。指出环境检测领域化学分析方面的能力验证计划一般采用参加者结果的中位值或稳健均值作为指定值，采用标准化四分位距或稳健标准偏差作为能力评定标准差，以 z比分数法评价参加者的能力。     

环境电磁辐射测量比对

为考核辐射环境监测质量,浙江省辐射环境监测站组织了2010年全省辐射环境监测网络环境电磁辐射测量比对。采用稳健Z比分数法评价测量数据的一致性。结果表明,射频综合场强测量比对中,9台仪器测量结果满意,1台仪器测量结果离群。工频电磁场测量比对中,有9台仪器测量结果满意,2台仪器测量结果离群。88%的测量值为满意结果,12%为离群结果,测量比对有效地发现了测量仪器存在的问题,保证监测工作结果的准确性。     

实验室间比对能力验证中的两种稳健统计技术探讨

对环境监测实验室能力验证中两种稳健数据统计技术以及z比分数评价准则进行了探讨,并介绍了如何使用Excel电子表格软件实现数据的统计处理。四分位数法和迭代法均可作为实验室比对能力验证的数据处理技术,相对于四分位数稳健统计方法,迭代法是一种更加温和且可靠的稳健统计方法,但不适用于分割水平设计的能力验证计划。     

基于方法验证数据用Top-down方法评估测量不确定度

依据现有指南和规范,在分析方法标准验证实验和报告中,常常分别评估准确度和精密度。这容易导致以加标回收率表示的准确度数据缺乏良好精密度支持的现象。基于ISO 11352原理,首次提出在不增加实验室分析人员工作量的情况下,利用自上而下技术评估方法测量不确定度,即同时考虑准确度与精密度作为一个综合性指标评估方法性能。这是标准制修订时落实测量不确定度条文一条操作性强的技术路线。利用改进后的加标回收率计算结果评估方法准确度。5组方法验证实测数据表明,用测量不确定度这一综合性指标评估方法性能比分别用准确度和精密度指标更符合实际情况。他可引导实验室分析人员在设计和处理方法验证数据时,更加重视方法精密度。在修订HJ 168—2010时,建议增加测量不确定度这一综合性指标评估方法性能。     

采用Top-down技术的控制图法评定水质中铅砷的不确定度

来自《测量不确定度表述导则》(GUM95)中的模型,是国际上第一个取得一致认同的模型,也一直被作为我国环境监测实验室不确定度评定的经典方法。但是GUM方法采用的是bottom-up技术来进行不确定度评定,其步骤繁琐,容易造成遗漏或重复,且无法反映实验室长期质控状态。本文采用Top-down不确定度的评定方法一控制图法来评定本实验室质控样铅砷的不确定度,数据主要来自实验室内质控,通过AD统计法和绘制移动极差控制图,判断数据是否具有正态性和独立性,计算获得砷铅的不确定度。Top-down方法将测量不确定度评定与实验室质控工作紧密相连,对于环境监测领域不确定度的评定,它比GUM法更实用。     

基于稳健统计方法对实验室比对中土壤汞的质量控制指标研究

利用稳健四分位间距法和迭代法2种稳健统计方法,通过对全国31个省、自治区、直辖市范围内共334家环境监测单位开展土壤中汞的实验室间比对,对比对测定结果和质控数据进行统计分析,系统性地研究了土壤中汞的质量控制指标。建议实际监测工作中土壤汞的实验室间相对标准偏差范围为7%～19%,相对误差控制指标为±8%,低浓度水平下可适当放宽至±10%,加标回收率控制范围为81%～109%,为日常监测开展土壤汞的质量控制工作提供了评价依据,具有广泛的应用价值和较好的指导作用。     

2种统计方法在一次实验室间比对中的应用比较

比较了稳健统计法和误差系数法在水中苯系物实验室间比对结果中的应用，分别采用两种方法对比对结果进行了分析，探讨了两种统计方法的差异和适用范围。结果显示，两种方法对此次比对结果的分析结论基本一致，在实际应用中应跟据实验室间比对的目的和样品特点选择合适的统计方法。     

Reproducibility and imputation of air toxics data

Ambient air quality datasets include missing data, values below method detection limits and outliers, and the precision and accuracy of the measurements themselves are often unknown. At the same time, many analyses require continuous data sequences and assume that measurements are error-free. While a variety of data imputation and cleaning techniques are available, the evaluation of such techniques remains limited. This study evaluates the performance of these techniques for ambient air toxics measurements, a particularly challenging application, and includes the analysis of intra- and inter-laboratory precision. The analysis uses an unusually complete-dataset, consisting of daily measurements of over 70 species of carbonyls and volatile organic compounds (VOCs) collected over a one year period in Dearborn, Michigan, including 122 pairs of replicates. Analysis was restricted to compounds found above detection limits in > or =20% of the samples. Outliers were detected using the Gumbell extreme value distribution. Error models for inter- and intra-laboratory reproducibility were derived from replicate samples. Imputation variables were selected using a generalized additive model, and the performance of two techniques, multiple imputation and optimal linear estimation, was evaluated for three missingness patterns. Many species were rarely detected or had very poor reproducibility. Error models developed for seven carbonyls showed median intra- and inter-laboratory errors of 22% and 25%, respectively. Better reproducibility was seen for the 16 VOCs meeting detection and reproducibility criteria. Imputation performance depended on the compound and missingness pattern. Data missing at random could be adequately imputed, but imputations for row-wise deletions, the most common type of missingness pattern encountered, were not informative. The analysis shows that air toxics data require significant efforts to identify and mitigate errors, outliers and missing observations, and that these steps are essential and should be performed prior to using these data in receptor, exposure, health and other applications.     

Robust Regression with Data-Dependent Regularization Parameters and Autoregressive Temporal Correlations

We introduce robust procedures for analyzing water quality data collected over time. One challenging task in analyzing such data is how to achieve robustness in presence of outliers while maintaining high estimation efficiency so that we can draw valid conclusions and provide useful advices in water management. The robust approach requires specification of a loss function such as the Huber, Tukey’s bisquare and the exponential loss function, and an associated tuning parameter determining the extent of robustness needed. High robustness is at the cost of efficiency loss in parameter loss. To this end, we propose a data-driven method which leads to more efficient parameter estimation. This data-dependent approach allows us to choose a regularization (tuning) parameter that depends on the proportion of “outliers” in the data so that estimation efficiency is maximized. We illustrate the proposed methods using a study on ammonium nitrogen concentrations from two sites in the Huaihe River in China, where the interest is in quantifying the trend in the most recent years while accounting for possible temporal correlations and “irregular” observations in earlier years.     

应用稳健统计方法对环境空气臭氧自动监测现场比对核查结果的分析研究

根据2015年9个城市53台现场臭氧分析仪的现场比对核查结果,比较研究了稳健统计方法和一般统计方法在评价国控网臭氧自动监测数据准确性和精密性上的应用。研究表明:稳健统计能够在不剔除异常数据的前提下降低异常值对正确评价臭氧自动监测数据质量的影响,适合评价现场比对核查结果;采用Hubers方法进行稳健统计,2015年国控网臭氧日常浓度点相对偏差的95%置信区间约为-0.1%至4.5%,95%预测区间为-14.0%~18.3%,变异系数约为9.5%,数据质量仍有提升空间。     

统计学在垃圾焚烧飞灰浸提液重金属检测准确性研究中的应用

为提高复杂基体重金属检测准确性,在使用电感耦合等离子体发射光谱法检测生活垃圾焚烧飞灰浸提液时,进行标准曲线法、标准加入法和内标法3种定量校准方法比对。3种方法报出结果经过加标回收率换算后的样品原值具有明显一致性,使用统计学方差齐性和单因素方差分析验证了该一致性成立,表明内标法的精密度和准确度与标准曲线法、标准加入法无显著性差别。以3种方法样品原值的算数平均值作为样品最佳估计值评价各方法实际报出结果准确性,标准加入法准确性最好;稀释后的样品内标法加标回收率明显优于标准规定,受稀释倍数影响不大,工作效率高,满足HJ 781—2016质控要求,建议可作为该标准的补充;建议批量样品检测时优先采用内标法。3种方法样品原值一致性的验证,有助于执法、科研中对于复杂基体重金属物质含量的准确判断。     

应用稳健马氏距离评价实验室间比对能力考核

基于稳健马氏距离的多元统计算法，综合评价了全国环境监测系统96个实验室4种有机氯农药监测能力考核的结果，从中筛选出25个考核结果存在异常的实验室。将多元统计结果与稳健Z比分数结果进行比较，发现基于稳健马氏距离筛选出的异常实验室其稳健Z比分数结果也存在一定的问题。同时简单介绍了稳健马氏距离及其相关的异常值筛选的算法原理，并详细介绍了其基于R语言的实现过程。     

粪大肠菌群酶底物法在环境应急监测中的应用

结合国外粪大肠菌群的酶底物检测方法，针对某次突发环境污染事件，用酶底物法和标准方法多管发酵法同步检测受污染地表水中的粪大肠菌群，讨论酶底物法在应急监测中检测粪大肠菌群的适用性。结果表明，两种方法的测定数据显著相关，没有统计学差异（ P＞0．05）。相对于多管发酵法，酶底物法特异性强，检测时间短，二次污染少，符合应急监测的要求。     

实验室能力验证中的分割水平检测样品与稳健统计技术

论述了分割水平检测样品和稳健统计技术在对实验室能力验证活动中的应用,并对导致CNAL T040水中金属元素检测能力验证计划中部分结果异常的原因进行了分析。