第二节 统计数据质量评价标准研究

一 统计数据准确性的评价标准

在上一节中我们已经给出了统计数据准确性的基本内涵。在现实工作中，要判断统计数据是否准确还需要一个具有可操作性的评价标准。

在20世纪80年代以前，对于统计数据准确性的评价，国际统计学界主要是从数理统计和抽样技术的角度，探讨抽样调查的误差，以抽样调查误差的大小为衡量统计数据准确性的重要标准，并致力于设计各种科学的抽样方案以降低抽样误差，提高统计数据的准确性。但是后来随着统计理论和实践的推进，人们逐步认识到，仅把抽样误差作为衡量数据准确性的标准是非常不充分的。表2-2列出了现实中可能产生的各种统计误差。由该表可以看出，现实生活中统计指标与其所要观测的现实目标的真值之间的误差，只有一部分产生于抽样调查的误差。不仅如此，由于我们所要观测的现实目标的真值事实上是未知的，所以难以直接用统计指标值减去现实目标的真值去定量测定统计误差的大小，进而评价统计数据的准确性。

那么，在现实中应如何评价统计数据的准确性呢？我们认为可以利用以下几个替代标准去判断统计数据的准确性。

第一，根据有关理论，分析统计指标的定义、计算口径与计算方法，对其在理论上能否较好地反映所要观测的现实目标做出判断。例如，过去我国曾采用工农业总产值指标反映经济增长速度。由于工业和农业只是国民经济的一部分，同时总产值指标存在大量重复计算，即使其本身统计无误，使用这一指标去反映整个国民经济的发展速度也是不合适的，并不能满足准确性的基本要求。

第二，观察数据所反映的数量特征或变动规律是否在经济意义和现实状况上具备可解释性，并与绝大多数公众的整体直观感觉相贴合。这里所谓经济意义和现实状况的可解释性是指对于统计数据所反映的趋势变化和结构变化可以找到理论上或现实事件的合理说明。例如，2010年3月，在现实生活中房价普遍大涨的情况下，国家统计局却发布全国70个大中城市2009年房屋销售价格上涨1.5%，这个统计数字与老百姓的直观感受相差甚远，从而引起了人们对现行房地产价格指数准确性的质疑。

第三，观察统计数据相互之间的可衔接性。各种统计数据理论上存在一定的联系和可衔接性。例如，各地区GDP的汇总数理论上应等于全国的GDP，至少两者之间不应有过大的差距。经济增长与能源供应、经济增长与交通运输等指标之间也应该存在一定的同步增长的联系。如果出现了不衔接的情况，又没有其他特殊的理由，则很可能是其中的统计数据（一方或多方）存在一定的质量问题。

第四，利用统计诊断方法去发现统计数据的异常点。统计数据的变动有一定的规律可循，如果出现异常点，而现实中又没有可以适当解释这一异常出现的时间或理由，则也可以认为该数据可能是不准确的。

第五，对表2-2所列的各种统计误差分别进行评估，能定量分析的尽量定量分析，难以直接定量的可做定性分析和相对粗略的评估。

上述质量要求的评价标准主要是针对最终公布的指标数据而言的，如果更进一步探讨的话，还应该包括对源数据、中间数据和修订数据以及相关处理方法的质量要求。源数据是统计指标数据生产的原始产品，只有高质量的源数据才能确保最终数据的准确性；统计技术方法和相关的中间数据评估方法等则是确保生产过程质量的要素，只有科学合理的技术方法才能保障统计生产的有效进行。统计数据的修订是提高统计数据准确性的措施。不管是数据生产过程中的修正，还是针对报告数据开展的事后修订，对于提升政府统计数据准确性而言，都是不可或缺的环节。表2-3给出了DQAF框架下的准确性和可靠性维度对这些影响数据质量的基本要素的具体要求。

二 数据发布的质量标准

数据发布是统计工作的重要环节，数据发布的质量也是统计数据质量的一个重要方面。目前，国际上通行的数据发布标准是国际货币基金组织制定的“数据公布特殊标准”（SDDS）和“数据公布通用系统”（GDDS）。两个标准分别源于1994年、1997年金融危机的教训。为了更及时、有效地监测成员国（地区）的经济金融状况，国际货币基金组织制定了这两个文件，旨在为成员国（地区）经济金融统计数据的发布提供统一的规范与标准。

其中，SDDS是为已经参与（或正在积极参与）国际金融市场的国家制定的数据发布标准，而GDDS则是专门针对尚未达到SDDS标准的成员国（地区）所制定的数据发布标准。就两者的区别而言，GDDS强调为改善统计数据发布质量做出努力，特别提出了发布频率和发布及时性方面的质量标准；而SDDS则对发布数据的覆盖范围、频率和及时性等方面提出了更高的要求。

两类标准所涉及的主要内容可用图2-3来描述：除了在统计范围、发布频率和及时性方面有所差异外，GDDS和SDDS在公布数据的质量、公布数据的完整性、公众获取3个方面提出了共同的要求。

对于两种评估框架的异同，我们拟从以下几方面进行分析。

（一）共同的质量要求

由图2-3可知，GDDS和SDDS框架在公布数据的质量、公布数据的完整性和公众获取3个方面拥有相同的质量要求。其中，在公布数据的质量方面，两类框架关注的重点在于数据的编制方法、源数据以及数据的核对方法和确保数据合理性的统计框架。在公布数据的完整性方面，两类框架强调应发布数据的编制条件和规定、对发布数据的评述、对修订方法等信息的提前披露等。在公众获取方面，两类框架均认为应事先披露数据发布和相关统计活动的日程表，并同时将数据资料发送给各方。

（二）统计范围的差异

由图2-3可知，GDDS涵盖实际部门、财政部门、金融部门、对外部门和社会人口部门五个国民经济分类部门；SDDS则涵盖实际部门、财政部门、金融部门、对外部门四个部门，而仅将人口总量等数据作为附表，鼓励成员国（地区）发布。

对于各个部门而言，两个框架均按照“能够反映活动实绩、政策，或者是能够帮助理解经济发展与结构变化”的标准选定最为重要的数据类别。其中，GDDS框架选定的数据类别可划分为“规定的”和“受鼓励的”两类；而SDDS框架则把选定的数据类别划分为“规定的”、“受鼓励的”和“视相关程度的指标”三类。这里仅给出GDDS和SDDS框架关于数据类别的划分情况（见表2-4）。

（三）发布频率和及时性的差异

GDDS和SDDS框架在数据发布的频率、及时性方面存在一定的差异，GDDS框架规定了不同类别数据的发布频率和发布时间的要求（见表2-5）。SDDS框架在数据发布频率和及时性方面则提出了更高的要求，强调成员国（地区）以更快的频率、更加及时地发布统计数据（见表2-6）。

通过表2-6与表2-5的对比可以看出，整体上SDDS框架对于数据发布频率和及时性的要求要高于GDDS框架。

三 国际上常用的统计数据质量评估框架的对比分析

统计数据质量评估框架是对数据质量进行综合测评的工具。目前，关于统计数据质量评估的官方准则和国际经验已较为丰富，且呈现体系化特征。许多国际组织和发达国家的统计机构都提出了有关数据质量的评估框架。在众多数据质量评估框架中，国际货币基金组织（IMF）的DQAF框架、欧洲统计系统（ESS）的统计质量保证框架、经合组织（OECD）的统计活动质量框架和导则具有较强的代表性，它们在数据质量含义的阐述、数据质量单项指标的描述、数据质量框架与评估方法、综合质量指标的制定等方面的一些典型做法在国际上得到了普遍的认同和广泛的应用。

以下，我们将对这3种统计数据质量评估体系的整体框架、数据质量维度和评估方法等进行简单介绍，并在此基础上进行比较分析，以期为我国政府统计数据质量评估体系的建立提供有益的借鉴。

（一）三种具有代表性的数据质量评估框架

1. IMF的DQAF框架

2001年，国际货币基金组织统计部制定的DQAF框架，是为IMF的工作人员和各国统计局设计的一套数据质量评估系统，旨在对GDDS和SDDS框架做出补充。DQAF框架的设计参考了GDDS和SDDS框架的基本规定，涉及数据质量相关的统计管理、统计程序和统计产品等多个方面。这一框架构建了数据质量的“1个质量前提条件”和“5个质量维度”，并通过对比现行的规定和良好做法，给出了相应的质量要素和评估指标。在评估框架的结构设计上，DQAF框架采用多层结构的形式，前三层适用于所有数据集，之后各层专门针对不同类别的数据集，可以通过焦点问题和要点，对数据集进行详细评估。

2. ESS的统计质量保证框架

欧洲统计系统（ESS）的统计质量保证框架主要由5个基本要素构成，并且按照4种形式进行评估，其基本的框架如图2-4所示。

在这一统计质量保证框架基础上，欧洲统计系统还制定了包括实践规范、质量指标集、评估方法手册、报告标准和管理框架等在内的一系列统计数据评估准则和操作规范，这些准则和规范在统计数据的质量指标、质量报告、统计审核与质量认证以及质量改进措施等方面提出了一整套操作方法，用以指导欧盟成员国（地区）的统计实践。其中，《统计质量管理框架》对于政府统计工作有很强的指导价值，该框架以《欧盟统计手册》提出的质量框架为标准，从制度质量、质量保证和全面质量管理3个方面进行了模块划分。2009年3月，新的欧洲统计条例诞生，定义了相关质量标准，并对质量指标以及最低标准进行了定义，在欧盟系统内部形成了一个超越先前的统计质量保证框架。

3. OECD的统计活动质量框架

经合组织（OECD）的《经合组织统计活动质量框架和导则》主要涉及4个方面的内容，涵盖数据质量的定义与维度、新出现统计活动质量的保证程序、已有统计活动质量的定期评估程序、统计活动基本准则与质量指南。这一框架和导则可通过图2-5进行描述。

由图2-5可以看出，OECD的统计活动质量框架旨在通过对统计活动的相关内容进行准则约束来达到提升数据质量的目的。《经合组织统计活动质量框架和导则》为各成员国（地区）的政府统计工作提供了很好的理论参考和方法指导，对于提升成员国（地区）的政府统计数据质量起到了十分积极的作用。

（二）三种统计数据质量管理框架的比较分析

为了更进一步地认识这三种框架，我们从整体框架以及质量维度入手开展对三种框架的比较分析，以期得出对我国有借鉴意义的结论。

1．整体框架的比较

国际货币基金组织的数据质量综合评估框架，采用了层层递进的结构，对与数据质量相关的统计体系管理、统计程序和统计产品进行了规范要求。从其框架结构来看，包含综合质量、质量维度、评估要素和评估指标多个层级。其中，质量维度层包含“质量前提条件”和“保证诚信”“方法健全性”“准确性和可靠性”“适用性”“可获得性”5个质量维度。“1个质量前提条件”和“5个质量维度”可进一步细化为不同的质量要素，而质量要素又可以由不同的具体质量评估指标来反映。从整体来看，DQAF框架表现为从一般维度分解到具体要素，再由具体要素细化到详细指标的过程。

欧洲统计系统的质量管理体系主要以《欧洲统计手册》的质量框架为准，按照与质量管理要素之间的关系将其划分为质量保证框架、制度质量框架以及全面质量管理3个层次。

ESS的质量保证框架旨在为保证统计生产过程和统计产品的质量提供方法和指导，生产过程的标准化在数据质量评估中起到了较大的促进作用。相应的质量保证措施则涉及质量要求的文件说明、每一进程的严格定义（需要共同知晓）、过程的定期监测、产品质量与过程质量的连续监测和报告、向用户告知相关信息、改进措施的规划实行与评估等。

ESS认为官方统计的组织环境并不完全包含在全面质量管理模型中，因为它并不能为统计部门自身所直接控制。ESS统计数据质量框架的基本准则规定了在数据产品和统计过程中可采取的基本措施，并通过定义和评估绩效达到提高组织质量水平和统计数据可信度的目标。

OECD的统计活动质量框架很大程度上与其统计活动的阶段划分相联系。在这一框架中，统计活动被分为7个阶段，每个阶段都有对应的质量要求。整体上看，OECD的质量框架包含两大部分的要求，一是对现有统计活动的质量自评估，二是对预计新开展的统计活动的质量保证程序。下面，我们给出对现有统计活动的质量自评估的保证框架示意图（见图2-6）。对于新开展的统计活动而言，除了图中各阶段之外，还需要识别对新数据的需求并提交给相应机构的统计政策小组。

通过以上分析，我们可以将3种框架的异同点汇总在表2-7中。

2．质量维度（质量要求）的比较

3种框架的质量维度（质量要求）如表2-8所示。从中可以看出：3种框架对统计数据的质量要求有不少共性。例如，都包括了准确性（DQAF框架中为“准确性和可靠性”）、可获得性（ESS框架中为“易得性”）等维度；DQAF框架和OECD的统计活动质量框架均包含诚信要求（分别是保证诚信、可信性，尽管说法有所差异，但基本含义相同）；ESS的统计质量保证框架与OECD的统计活动质量框架均包含对及时性、一致性的要求。

当然，三者的质量维度也有一些差异。从整体上看，3种框架的侧重点不完全相同，DQAF框架更加侧重于对报告数据的质量要求，而ESS的统计质量保证框架与OECD的统计活动质量框架和导则侧重于控制数据生产过程与保证数据质量的具体措施，不仅包含了对报告数据的质量要求，还包括了对源数据的具体质量要求。另外，DQAF框架除了涵盖数据质量的5个维度之外，还考虑了质量的前提条件，比如法律和机构环境、资源、相关性等，而ESS的统计质量保证框架与OECD的统计活动质量框架并未包括对数据质量前提条件的考察。

3．评估方法的比较

表2-9列出了3种框架的基本评估方法。从表2-9中可以看出，3种框架在评估类型、侧重点、评估方法以及评估过程与汇总处理方面均存在不同程度的区别。DQAF框架主要针对数据用户的需求，因此，该框架更倾向于对数据质量的评估；ESS的统计质量保证框架与OECD的统计活动质量框架，不仅关注数据自身质量的评估，还倾向于对数据生成各个环节中数据质量保证条件的考察，从统计机构自身的建设来看，这两种框架需要根据新出现的一些问题或者是数据生产过程中的新情况不断进行修订。

四 制定我国政府统计数据质量评价体系的基本思路

影响我国政府统计数据质量的因素有很多，除了统计体制、统计方法和制度等方面的原因外，缺乏一个全面、系统并且具有可操作性的统计数据质量评价体系也是一个重要原因。根据前文对国际上现行的三大统计数据质量管理框架所进行的比较与分析，我们发现三大框架中，DQAF框架主要是根据用户的需求，对数据自身质量进行评估的框架，ESS与OECD提出的框架实质上是对统计数据的生产过程进行质量管理与控制的框架。相对而言，后两种框架对统计部门的要求更高。从我国现有的统计水平和条件看，对政府统计数据的质量管理和控制框架的建立分为两步进行比较适宜。第一步是首先借鉴DQAF框架，以满足用户的需求为宗旨，建立对主要宏观经济指标进行质量评估的基本框架；第二步才是借鉴ESS与OECD提出的框架，并结合我国的实际情况，从数据生产的角度，建立能够满足用户需求的统计数据全面质量管理体系。关于政府统计数据全面质量管理的基本框架拟在本书的第三章再做进一步的探讨。这里，我们借鉴DQAF框架，提出一个对我国政府统计数据进行质量评估的基本框架（见表2-10）。

表2-10中的数据质量概念采用了多维的数据质量概念，并对DQAF框架提出的“1个前提条件”“5个质量维度”进行了拓展。其中，①DQAF框架下质量的前提条件和保证诚信维度对应于本章的客观性；②DQAF框架下的方法健全性维度对应于本章的方法健全性；③DQAF框架下的准确性和可靠性维度对应于本章的准确性、可靠性两项；④DQAF框架下的适用性维度对应于本书的适用性、可比性和及时性三项；⑤DQAF框架下的可获得性维度对应于本章的完整性和可获得性两项。

该数据质量综合评估框架采用了双层结构的形式。第一层次列出了相应的数据质量维度。其中，客观性、适用性和方法健全性主要是对统计数据质量的前提条件和统计活动设计阶段的质量要求；准确性、可靠性和可比性主要是对统计数据生产阶段的质量要求；及时性、完整性和可获得性主要是对统计数据发布阶段的质量要求。在各质量维度之下，又设置了若干具体的质量指标，通过这些具体指标可以更确切地反映相应数据质量维度的内在要求。

本章主要参考文献

［1］程开明：《统计数据质量诊断与管理研究》，浙江工商大学出版社2010年版。

［2］常宁：《IMF的数据质量评估框架及启示》，《统计研究》2004年第1期。

［3］傅德印、黄恒君：《统计调查质量的测度与评估方法》，中国统计出版社2011年版。

［4］国家统计局国民经济综合统计司：《GDDS在中国》，中国统计出版社2006年版。

［5］郭江：《政府统计数据质量的定量二级检验》，福州大学硕士学位论文，2006年。

［6］李金昌：《论什么是统计数据质量》，《统计与决策》1998年第9期。

［7］刘洪、黄燕：《统计数据质量及其评估方法》，《统计与决策》2006年第3期。

［8］杨青云、赵培英、杨冬青等：《数据质量评估方法研究》，《计算机工程与应用》2004年第9期。

［9］余芳东：《外国统计数据质量的涵义、管理以及对我国的启示》，《统计研究》2002年第2期。

［10］曾五一：《国家统计数据质量研究的基本问题》，《商业经济与管理》2010年第12期。

［11］朱冬辉：《统计数据质量管理中若干问题的探讨》，《统计与决策》2005年第8期。

［12］G. Brackstone, “Managing Data Quality in a Statistical Agency”，Survey Methodology（2）1999.

［13］R. Y. Wang, D. M. Strong, “Beyond Accuracy: What Data Quality Means to Data Consumers”，Journal of Management Information Systems（4）1996.

［14］T. Dalenius, Errors and Other Limitations of Survey, Statistical Methods and the Improvement of Data Quality（London: Academic Press Inc.,1983）.