中国政府统计数据质量管理问题研究
上QQ阅读APP看书,第一时间看更新

第二节 统计数据全面质量管理体系框架的构建

一 统计数据全面质量管理体系的基本框架

基于对统计数据质量概念以及我国官方统计数据整体生成流程的理解,我们初步设计了一个对政府统计数据进行全面质量管理的整体框架(见图3-4)。

图3-4 政府统计数据质量全面管理的整体框架

下面,我们对该整体框架再做一些扼要的说明。进行统计数据全面质量管理的根本目标就是要保证政府统计数据的质量,所有的管理与控制都是围绕这一目标进行的。统计数据的质量可以从保证质量的前提条件、保证诚信、方法健全性、数据的准确性和可靠性、数据的适用性和可获得性等多个不同的维度进行综合评价。为了使统计数据能够达到上述质量标准,需要从进一步改革与完善统计管理体制、健全与完善统计方法与制度、改进统计的实践操作等方面入手。从流程管理的角度看,就是要对数据生产的事前阶段、事中阶段和事后阶段进行全面控制与管理,通过对统计数据生成全过程的质量控制,实现提高政府统计数据质量的目标。

二 事前阶段的质量控制

事前阶段即统计设计阶段。事前阶段的质量控制对于政府统计数据的质量有着关键性的影响。在一个质量不高的统计设计基础上去生产统计数据,无论其统计实践操作水平有多高,也不可能生产出高质量的统计数据。从我国的实际情况来看,未能“与时俱进”的统计方法与制度是影响政府统计数据质量的主要因素之一。因此,必须十分重视对统计设计的优化。

政府统计设计的优化主要是通过对统计方法制度的健全和规范去进行的。自20世纪以来特别是20世纪90年代以来,联合国、IMF等国际组织制定、修订了大量的统计国际准则来指导、规范各国的统计制度方法设计。我们认为,在优化我国的统计设计时,应当尽可能地与国际接轨,尽可能地按照这些准则去健全和完善我国有关的统计方法制度。

这是因为,第一,所有的现代化大生产和现代国民经济的运行都具有相当多的共性,定量把握社会经济现象的主要统计指标的基本测度方法对世界各国都是适用的。可以采用国际通用的计算口径和计算方法去计算有关的统计指标。当然,世界各国都会有自己的特色,但这些特色主要不是表现在统计指标的计算口径与方法上,而是表现为同样的指标可能有不同的数量表现。例如,不同国家和地区的发展水平都可以用GDP来反映,各国的特色不是表现在用不同的产出指标去反映各自的国民经济活动的规模和水平,而是反映在不同水平的人均GDP和产业结构比例等方面。第二,联合国等国际组织制定的各种国际准则和规范文本,凝聚了各国专家的智慧,是人类共同的宝贵财富。根据这些准则健全和完善我国的统计方法制度,可以起到事半功倍的作用。今后,我国的统计专家和政府统计机构也要积极参与国际统计准则与规范文件的制定,不断提高我国在国际政府统计界的话语权。第三,按照国际准则健全和规范我国的统计方法制度,有利于加强我国统计与国际统计的可比性,有利于我国适应经济全球化的进程,提高我国在国际上的竞争力。

应当指出,我们主张在优化统计设计时,要充分借鉴国际统计准则与相关规范文件。这并不意味着在所有细节上都照搬国外的做法。这是因为,各国的具体国情、统计体制和统计资源投入都存在不少差别。优化统计设计的另一个重要目的是尽可能地发挥有限统计资源的效率,将稀缺的统计资源更多地投向更能满足本国社会公众对统计数据需求的地方。因此,在基本计算口径和计算方法与国际准则尽可能保持一致的前提下,统计设计的优化也要结合本国的实际情况,在数据的来源渠道、涵盖范围、获取原始数据的方法和具体数据的处理方法等方面,做出适当的安排。

下面我们对统计设计阶段不同环节需要注意的问题再做一些探讨。

(一)统计指标选取与设计的质量控制

我国现有的统计指标体系仍然受到传统体制较大的影响。由于各种原因,大量主要为计划经济管理服务的指标被保留了下来,而社会迫切需要了解的新指标却没有得到及时补充与增加。因此,统计信息的大量冗余与严重短缺并存,难以很好地满足各级政府与社会公众对统计信息的需要。为了解决这一问题,在统计指标的选取与设计中,应特别注意遵循以下几条原则。

第一,要有明确的目标指向,即弄清楚希望通过统计指标说明什么问题。在进行统计指标和统计指标体系的设计时,不仅要做“加法”,更要做“减法”。要加强与各类统计信息用户的沟通,根据社会的需要,增加一些确实需要的指标;同时,还要本着节约资源的原则,对已有的统计指标做必要的清理,坚决删除一些过时的或并不十分必要的指标,尽可能避免指标的重复设定。

第二,所设立的指标和指标体系要符合相关的社会经济理论给出的科学内涵,并且可以进行定量测度。

第三,要尽可能地满足国际比较的需要。

(二)数据资料来源渠道与涵盖范围设计的质量控制

在我国现有的统计实践中,常常有这样的情况:在官方公布的有关统计方法制度中,虽然某一项统计指标的定义与计算方法似乎都比较明确,但其所利用的原始数据资料的具体来源和覆盖范围却语焉不详。具体的数据究竟是如何得出的,往往只有亲自操作的人才知道,其他人无法进行验证和检查。这种情况使得政府统计数据的公信力大受影响,同时也不利于统计方法制度的进一步完善与政府统计数据质量的提高。要解决这一问题,应当加强对数据资料来源渠道与涵盖范围设计的质量控制。

数据资料来源与涵盖范围的确定,既要尽可能满足指标编制的需要,又要考虑数据的可获得性,兼顾统计资源的节约和原始数据的质量。同时还要及时向社会公众公布,提高其透明度。具体来讲,要注意以下几点。

第一,要尽可能充分利用已有的原始数据来源渠道,对于确实需要、现有资料又无法满足的数据指标才组织新的调查。不同的统计指标可能存在相同的原始数据资料,因此,要加强不同统计指标对相关原始数据资料的共享,这样做不仅有助于节省统计资源,而且有利于提升统计数据的质量。

第二,在个别无法获得编制指标所需直接原始数据的场合,也可以考虑利用性质相近的原始数据来代替。但应当注意,这一替代数据应与被替代对象有高度的相关性,并且能够在相对较长的时期内及时地获得。

第三,近年来,随着科学技术的进步,在日常的经营、交易和各种社会活动中出现了大量的基于现代信息技术与工具的可以量化、储存和连续扩充的各种类型的数据。这种数据被称为“大数据”。如电子商务的数据、金融交易的数据、电子监控的数据,以及上网记录通过各种数码传感器获得的信息等。如何更好地利用“大数据”去编制政府统计的有关指标,是今后需要关注的重要课题。

第四,及时调整数据资料的涵盖范围。当今世界,社会经济状况瞬息万变,包括经济结构的变化、技术产品的更新换代等。为了使统计指标能够反映这些变化,常常每隔一段时间,就需要对原始数据的涵盖范围做一些调整。例如,在编制居民消费价格指数时,常常需要对所选择的代表规格品进行调整,一些已经退出市场或已不为市场主流的商品不再作为代表规格品,而另一些新出现并且市场份额越来越大的商品则进入代表规格品考察的范围。

(三)调查设计的优化与质量控制调查设计的优化是提高数据质量的关键点之一。但具体调查方案优化涉及的范围较广、内容较多,限于篇幅,这里不做过多论述,只是扼要指出当前调查设计优化需要注意的重点。对具体调查方案优化感兴趣的读者可参见:曾五一《统计调查体系与调查方法问题研究》,中国统计出版社2009年版。该文献是曾五一等完成的国家社科基金重点项目“统计调查体系与方法改革问题研究”的最终成果。

我国现有的统计调查存在的主要问题有以下两点。

第一,虽然早在20世纪90年代初期国家统计局即已提出要“建立以周期性的统计普查为基础,以经常性的抽样调查为主体,以必要的统计报表、重点调查、科学估算为补充的多种方法综合运用的统计调查方法体系”,但是由于各种原因,这一目标体系至今仍未完全实现。抽样调查远未真正成为整个调查体系的主体。

第二,各种统计调查方法的应用缺少必要的衔接与配套。定期统计报表与抽样调查之间产生脱节,普查与抽样调查以及日常统计报表之间缺少有机的结合。这些都使得各种方法的并用没有达到预想的效果,反而成为“数出多门”的一个主要原因,引起一些不必要的混乱,造成资源的浪费。

为了进一步提高统计调查的效率,必须十分重视对调查设计的优化,进一步加强对调查设计的质量控制。具体来讲,要特别注意以下几点。

第一,要根据我国的具体情况和所要收集的原始数据的特点确定具体的调查方式。例如,对于规模以上的工业企业,可采用定期报表的形式去采集相关的原始数据;对于规模以下的工业企业,则可采用抽样调查的方式;对于需要通过样本去推算总体数量特征的情况,应采用抽样调查的方式;对于需要了解事物发展的过程、探讨现象具体发生原因的情况,则可采用典型调查的方式等。

第二,要进一步大力推广抽样调查。与全面调查相比,抽样调查不仅具有成本低、时效性强的特点,而且具有受外在干扰较少和登记误差较小的特点。因此,要尽可能地使用抽样调查去收集原始数据。当然,要想进一步推广抽样调查,还必须解决好目前影响其进一步推广的诸多问题。例如,如何进一步完善多目标和分层次抽样方法,以适应目前我国各级政府对社会经济层层管理这样一种体制对统计信息的需要?如何更好地进行抽样框的建设与样本轮换?如何针对不同部门的实际情况确定合适的抽样方案,等等。

第三,要大力推广和应用新的调查技术。近年来,电话和互联网的普及以及计算机和电子传感技术的进步,为政府统计获取原始数据提供了新的有力工具。这些新的技术手段不仅可以使统计调查的效率大大提高,而且可能带来统计调查方式的重大变革。因此,应注意大力推广和应用新的调查技术手段,认真研究这些新技术的适用场合,以及如何更好地将其与各种传统的统计调查方法结合运用的问题。

第四,要积极推动统计估算的科学化和规范化。所谓统计估算,就是以已掌握的信息为基础,根据事物的客观联系和变化规律,在一定的假定条件下,对社会经济现象总体的数量关系和数量特征进行测算和估计曾五一:《统计估算理论、方法和应用研究》,中国金融出版社1999年版。。作为一种间接取得统计信息的方法,统计估算具有许多优点,科学的统计估算不仅能够使调查的工作量大大减少,而且还可以使调查得到的资料发挥更大的作用。因此,在不少发达国家,统计估算方法得到了非常广泛的应用。因此,应组织力量对各种统计估算方法应用的场合、应用的原则、所利用的各种资料(会计资料、业务资料与统计资料)之间指标口径的衔接以及具体实施的细节给出明文规定的标准。统计估算的科学化与规范化是防止滥用估算方法的重要保证。

第五,切实搞好各种调查方法之间的整合与衔接。应在对各种现有方法制度进行深入细致研究的基础上,进行通盘的考虑和设计。要重点研究现有方法制度上存在的各种不协调与不衔接,解决其存在的矛盾与冲突,根据各种方法的特点,进行必要的整合与归并,科学地安排各种调查方法相互的分工、配合和衔接。

第六,要设计好有关的统计调查表。为了使被调查者能够更配合相关的调查,减少回答误差或不回答的现象,调查问卷应当尽可能简明易懂,对调查项目应做必要的说明,以帮助被调查者正确理解和回答有关项目。对于一些敏感性的项目还可应用随机化问答技术随机化问答技术是一种针对敏感性问题进行调查的方法,其基本思想是利用随机化技术,使得调查者不能直接得知具体被调查者对敏感性问题的回答,但可以利用所有被调查者回答的结果去估计整体的情况。关于随机化问答技术的具体内容,可参见:曾五一《统计调查体系与调查方法问题研究》,中国统计出版社2009年版,第三章。

(四)统计处理与分析设计的优化与质量控制

统计指标的编制可以采用不同的方法,例如,价格指数可以采用不同的形式编制,而不同形式的指数有不同的特点,即使利用同样的原始数据算出来的结果也不会相同。因此,为了保证最终生成的统计指标具有可比性,在统计设计阶段就必须事先做出明确的规定。要在充分考虑各种方法的特点和局限性以及可能的资料来源的基础上选择具体的编制方法。在不少场合还有必要利用多种方法,从不同角度分别计算。例如,GDP可以从生产、分配和使用3个不同角度,分别利用“生产法”“收入法”“支出法”计算。这样不仅可以相互验证、减少统计误差,而且可以得到更多的有用信息。

另外,对于原始数据的处理方法、具体的工作进度等,也应在充分听取有关各方意见的基础上做出合理的安排,并且在事后做必要的总结,以利于今后的改进。

三 事中阶段的质量控制

事中控制主要是指对统计数据的收集与处理过程的控制,涉及原始数据的收集和预处理、统计指标的核算等。

(一)统计调查实施的质量控制

调查员与被调查者是影响统计调查实施质量的两个主体。其对调查数据质量的影响主要表现为调查员效应、被调查者的回答误差与无回答。

所谓调查员效应,是指调查员素质的高低对调查数据质量的影响。调查员对调查项目的理解程度及其表达能力,直接影响其与被调查者之间的信息传递。其工作态度、价值观等也会对统计调查过程产生影响。调查员效应可分为两种类型:第一,调查员向被调查者传递不正确信息造成的误差,包括:①调查员因自身没能正确理解调查项目信息而对被调查者做了错误的传达;②虽然调查员自身正确理解了调查项目信息,但因表述存在问题而影响了被调查者的正确理解。第二,调查员数量不足引起的偏差傅德印和黄恒君通过对访问员误差计量模型的分析得出这一观点。详见:傅德印、黄恒君《统计调查质量的测度与评估方法》,中国统计出版社2011年版。。在调查员数量不足的情况下,一个调查员承担了过多的调查任务,将有可能降低调查数据的质量。

所谓被调查者的回答误差是指因被调查者对问卷理解不正确或者不配合而引起的误差。在现实生活中,由于各种原因,如被调查者文化程度较低、被调查者不愿意暴露真实情况等,常常会发生错填、漏填、有意隐瞒或夸大的现象,从而使调查数据产生较大的偏差。

所谓无回答主要是指统计调查过程中因被调查者拒绝回答或无效回答而产生的数据资料缺失现象。无回答具体表现为“单元无回答”和“项目无回答”两种情况。产生“单元无回答”的原因多是调查遗漏,或被调查者不配合。而产生“项目无回答”则较多是因为调查项目具有敏感性使得被调查者不愿回答。如果无回答大量发生,则会对调查数据的完整性和代表性产生较大的影响,进而会使利用调查数据所做的统计推断产生较大偏差。

在以往的统计实践中,我国政府统计机构对于无回答的处理更多的是采用样本替换技术(即找其他愿意回答的被调查者回答),而较少利用其他专门的技术方法。然而,由于在样本替换技术使用过程中缺乏严格的操作控制程序,该方法的使用效果大打折扣。

针对上述问题,可从3个方面给出相应的控制措施(见表3-1)。

表3-1 统计调查活动的质量控制措施

注:上述控制措施中第4、10、11项在很大程度上更应该是“统计设计”中的内容,前文已对此进行了分析。

对于调查实施的质量控制,最重要的是要构建一个标准的调查实施制度,对整个调查过程实施流程管理,将调查过程的各个环节规范化,督促调查人员严格执行调查方案,以最大限度地减少实际发生的统计调查误差。对于一些重要的大型调查如经济普查和人口普查等还可以组织事后二次抽样调查,即设置更加严格的要求(创造更为理想的调查条件、执行更为严格的操作规程、安排更具成熟经验的调查人员等),对被调查者进行再次抽查,并将二次调查的结果与第一次调查得到的结果进行对照,考察普查可能产生的误差,并以此为基础对普查结果进行必要的修订1期。杜小鹏、胡桂华:《对我国2010年人口普查事后调查工作的若干建议》,《西北人口》2008年第

与调查事实相关联的质量控制措施还包括:进一步加强统计人员的业务素质教育和培养;通过网络直报等手段,提高传递调查信息的有效性,减少外部因素对被调查者回答的不当干扰等。

(二)原始数据的录入与审查的质量控制

为尽可能地减少录入差错的出现,在数据录入之前要采用必要的方法对原始数据进行检验具体的方法可参见本书的第四章。。数据编审是该流程的最后环节,主要针对数据编码的原生性差错以及录入阶段可能出现的再生性差错进行检查,要制定明确而规范的操作手册并建立相应的奖惩制度,把好数据的入口关,从而提高录入数据的整体质量。

(三)原始数据处理的质量控制

(1)编码匹配问题的处理要点

对于新录入数据而言,存在与过往数据的纵向匹配问题,即在包含多个时点的数据库中,对于给定时点和特定单位的特定属性应有唯一的数据与之对应。从工作流程上来讲,自获取原始数据到完成录入后形成相应的数据库,本身就是样本编码匹配的过程,在这一过程中要确保录入样本数据与特定单位的特定属性一一对应。

(2)数据缺失问题的处理

对于原始数据的缺失,已存在许多较为成熟的方法,为数据缺失填补提供了有效的工具。问题的关键在于,填补处理前要弄清数据缺失的类型及其产生机制,并选择合适的处理方法。此外,也有必要结合具体数据间的经济关系来优化处理过程。

(3)异常点的处理

一般来讲,原始数据的样本量较大,用于识别此类数据异常点的方法也相对较为成熟。对于具体异常点的识别,最为关键的一点是要弄清异常点是否真的存在质量问题。

对于确认可能存在质量问题的异常点,可采用的处理手段主要有(但不限于)以下几种。

第一,数据再检查。对于通过综合分析检出质量问题的数据,可通过查阅原始记录、向调查对象核实等方法进行处理,以便获取更为“准确”的数据。这种方法对于存在质量问题的异常值的处理最为可靠,但因工作量大且复杂,主要适用于基层统计部门和人员对特定数据类型的处理。

第二,平滑处理。对于那些通过原始记录核查或者向被调查者重新进行调查仍然不能有效处理的问题数据,可采用一定的技术方法进行平滑处理,较为常见的方法有分箱、聚类及回归等。

第三,剔除异常值,并按照缺失数据的处理方法进行补缺。

第四,直接删除法。如果样本量足够大,而待删除数据的数量又相对较小,只要不影响统计数据生成过程和汇总处理,不影响统计分析结果的稳定性,在保证样本数量和代表性的基础上,可以考虑直接删除此类数据。

四 事后阶段的质量控制

事后阶段的质量控制涉及数据质量的评估、数据的修订与发布。应当指出,在现实统计活动中,以上3个环节常常是交叉进行的。在报告数据发布之前,需要进行质量评估,如果发现存在数据质量问题,还需要进行必要的数据修订,然后才能正式发布。而报告数据发布之后,常常仍然会有数据质量的评估和数据修订的问题。

(一)数据质量评估的质量控制

在我国的统计实践中,建立与完善对统计数据进行质量评估的方法和制度是一个亟待解决的重要问题。关于数据质量评估的具体方法,我们将在本书的第四、五、六章中做详细的论述和探讨。这里只是指出开展数据质量评估时特别应注意的基本要点。

首先,不同的数据质量检验方法有其长处和局限性。因此,一定要注意各种方法适用的场合与条件,根据被检验数据自身的特点选择合适的数据质量检验方法。必要时还要综合利用多种方法进行检验与对照。

其次,要针对各种统计指标,参照有关的国际标准分别建立起规范的数据质量评估程序。同时要进一步明确,只有经过规范的数据质量评估并被确认符合基本要求的数据才能对外发布。

最后,对于统计数据质量的综合评价,要在参照有关国际标准的基础上,建立合适的评估框架,采用科学可行的评估方法,并对评估结果做出合理的解释与分析。

(二)数据修订的质量控制

数据修订的目的在于获得更加全面完整、准确可靠的报告数据。

关于数据修订的具体方法,本书将在第七章中做详细探讨。这里着重论述开展数据修订时应注意的基本要点。

首先,修订的对象应是经检验或评估发现存在一些质量问题的指标数据。

其次,数据的修订要有明确的理论和实践操作依据,一定要避免“暗箱操作”。只有这样,修订的结果才具有公信力。

最后,通过修订应能较好地回应公众对于该数据质量的质疑,修订的结果能够更好地贴近公众的整体感受。修订后的数据可以满足有关统计指标内涵与外延的规定。不管是时间序列数据还是截面数据,都要有良好的可衔接性与可比性,同时对于修订后数据所反映的变化,可以做出符合理论或经济事实的解释。

(三)数据发布的质量控制

数据发布是政府统计数据生成的一个重要环节。以往我国政府统计数据发布的主要问题有以下3点:一是部分数据发布不够及时,有些统计数据(如规模以下企业的统计数据)虽有调查,但是由于种种原因却没有对外发布;二是“数出多门、数字打架”的现象时有发生;三是对于统计数据的来源和计算方法及计算口径的说明不够充分,影响用户对于统计数据的正确理解和应用。

数据发布质量控制的关键是要参照数据发布的国际标准,进一步健全与规范相关的数据发布制度。要明确数据发布的时间与发布的频率。尽可能详尽地向公众公布有关统计数据的资料来源和具体的处理方法。以统计法规的形式明确中央综合统计系统、地方综合统计系统与部门统计系统的职能分工,避免重复和遗漏,实现数据共享,切实做到一种宏观统计数据只能由一个机构正式对外发布。

本章主要参考文献

[1]杜小鹏、胡桂华:《对我国2010年人口普查事后调查工作的若干建议》,《西北人口》2008年第1期。

[2]傅德印、黄恒君:《统计调查质量的测度与评估方法》,中国统计出版社2011年版。

[3]金勇进:《统计数据的缺失处理》,中国统计出版社2009年版。

[4]孔杏、郑宁国:《统计方法与应用》,中国水利水电出版社2010年版。

[5]李强、王吉利:《统计基础知识与统计实务》,中国统计出版社2009年版。

[6]聂辉华、江艇、杨汝岱:《中国工业企业数据库的使用现状和潜在问题》,《世界经济》2012年第5期。

[7]曾五一:《统计调查体系与调查方法问题研究》,中国统计出版社2009年版。

[8]曾五一:《统计估算理论、方法和应用研究》,中国金融出版社1999年版。

[9]周建:《宏观经济统计数据诊断——理论、方法及其应用》,清华大学出版社2005年版。