三、运用效度指标评价研究结论的质量

前面我们对实证研究中研究设计的目的、作用和过程进行了介绍。那么我们如何去评价研究设计是否有效地进行了控制，判断它能否回答研究问题呢？又有哪些手段可以提高研究的质量呢？在管理学研究中，我们通过四种效度指标来实现对研究质量的评价，即我们前面已经介绍的构念效度、统计结论效度、内部效度和外部效度。能否提高研究效度，保证研究结论的可靠性，是我们评价一项研究是否有效以及它得到的结论是否正确的关键因素。下面我们针对每一种效度指标，提供一些提高研究效度的建议。

3.1 构念效度

在研究设计中，研究者的目的是尽量减少测量时的误差，提高变量与构念之间的对应程度。为此，研究者可以从两个方面提高构念效度。第一，从分析抽象构念的角度，研究者需要精确定义构念的含义并明确它的理论结构。由于构念来源于抽象理论，在现实世界中并不能直接观察，所以对它的观察和测量必须依赖于精确的定义说明。如果缺少精确的定义，即使研究者在测量过程中避免了各种误差，得出的数据和分析出来的结论也无法回答研究的问题。

第二，从变量测量的角度，研究者需要选择合适的测量方式，控制测量误差。比如在管理文献中，我们常常会发现一个构念有许多种测验量表。到底用哪一种量表来测量，就是一个经常困扰研究者的问题。例如，对于组织公民行为的测量，既有在西方情境下发展出来的文化普遍性（etic）量表，也有专门结合中国国情发展的文化特殊性（emic）量表。在测量时应该如何选择呢？我们的答案是，结合研究问题选择最能符合研究要求的测量方式。当研究者关心的问题与中国特殊的文化情景有关时，采用具有文化特殊性的量表就能提供更多详细的信息（如Farh, Hackett and Liang,2007）。如果研究者关心的是一种普遍现象，只是运用来自中国的样本进行检验，那么具有文化普遍性的量表就应该是首选（如Wang, Law, Hackett, Wang and Chen,2005）。所以，在进行研究前，通过研究设计联系研究问题和资料收集，可以提高研究的构念效度。

3.2 统计结论效度

在实证研究中，由于统计检验的本质是通过抽样的方式来对变量间的关系做出泛化的推论，所以任何研究结论都面临着统计结论效度的问题。一般而言，我们在做出统计决策时存在着四种可能性：接受正确的零假设、拒绝错误的零假设、拒绝正确的零假设和接受错误的零假设。前两种情况属于正确的结论，但后两种情况属于研究者做出的错误决策，影响到研究的统计结论效度。在统计学中，我们把第三种情况称为一类错误（Type I error），即在两个变量间并没有联系的时候，我们根据自己的统计结果却拒绝了零假设，得出它们之间存在显著性的关系。第四种情况称为二类错误（Type II error），即在两个变量间存在显著性关系的时候，我们却接受了零假设，认为它们之间并不相关。

在研究设计时，我们可以通过降低这两类错误来提高研究的统计结论效度。研究者可以通过选择正确的统计检验手段、更加严格的检验标准和取样随机化等方法来降低一类错误。针对二类错误，研究者可以选择以下手段提高研究的统计结论效度：（1）增大样本量；（2）减少因变量中与自变量无关的总体变异，例如通过控制外生变量、抽取同质性比较高的样本和选用高可信的测量工具等方法；（3）根据理论检测方向性的研究假设（directional hypothesis）等。

3.3 内部效度

实证研究中影响内部效度的主要因素来自于除自变量之外的各种混淆变量。它们的存在影响了变量间因果关系的强弱程度。Cook和Campbell（1979）总结了七种在准实验研究中存在的混淆变量：（1）过去事件的影响：所有发生在研究期间的事件，都可能对研究个体产生影响并且导致结果的变化；（2）成熟效果（maturation）：受测者本身随着时间的流逝而发生身心变化，而非因为某些特别事件的发生；（3）测验效果：测验过程本身可能会改变所要测量的现象；（4）统计回归（statistical regression）：若接受实验者为极端分散的群体，实验的后测结果就会有趋向其长期平均数的情况；（5）自我选择效果（self-selection）：由于研究未采用随机抽样和随机分派，造成被选择的人在能力或特质方面存在差异或不相等；（6）被调查对象的退出或流失（mortality）;（7）研究样本所提供的信息可能会存在偏误。

在研究设计时，研究者应该考虑如何通过各种手段剔除混淆变量和替代解释对变量间因果关系的影响。这主要可以从两方面进行：一方面可以从理论出发，在以往文献中搜寻有哪些变量可能成为假设检验中的混淆变量，在测量自变量和因变量时同时加以测量，并在统计检验时进行控制；另一方面可以从研究类型上加以控制。例如相对于其他各种研究类型，实验法对于混淆变量和替代解释的控制程度最强。如果研究者认为自己的研究假设非常容易受到其他混淆变量的影响，就可以通过实验或者进行随机化处理的方法提高研究的内部效度。

3.4 外部效度

由于外部效度考虑的是研究结论在其他情景中的可重复程度，所以它对于应用性的实证研究而言是一个非常重要的评价指标。在研究中，影响外部效度的因素主要包括：（1）对实验操纵的反应：由于前测使受测者对敏感的主题造成反应，以至于她/他们通过各种不同的方式来响应实验刺激。通常在态度研究中，这种事前测量的效果特别显著。（2）受测者的挑选：如果我们选择的被试群体没有代表性，而自身又具有某些特殊性，这时我们基于她/他们得出的结论也无法推广到其他样本中。（3）其他互动因素：实验环境本身可能造成某种偏差，在特殊实验环境中得到的结果无法推论到整个目标群体。例如，如果参与实验的人预先知道了研究的目的，她/他们很有可能以一种角色扮演的心态完成实验任务，这时基于这些回答/表现得出的结论也就缺少外部效度。

在实证研究中，研究者可以选取具有较高代表性的样本来提高研究的外部效度。样本对于总体的代表性是外部效度的主要影响因素之一。当样本可以较好地代表总体时，从样本得到的结论就更容易在总体内得到重复。而如果研究目的还包括在不同总体间证实研究假设，那就可以通过在多个总体内分别抽样，来检定研究结论的外部效度。

不过，外部效度的不足对于研究结论和理论发展并不一定总是坏事，有时也许是新的研究的开始。越来越多的管理学研究已经开始注意到情境因素（如人、环境、时间）对研究结论的影响。这些情境因素要么是自变量的先行因素，要么是可能改变自变量和因变量关系的调节变量（详见本书第十二章）。如能将这些情境因素与理论思考相结合，不时会产生非常有趣的研究。例如Farh, Earley和Lin（1997）研究了组织公民行为和组织公正的关系。他们发现，在台湾，组织公民行为的维度不同于在西方情境下的研究结论。因此，在国家层面上，不同的文化情境成为组织公民行为的先行变量。他们还发现，对于个人传统性（traditionality）较低的人来说，组织公民行为与分配公正和过程公正的相关性强；对于个人传统性较高的人来说，组织公民行为与分配公正和过程公正的相关性弱。因此，个人传统性成为组织公民行为和组织公正之间的调节变量。

在这一节，我们主要讨论了评价实证研究的设计质量所依据的四种效度指标，它们分别是构念效度、统计结论效度、内部效度和外部效度。需要指出的是，在任何一项研究设计中，研究者往往无法同时兼顾上述的四种效度。研究者需要根据研究理论决定具体使用的研究方法。由于每一种方法都具有各自不同的优缺点，而实证研究往往要受到客观条件、当时情境和被试心理状态等因素的限制，所以在一个研究中同时满足四种效度指标的要求是不可能的。

解决这个问题的一种方式是进行多项研究。例如在Audia等人的研究中，他们首先使用二手数据来验证研究假设。这种方法具有较高的外部效度和较低的内部效度。因此，他们接着在个人层面进行了一个实验，来明确起到中介作用的心理过程变量。这项实验研究就具有较高的内部效度和较低的外部效度。将两者相结合，他们的研究结论满足了这两种效度的要求。同时由于对构念的清楚定义、准确测量和恰当的分析，他们的研究结论又具有较高的构念效度和统计结论效度。

此外，研究者能够做的就是综合考虑自己的研究假设，通过研究设计，合理控制研究方法中的各种变异量。除为研究问题提供解释和满足一定的效度指标之外，研究设计可以进一步提高结果和逻辑的清晰程度，使得研究结论更容易得到重复。下面，我们讨论如何通过研究设计控制研究中的各种变异量。