问题的症结：总体异质性

邓肯后期的十年研究都集中于Rasch模型（Goodman, 2004）。直到生命的最后阶段，邓肯还是很关心这个模型。他曾经写信给我和丹尼尔·鲍威斯（Daniel Powers），问我们为什么没在我们共同出版的《分类数据分析》（Categotical Data Analysis）一书中包括Rasch模型（2001年3月8日邓肯写给谢宇的信）。在美国社会学学会方法论分会决定将系列主题讲座命名为“邓肯讲座”时，邓肯表示希望“第一个发言者可以谈谈Rasch模型”（2003年9月2日，个人通信）。2004年4月，古德曼（Leo A. Goodman）在安娜堡（Ann Arbor）的邓肯讲座的开篇讲演中谈到了对数线性模型、潜在分类模型和Rasch模型的关系。这令邓肯非常愉快，以至于他在随后写给朋友的信件中还谈及此事（2004年9月13日、2004年9月27日邓肯与朋友的通信）。因此，要理解邓肯对社会学方法论的贡献，懂得他为何如此沉浸于对Rasch模型的研究至关重要。

乔治·拉什（Georg Rasch）（1901～1980）是丹麦数学家、统计学家。他设计了具有以下特点的测量模型。①每个研究对象对每道测试题的回答是概率性的；②每道测试题的真实难度值对于任何一个研究对象而言都是恒定的；③每个研究对象对于所有测试题答对的趋势是一致的。（Rasch, 1966; 1980）这些特点表明研究对象答对某道测试题的可能性，通过logit转换，可以分解为两部分：一部分由测试题的难度决定；另一部分则由研究对象的个人能力决定。

让pij表示第i个个体答对第j个测试题的可能性，可以将Rasch模型写成下面这个logit模型的形式：

其中θi是专指个人特征的参数，βj是专指测试题特征的参数。在方程（2）中，Rasch模型的一个重要性质是，它允许个人差异（即叠加的总体异质性）和测试题差异的存在，但它同时又通过二者的恒定性实现了二者的相互独立性，即θi不随测试题（j）变化，βj不随个体（i）变化。因此，Rasch模型至少允许研究者将不同的个体看成各自独立的“类”，避免了在传统的潜在分类模型中，将个体按其回答的结果进行分类的随意性。

尽管邓肯发表了许多关于Rasch模型的文章（参见Goodman, 2004），但是，我认为他于1982年4月20日在耶鲁大学演讲时所用但未曾发表的一篇手稿将他的这一思想表达得淋漓尽致，那次讲座的题目是“Rasch测量和社会学理论”。特别值得注意的是，他将“社会学理论”作为题目的一部分。我从来没有在别处见他这样做过。那么，他是如何认识“社会学理论”的呢？他解释道：“菲利普·康弗斯（P. E. Converse）的经典文章所体现的正是我希望大家效仿的理论形式，文章引入了 ‘非态度’概念，并创先针对调查问题的回答建立数学模型。”（Duncan, 1982: 1）然后，邓肯继续解释了康弗斯的观点（Converse, 1964）并在文章中做了进一步的阐述。

为了理解邓肯敏锐的洞察力，我们先来看看他使用的四个简图（图2-1至图2-4）。图2-1和图2-2均表示总体回答率为7/12，但两者的情况却截然不同。图2-1中，“我们假设每一个受访者只有一个弹丸，任意一次试验都可以知道它是有阴影的还是无阴影的”（Duncan, 1982: 4）；在图2-2中，“我们假设每一个受访者拿一个旋片（插图），每一次试验得到阴影部分的可能性为p”（Duncan, 1982: 4）。换言之，邓肯设定了两种极端情况：第一种情况存在总体异质性（人与人之间的），每个人的回应方式是固定的；第二种情况存在总体同质性，在某一群体中，所有个体都由相同的因果机制决定，即概率性的。邓肯接着解释说，在实际数据中“我们很少见到这两种极端情况”，图2-3即为康弗斯得到的两者混合的情况。然而，邓肯没有满足于这三种类型。他受到Rasch模型的启发，针对个体的特点进行分类并提出“原则上，存在无穷多个不同的旋片”（Duncan, 1982: 5）。他在图2-4中用7个不同的类型进行了形象的说明。

在根据个人特征进行分类的类型中，邓肯认同在个人层次上所存在的差异，这使他很快意识到这样的分类对数据要求很高。邓肯对Rasch模型的研究建立在反复测量的基础之上，这样的情况常常出现在追踪调查中——当研究者认为没有实质性变化的时候。邓肯在表2-1中阐明了他基于图2-1至图2-4的推理。行代表第一次访谈中不同受访者的回答结果，列代表了相同的144个受访者在第二次访谈中的回答结果。忽略测量误差和抽样偏误，邓肯认为，表2-1的最顶端部分（第Ⅰ部分）对应的是绝对的总体异质性，中间部分（第Ⅱ部分）对应的是绝对的总体同质性。Ⅰ部分中的行与列是完全相关的，Ⅱ部分中行与列是相互独立的。邓肯和康弗斯均认为，现实生活更近似于两者的混合情况，也就是表的最末端部分（第Ⅲ部分）所表示的情况。

以上，我详细阐述了邓肯在1982年未发表的文章中所列举的简单例子，是为了说明邓肯一直为总体异质性问题所困扰。这也就解释了他为什么会被Rasch模型所吸引。在某种程度上，他期待着并且也会欢迎后来针对总体异质性逐步发展出来的一系列模型，如多层次模型（Raudenbush and Bryk, 1986）、成长曲线模型（Muthén and Muthén, 2000）和潜在分类模型（D'Unger et al. , 1998）——这些模型都已被归到混合模型这个大旗帜下（Demidenko, 2004）。然而，迄今为止，总体异质性仍对社会科学中应用观测数据进行因果推理存在威胁。这样的推理往往依赖于极强且无法证明的假设（Heckman, 2001, 2005; Holland, 1986;Winship and Morgan, 1999）。

邓肯将总体异质性视为最难以解决的问题。他在写给乔纳森·凯利（Jonathan Kelly）的一封信（1991年4月22日）中这样说道：

对数线性模型和线性模型实际上都是无法使用的，因为它们估计的条件概率对于预先假定拥有一系列相同变量值的个人而言其实并不相同。也就是说，这些模型不能应对异质性问题。

在另外一封信（1996年7月30日写给谢宇的信）中，邓肯这样评价他对Rasch模型的兴趣：

这些日子，我回顾了一下自己曾有过的一些争论，发现社会科学中还没有解决的两三个主要问题之一就是异质性问题……异质性问题的普遍性意味着，在大多数情况下，我们用精算概率代替真正的个人概率，因此，我们得到的是描述上准确但毫无理论意义且无预测能力的、无用的统计数据。

直到邓肯去世后，我再次阅读他给我发送的信件，才开始真正理解他的这些真知灼见。在1996年收到他的这封来信时，我的专业水平还未成熟到可以领悟他的思想。换言之，我用了九年的时间才完全领悟邓肯这段话的含义。他不仅超越了他所在的时代，也超越了我所处的时代。如何处理总体异质性已经成为当代量化社会科学和统计学研究所面临的最严峻的挑战。