1.3 区分度-C指数
区分度(Discrimination)是指预测模型把发生与未发生某结局事件的受试对象区分开来的能力。简单来说就是把患者与非患者区分开的能力,反映模型是否能“明辨是非”。区分度是模型对结局事件的一种定性判断。
区分度评价常用指标包括:AUC/C-index、NRI、IDI(NRI和IDI用于新旧模型区分度的比较),对于诊断预测模型和预后预测模型也稍有区别。诊断预测模型Logistic回归指标包括:AUC、ROC、NRI、IDI;预后预测模型COX回归区分度指标包括:C-index、Time-ROC、NRI、IDI,Time_AUC,其中对于预后模型,C-index是针对整个模型的,其他都可以分时间点,如1year、3year和5year ROC,以及对应时点的NRI和IDI。Time_AUC是将要研究的各个时间点的Time-ROC曲线下面积绘制一条曲线,可以综合反映模型的总体区分度的情况。本节我们先学习C-index。
C-index常写为Harrell concordance index、C statistics、C-indices、Concordance indices,对于Logistic回归,C-index就是ROC分析的AUC(Area Under Curve)。C指数的一般判定标准如下。
● C-index:0.5 完全不一致
● C-index:1.0 完全一致
● C-index:0.5-0.7 较低区分度
● C-index:0.71-0.90 中等区分度
● C-index:>0.90 高度区分度
图1-13为诊断预测模型区分度ROC曲线,其中左为训练集,右为验证集,每个ROC曲线中又包含3条ROC曲线,那是因为构建了3个模型,将3个模型的ROC曲线进行了合并绘制。
图1-13 诊断模型的ROC分析
对于预后模型,区分度评价可以计算模型整体的C-index以及绘制时点ROC曲线,如图1-14和图1-15所示。图1-14左图和图1-14右图分别为训练集和验证集6个月、12个月和24个月ROC曲线,并且给出各自的AUC。
图1-15上面3幅为训练集1、3、5年时点ROC,图1-15下面3幅为验证集1、3、5年时点ROC,图中的两条ROC曲线是作者构建的Nomogram模型和TNM stage模型,以及各自模型的AUC。
图1-14 预后模型时点依赖ROC曲线方式(一)
图1-15 预后模型时点依赖ROC曲线方式(二)
上面仅展示了诊断与预后模型共同的区分度展示方法,即ROC曲线及AUC,对于预后模型,还可以计算模型整体区分度评价指标C-index,我们在后面的实践中再展示其魅力吧!