2.5 解释的性质
下面要解释机器学习模型的预测。为了实现这一点，要依赖于某种解释方法，一种生成解释的算法。解释通常以一种人类可理解的方式将实例的特征值与其模型预测联系起来。其他类型的解释包括一组数据实例（例如对于k-近邻模型）。例如，可以使用支持向量机预测癌症风险并使用局部代理方法（例如使用决策树）来解释预测结果；或者可以用线性回归模型作为支持向量机的代理，因为线性回归模型的权重可用于解释。
Robnik-Sikonja 和Bohanec 仔细研究了解释方法和解释的性质［7］，这些性质可用于判断解释方法或解释的好坏。但针对这些性质，如何正确地衡量它们尚不清楚，因此目前的一个挑战是如何规范地计算它们。
1.解释方法的性质
·表达能力（Expressive Power）。是该方法能够产生的解释的“语言”或结构。解释方法可以生成IF-THEN 规则、决策树、加权和、自然语言或其他东西。
·半透明度（Translucency）。描述了解释方法依赖于查看机器学习模型（例如其参数）的程度。例如，依赖于自解释模型（例如线性回归模型，这是特定于模型的）的解释方法是高度透明的。而如果方法仅依赖于修改输入和观察预测，则半透明度为零。根据具体情况，可能需要不同程度的半透明度。高半透明度的优点是该方法可以依赖更多的信息生成解释。低半透明度的优点是解释方法更易于移植。
·可移植性（Portability）。可移植性描述了使用解释方法的机器学习模型的范围。低半透明度的方法具有较高的可移植性，因为它们将机器学习模型视为黑盒。代理模型可能是具有最高可移植性的解释方法。而仅适用于递归神经网络的方法具有低可移植性。
·算法复杂度（Algorithmic Complexity）。算法复杂度描述了生成解释的方法的计算复杂度。当计算时间成为生成解释的瓶颈时，必须考虑此性质。
2.单个解释的性质
·准确度（Accuracy）。用解释预测未知的数据会如何？如果将解释代替机器学习模型进行预测，那么高准确度尤为重要。如果机器学习模型的准确度也很低，并且目标是解释黑盒模型的作用，那么低准确度就很好了。在这种情况下，只有保真度才是重要的。
·保真度（Fidelity）。解释对黑盒模型预测的近似程度如何？高保真度是解释的重要性质之一，毕竟低保真度的解释对解释机器学习模型是无用的。准确度和保真度密切相关，如果黑盒模型具有较高的准确度并且解释有高保真度，则解释也具有较高的准确度。一些解释只提供局部保真度，这意味着该解释仅适合于数据子集的模型预测（例如局部代理模型），甚至仅适用于单个数据实例（例如Shapley 值）。
·一致性（Consistency）。经过相同任务训练并产生相似预测的模型之间的解释有多少不同？例如，在同一个任务上训练支持向量机和线性回归模型，两者都产生相似的预测。然后，选择一种解释方法计算解释，并分析这些解释之间的差异。如果解释非常相似，说明是高度一致的。但这个性质可能会有点棘手，因为这两个模型可以使用不同的特征，但得到相似的预测（也叫“罗生门效应”）。在这种情况下，高一致性又是不可取的，因为解释必须非常不同。但如果模型确实依赖于相似的关系，则需要高一致性。
·稳定性（Stability）。相似实例之间的解释有多少相似之处？一致性是比较模型之间的解释，而稳定性则比较同一模型的相似实例之间的解释。好的稳定性意味着实例特征的细微变化基本上不会改变解释（除非这些细微变化也会强烈改变预测）。如果解释方法缺乏稳定性，一旦解释实例的特征值产生微小变化，解释方法将受到巨大影响。解释方法的不确定性部分也可能导致稳定性不足，例如数据采样步骤，就像局部代理模型使用的那样。好的稳定性始终是可取的。
·可理解性（Comprehensibility）。人类对解释的理解程度如何？这虽然很难定义和衡量，但这非常重要。比较容易接受的观点是可理解性取决于读者和观众。衡量可理解性的想法包括测量解释的大小（线性模型中非零权重的特征的数量，决策规则的数量等）、测试人们如何从解释中预测机器学习模型的行为。还应考虑解释中使用的特征的可理解性--特征的复杂转换可能还不如原来的特征容易理解。
·确定性（Certainty）。解释是否反映了机器学习模型的确定性？许多机器学习模型只给出预测，而没有关于预测正确的模型置信度的描述。如果模型预测一个病人患癌症的概率为4%，那么是否可以确定另一位特征值不同的病人患癌症的概率也为4%？一个包含模型确定性的解释是非常有用的。
·重要程度（Degree of Importance）。解释在多大程度上反映了解释的特征或部分的重要性？例如，如果生成决策规则作为对单个预测的解释，那么是否清楚该规则的哪个条件最重要？
·新颖性（Novelty）。解释是否反映了待解释的数据实例来自远离训练数据分布的“新”区域？在这种情况下，模型可能不准确，解释可能毫无用处。新颖性的概念与确定性的概念有关。新颖性越高，由于缺乏数据，模型的确定性就越低。
·代表性（Representativeness）。一个解释能覆盖多少个实例？解释可以覆盖整个模型（例如线性回归模型中的权重解释），也可以只表示单个预测。