3.1 基本概念一点通

从数学角度看，机器学习的目标是建立起输入数据与输出的函数关系，如果用x代表输入数据、用y代表输出，机器学习的目标就是建立y=F(x)的过程。F(x)就是我们所说的模型，对于用户来说，模型就相当于一个黑箱，用户无须知道其内部的结构，只要将数据输入到模型中，它就可以输出对应的数值。那么，怎么确定F(x)呢？是通过大量的数据训练得到的。在训练时，我们定义一个损失函数L(x)（如真实的输出与模型输出的偏差），通过数据反复迭代使损失函数L(x)达到最小，此时的F(x)就是所确定的模型，整个过程如图3-1所示。

图3-1 机器学习模型训练反复迭代的过程

在学习机器学习的相关理论与技术的过程中，我们经常会遇到一些专业的概念和术语，下面就给出这些概念及术语的通俗易懂的解释：

· 训练样本：用于训练的数据。

· 训练：对训练样本的特征进行统计和归纳的过程。

· 模型：总结出的规律、标准，迭代出的函数映射。

· 验证：用验证数据集评价模型是否正确的过程，即将一些样本数据代入模型中，看它的准确率如何。

· 超参数：是在开始学习过程之前设置值的参数，而不是通过训练得到的参数。在深度学习中常见的超参数有学习速率、迭代次数、层数、每层神经元的个数等，超参数有时也被简称为“超参”。

· 参数：模型根据数据可以自动学习出的变量，在深度学习中常见的参数有权重、偏置等。

· 泛化：指机器学习算法对新样本的适应能力。

过拟合和欠拟合是机器学习的常见的现象。过拟合（见图3-2）是指模型在训练数据集上表现过于优越，导致在验证数据集以及测试数据集中表现不佳，也就是在训练集上准确率很高，但换新数据会严重误判。欠拟合是指样本过少，无法归纳出足够的共性。模型在训练集表现差，在测试集表现同样会很差。欠拟合的具体表现为模型拟合程度不高、数据距离拟合曲线较远、模型没有很好地捕捉到数据特征等，如图3-3所示。

图3-2 过拟合示意图

图3-3 欠拟合示意图