1.4 深度学习的发展趋势与未来

1.4.1 深度学习的发展趋势

模型容量（Capacity）与模型的泛化（Generalization）能力之间的关系是机器学习领域中被主要关注的问题之一。其中，模型容量是一个评估模型是否灵活自适应的标准，是模型在具有令人满意的泛化能力的时候所必需的训练数据量；而所谓模型的泛化能力，则说的是当前模型处理训练集外的数据能不能取得符合条件的分类和预测效果。由此可得，前者中的训练数据集规模是影响模型泛化能力高低的重要因素［5］。

深度结构模型是标准的高复杂度模型，模型中间含有多层级的非线性变换，与浅层结构模型相比，深度结构模型容量大增。且在早些时候，由于训练数据集规模的限制，深度结构模型往往存在泛化能力不够和过拟合等问题。

而今，随着大数据的发展，训练数据集规模不够的问题得以解决，且从另一角度来讲，深度结构这样的高容量模型也是捕捉大数据内部隐藏的复杂多变的高阶统计特性的有效手段。可以说，大数据与深度学习互为彼此发展的助力。

业界通常认为，在大数据条件下，复杂模型未必比简单的机器学习模型有效，虽然是最简单的线性模型，但它在许多大的数据应用中仍然被多次使用。不过随着深度学习的进展愈发飞速，这个观点似乎也需要被怀疑了。不得不承认，随着当今大数据时代的到来，可能也只有表达能力强、较为复杂的模型，才可以使丰富的信息从海量数据中被充分挖掘［5］。

浅层结构模型强调模型更多的是负责预测或分类，因此特征的好坏在模型的运用没有问题的情况下，几乎是决定系统是否优良的最重要的一点。所以，发掘更好的特征将成为开发一个系统时人力消耗最大的部分，并且想要发现一个好的特征需要开发人员对要解决的问题进行反复的摸索，达到很深的理解层次，这所需要的成本太过巨大，并不是一个可扩展的途径。

而在深度学习中，模型只是作为一种手段，特征学习才是最终目的。深度学习获得的特征，与传统的人工构造特征相比，能更精准地描绘数据信息。因此，可以预见在往后很长一段时间内，运用更为广泛的将是深度学习而非浅层的线性模型［7］。

1.4.2 深度学习的未来

虽然深度学习的发展速度飞快，但仍有许多问题有待解决。机器学习的一些方法思想可以运用到深度学习中，帮助解决深度学习存在的一些不足之处。比如降维领域的稀疏编码工作，通过压缩感知理论对高维数据进行降维，高维信号可以用很少的元素向量来实现精确的代表［7］。