高维数据非负矩阵分解方法

本书从算法框架入手，建立系列非负矩阵分解模型的抽象数学模型，即非负块配准模型，从统一的角度分析现有的非负矩阵分解模型，并用以开发新的非负矩阵分解模型。根据非负块配准模型的分析，本书提出非负判别局部块配准模型，克服了经典非负矩阵分解模型的缺点，提高了非负矩阵分解模型的分类性能。为了克服经典非负矩阵分解的优化算法收敛速度慢的缺点，本书提出在线搜索中利用牛顿法快速搜索步长，提出非负块配准的快速梯度下降算法。为了克服经典非负最小二乘问题的求解算法的缺点，本书利用最优梯度法在无需线搜索的情况下以二阶收敛速度求解非负最小二乘问题，提出非负矩阵分解的高效求解算法。在此基础上提出非负矩阵分解的高效求解算法，并开发非负块配准的最优梯度法。为了克服经典优化算法应用于流数据处理时计算开销过大的缺点，本书提出非负矩阵分解在线优化算法，利用鲁棒随机近似算法更新基矩阵，提出在线算法，提高在线优化算法的鲁棒性。本书结合非负矩阵分解的低秩表示特性和残差矩阵的稀疏特性，指出曼哈顿非负矩阵分解模型可以有效地抑制数据中的噪音和野值，并指出其与低秩和稀疏矩阵分解模型的等价关系。本书提出高效优化算法求解模型，即秩一残差迭代算法和加速梯度下降算法，前者将模型求解问题分解成若干加权中值问题并用快速算法求解，后者将模型求解问题分解成若干非负最小一乘问题并用平滑技术将其目标函数近似为可微函数，然后利用最优梯度法进行求解。