1.1.3　能量泛函正则化模型阶段

第三个发展阶段是能量泛函正则化模型阶段。在无损探伤、医学影像和文物修复等领域，无法触及目标，为准确获得目标的结构信息，利用计算机断层扫描技术，科技工作者获得观测数据，应用能量泛函正则化模型，获得理想的重构图像。但是，由于观测数据往往受成像环境的影响而降质，且点扩散函数（系统矩阵）往往都是未知的，即使是已知的，往往条件数较大，因此，利用观测数据和系统矩阵重构未知的扫描对象，是不适定问题，很难获得理想解。为解决此问题，20世纪70年代，苏联Tikhonov院士综合第一阶段数据拟合模型和第二阶段贝叶斯理论模型的优点，即分别利用采集数据的拟合特性和贝叶斯理论的先验特性，提出能量泛函正则化模型。该模型由两部分组成，一部分是拟合项，利用成像系统的某种范数或分布描述数据的统计特性；另一部分是正则项，利用理想解的先验信息（如扫描对象的边缘、纹理、跳跃间断点和解的函数空间等），使其尽可能逼近理想扫描对象的结构特征。拟合项和正则项通过加权组合构成能量泛函正则化模型，表达式为

式中，inf表示下确界；u表示未知的理想解；u＊表示通过最优迭代算法获得的最优解，在某种范数意义下，该最优解是真解的逼近解；Φ（u）为拟合项；D为算子（如一阶微分算子、二阶微分算子、分数阶微分算子、傅里叶算子、小波算子和紧框架算子等）；R（Du）为正则项。

在能量泛函正则化模型发展的早期阶段，Tikhonov院士提出用L2范数描述解的拟合特性，用光滑函数描述解的结构特征，二者加权组合形成Tikhonov正则化模型。该正则化模型形式简单，但其理论意义影响深远，决定了后续正则化模型的发展方向，是反问题研究的里程碑。Tikhonov院士提出的能量泛函正则化模型中的拟合项和正则项全部用L2范数来描述，将目标解限定为光滑函数且具有二阶连续的导数，因此可以利用一阶、二阶导数信息，设计基于梯度、矩阵的迭代算法，如经典的最速下降迭代算法、牛顿迭代算法等。Tikhonov院士提出的正则化模型的优点是形式简单、容易处理。但是，由于正则项中的算子为单位算子，即D=I，I为单位矩阵，对解施加的是光滑约束，而实际的理想对象，即目标解是奇异的，如图像的边缘、跳跃间断点等。目标解的奇异特性对理想解会产生至关重要的影响，如在医学MRI图像、CT图像中，若抹杀微小结构所具有的奇异特性，可能造成对病人病理的误诊甚至错过早期病变治理的最佳时间。

尽管20世纪70年代Tikhonov院士提出的正则化模型具有划时代的意义，但受当时函数空间理论在实际应用的深度和广度的制约，Tikhonov院士提出的正则化模型无法准确描述理想解的结构信息，但其理论思想值得借鉴。随着函数空间理论的发展和实际应用的迫切需求，1992年，Rudin等用全变差函数（Total Variation，TV）作为正则项，描述理想解的奇异特性，提出ROF（Rudin-Osher-Fatemi，ROF）模型，该模型的最大特点是用非光滑函数来描述正则项，从而将光滑型Tikhonov正则化模型推广到非光滑型ROF模型，是非光滑型正则化模型发展的里程碑，为后续非光滑型正则化模型的发展指明了方向，即根据目标解的结构特征，选用合理的函数空间来建立能量泛函正则化模型。由函数空间理论可知，全变差函数能准确描述目标解的奇异特征，ROF模型应用于重构图像的仿真实验结果表明，ROF模型可以获得较高精度的重构解。以ROF模型的提出为标志，国内外学术界、工业界掀起了研究非光滑型能量泛函正则化模型的热潮，取得了很多有意义的研究成果。

目前，就处理模型所在的函数空间而言，对非光滑型能量泛函正则化模型的研究主要有三个发展方向：原始能量泛函正则化模型、对偶型能量泛函正则化模型和原始-对偶型能量泛函正则化模型。

1.1.3.1　原始能量泛函正则化模型

原始能量泛函正则化模型主要有两个发展方向：①利用函数空间理论，用不同的函数空间描述解的特性，如二阶全变差函数空间、变指数函数空间、Besov函数空间、负希尔伯特-索伯列夫函数空间（Hilbert-Sobolev）和分数阶Sobolev函数空间等，具体内容可以参考笔者在电子工业出版社出版的著作《能量泛函正则化模型在图像恢复中的应用》；②对原始能量泛函正则化模型算法的研究。由于正则项用函数空间的半范数来描述，使得原始正则化模型具有非线性、非光滑等特性，直接进行操作比较困难。针对模型的特点，在算法设计上，主要有三个发展子方向：一是利用变分原理，对原始正则化模型进行变分，获得各向异性发展型偏微分方程，对其进行离散化逼近，获得线性方程组，然后利用数值分析，设计迭代算法，如Jacobi迭代算法、Gauss-Seidel迭代算法、SOR迭代算法、代数多重网格迭代算法和几何多重网格迭代算法等；二是对非光滑的正则项进行光滑化，利用传统优化理论，设计基于梯度和矩阵的迭代算法，但是由于对非光滑的正则项进行光滑化，破坏了目标解所属的函数空间，对解的精确度造成不利影响，特别是大数据的兴起，研究对象往往是大规模的，使得矩阵的规模较大，若矩阵不具有特殊结构，则会造成经典的优化迭代算法收敛较慢，从而制约非线性能量泛函正则化模型的应用；三是利用算子分裂原理，设计交替迭代算法。例如，根据正则项的非线性特性，利用Bregman距离，设计分裂Bregman迭代算法；利用拟合项的光滑特性和正则项的非光滑特性，通过对光滑项进行二阶逼近，然后与正则项进行组合，设计牛顿-迫近（Proximal）算子分裂迭代算法；通过引入辅助参数，将模型转化为由“拟合项+正则项”表示的紧缩矩阵的形式，利用交替方向乘子原理，将紧缩的非线性正则化模型分裂为一系列容易处理的小的子问题，通过子问题交替迭代，形成快速交替迭代算法。

1.1.3.2　对偶能量泛函正则化模型

为使大规模非线性原始能量泛函正则化模型容易被处理，学术界转而在对偶空间中对式（1-1）进行研究，以期获得高效、快速迭代求解算法及高精度理想解。在对偶空间中，使用对偶变换，将原始能量泛函正则化模型式（1-1）转化为对偶正则化模型，表达式为

式中，sup表示上确界；v为对偶变量；Φ*（·）、R＊（-v）分别为式（1-1）中拟合项Φ（·）、正则项R（·）的对偶变换；D*为D的伴随算子，D是微分算子、小波变换和紧框架算子等。

式（1-2）的优点是利用函数的对偶空间，使得对偶正则化模型中的“拟合项”和“正则项”具有良好的特性，如连续性、光滑性等。目前，式（1-2）已在最优控制、偏微分方程、图像重构等领域得到广泛应用。

对偶模型的研究主要有四种发展趋势：一是利用Legendre-Fenchel对偶变换，将原始正则化模型转化为对偶模型；二是将正则项作为约束条件，利用约束条件的对偶，将原始正则化模型转化为对偶模型；三是引入辅助变量，将正则化模型转化为增广拉格朗日模型，再利用一阶KKT（Karush-Kuhn-Tucker）条件，将模型转化为对偶模型；四是将原始目标函数分裂出的部分子问题转化为对偶模型。下面分别对这四种发展趋势进行阐述。

一是直接将原始正则化模型转化为对偶模型进行研究。Chambolle A开创了对偶模型在图像处理领域应用的先河，其用L2范数描述拟合项，用TV描述正则项，建立“L2+TV”型正则化模型，利用Fenchel变换，将原始正则化模型转化为有约束条件的最优化模型。由一阶KKT条件，确定存在拉格朗日乘子，将目标函数表示成无约束条件的最优化问题，利用优化理论，获得半隐（Semiimplicit）梯度下降算法。根据CFL（Courant-Friedrichs-Lewy）条件确定最优迭代步长满足的条件，利用泛函分析证明算法的收敛特性。在图像重构质量上，该对偶模型重构图像的边缘优于原始ROF模型。在Chambolle A算法的基础上，在文献［23］中利用Kullback-Leibler（KL）函数描述拟合项，用TV描述正则项，利用Anscombe变换，将其转化为“L2+TV”标准形式的能量泛函正则化模型，由Fenchel变换转化为对偶模型。利用文献［21］中提出的半隐梯度下降算法，重构被泊松噪声降质的图像，重构图像的性能指标峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）高于分裂Bregman迭代算法。实验发现，对式（1-1）用分裂Bregman迭代算法容易抹杀图像的奇异特性，造成图像的纹理信息丢失，重构后的图像呈卡通特性，这说明用Bregman距离逼近式（1-1）中的正则项容易产生过平滑现象，而用对偶模型式（1-2）可以获得较高精度的理想解。文献［25］利用正则项中微分算子D的对偶是散度算子这一特点，将“L2+TV”原始正则化模型转化为有约束条件的离散二次型对偶模型，利用约束条件，设计显式梯度投影迭代算法，并利用回溯线性搜索策略和Barzilai-Borwein策略，给出最优迭代步长更新准则，这种显式梯度投影迭代算法只需计算矩阵-向量的乘积，无须计算逆矩阵，从而降低计算机的运算负担，加快算法的收敛速度。将其应用于图像重构，图像重构的PSNR高于文献［21］提出的半隐梯度下降算法，且算法的运算速度是文献［21］提出的算法运算速度的1～4倍。

二是利用正则项的有界性，将原始正则化模型转化为对偶模型进行研究。文献［26］采用L2范数描述拟合项，用TV的幅值作为约束条件，建立有约束条件的最优化模型；利用约束条件的对偶，将有约束条件的最优化模型转化为对偶模型，对偶模型具有“拟合项+正则项”的标准形式；利用“拟合项”，形成梯度下降子问题；利用“正则项”，形成TV校正子问题，二者交替迭代形成前向-后向（Forward-Backward，FB）TV投影迭代算法。构造类Bregman（Bregman-like）距离，对拟合项进行一阶泰勒展开，利用展开式的残差，证明迭代算法的收敛率 为O（1/k），k为迭代次数。将其应用于医学图像重构，图像重构质量明显得到改善。文献［27］在文献［26］的基础上，采用Gamma分布的似然函数描述拟合项，用TV的L1范数小于给定阈值作为约束条件，建立有约束条件的最优化模型，利用约束条件的对偶，将有约束条件的最优化模型转化为无约束条件的对偶模型，然后将对偶模型表示成“拟合项+正则项”标准形式，利用算子分裂原理，将对偶模型分裂为“拟合项子问题”和“正则项子问题”，“拟合项子问题”采用梯度下降迭代算法，“正则项子问题”采用迫近（Proximal）迭代算法，二者交替迭代，形成乘子交替方向迭代算法（Alternating Direction Method of Multipliers，ADMM）。

三是引入辅助变量，将原始正则化模型转化为对偶模型进行研究。文献［28］利用能量泛函正则化模型式（1-1）的形式，引入辅助变量，将无约束条件的最优化问题转化为具有等式约束的最优化问题，利用拉格朗日乘子，将有条件约束的最优化问题转化为拉格朗日乘子的形式，利用一阶KKT条件，获得原始正则化模型的对偶模型，并表示成“拟合项+正则项”的标准形式。若“拟合项”的梯度满足Lipschitz连续条件，且前向算子的谱范数容易计算，利用“拟合项”设计梯度下降迭代算法；若“正则项”是真（Proper）函数，则利用“正则项”设计迫近迭代算法，二者交替迭代，形成快速对偶迫近梯度迭代算法，利用凸优化理论和算子的非扩张特性，分析迭代算法收敛的相关条件。若迭代步长满足一定条件，则算法的收敛率为O（1/k2），而基于原始能量泛函正则化模型式（1-1）的交替迭代算法的收敛率为。文献［29］用L1范数描述拟合项，用TV描述正则项，建立“L1+TV”型正则化模型，通过引入辅助项，将原始正则化模型转化为松弛正则化模型，由于拟合项和正则项都是非光滑的，无法应用经典迭代算法求解。利用Fenchel变换，将松弛正则化模型转化为有约束条件的对偶模型，而对偶模型是凸集上的二次最小化问题，利用经典Arrow-Hurwicz的思想，设计出分裂交替投影梯度下降-上升（descent-ascent）迭代算法，并从理论上推导出迭代算法步长更新准则。将其应用于重构被椒盐噪声降质的图像，算法的运算速度比快速全变差解卷积（Fast Total Variation Deconvolution，FTVD）迭代算法的运算速度快2～5倍，重构图像的PSNR比FTVD算法获得的PSNR提高约10分贝。

四是将原始能量泛函正则化模型分裂出的部分子问题转化为对偶模型进行研究。文献［17］建立“L1+TV”型正则化模型，由于拟合项和正则项都是非光滑的，无法直接求解。通过引入辅助变量，将原始正则化模型转化为具有等式约束的最优化模型，利用拉格朗日乘子，将有约束条件的最优化模型转化为增广拉格朗日模型，利用最大单调算子及算子分裂原理，将模型分裂为两个子问题，第一个子问题由非光滑项和光滑项组成，无法直接求解，利用Fenchel变换，将子问题转化为对偶模型；利用KKT条件，获得一阶迭代算法；利用优化理论，给出迭代算法收敛的理论证明。将其应用于图像重构，重构图像边缘的质量明显优于基于原始能量泛函正则化模型重构图像边缘的质量。

1.1.3.3　原始-对偶能量泛函正则化模型

由1.1.3.1节和1.1.3.2节的论述可知，将ROF模型应用于图像重构，基于原始正则化模型获得的重构解不理想，但利用ROF模型的对偶模型获得解的质量明显得到改善，那么问题是，通过对偶模型获得的对偶解是最佳解，进行对偶逆变换获得的原始解是否也是最优的，也就是说，对于给定的正则化模型，通过施加哪些限制条件，使获得的原始解和对偶解同时为最优解。为使优化式（1-1）和式（1-2）获得的对偶解和原始解相互制约，原始-对偶模型应运而生。

若拟合项Φ（u）和正则项R（Du）都是真（Proper）、凸、下半连续（Lower Semi-continuous）函数，利用Fenchel-Moreau定理，则原始正则化模型式（1-1）转化为原始-对偶模型，表达式为

式中，sup、R*（v）、v的含义同式（1-2），为内积。式（1-3）常称为鞍点问题，也称极小值-极大值问题。目前，式（1-3）在扩散传感器成像、图像修补、图像重构、压缩感知、大数据处理和人工智能等领域得到广泛应用。

在原始-对偶模型的研究上，主要有五种发展趋势。一是对原始正则化模型进行转化，获得的式（1-3）是光滑的，设计二阶原始-对偶模型牛顿迭代算法；二是将“光滑的拟合项+非光滑的正则项”形式的正则化模型，经对偶转化获得的式（1-3）是非光滑的，设计一阶交替迭代算法；三是将“非光滑的拟合项+非光滑的正则项”形式的正则化模型，经转化获得的式（1-3）是非光滑的，设计一阶原始-对偶模型交替迭代算法；四是在式（1-3）中，成像系统中的“前向算子A不具有特殊结构或算子D是非线性的”，通过逼近或线性化，设计一阶交替迭代算法；五是根据极值原理，将原始-对偶模型分裂为算子，利用算子设计交替迭代算法。下面分别对这五种发展趋势进行阐述。

一是经过转化，获得的式（1-3）是光滑的，设计二阶迭代算法。文献［31］开创了二阶原始-对偶模型牛顿迭代算法在图像处理领域应用的先例，该文用“L2范数”描述拟合项，用“TV”描述正则项，组成式（1-1）标准形式的能量泛函正则化模型，变分后获得欧拉-拉格朗日方程。为消除正则项的奇异特性对欧拉-拉格朗日方程的不利影响，引入对偶变量，将模型转化为光滑的“原始子问题”和“对偶子问题”，利用优化理论中的一阶、二阶KKT条件，设计二阶原始-对偶模型牛顿迭代算法。若由式（1-3）获得的雅可比矩阵是Lischitz连续的，牛顿迭代算法局部二次收敛；若采用Armijo线性搜索策略更新迭代步长，牛顿迭代算法具有全局收敛特性。在文献［32］中，作者利用“L2范数”描述拟合项，用“伪Huber函数”描述正则项，建立原始能量泛函正则化模型，利用Fenchel变换，将原始能量泛函正则化模型转化为式（1-3）的形式，对式（1-3）应用一阶、二阶KKT条件，推导出二阶原始-对偶模型牛顿迭代算法，采用Armijo线性回溯搜索策略，更新原始步、对偶步的迭代步长，运用优化理论分析交替迭代算法的收敛特性，将其应用于图像重构，重构图像的PSNR高于软阈值迭代算法。在二阶牛顿迭代算法中，由于涉及内、外双重循环，内迭代次数很难确定，一直以来都是牛顿迭代算法应用的难点。若迭代次数较多，则可能造成过拟合现象，获得的解并不理想，同时，牛顿迭代算法中的海森矩阵由拟合项和正则项共同决定，若矩阵的规模较大且不具有特殊结构，则计算海森矩阵的逆矩阵比较耗时，因此会造成迭代算法收敛较慢。因此，应用二阶牛顿迭代算法计算式（1-3），一般都使二阶矩阵具有特殊结构或用循环矩阵来逼近，如块循环-循环块结构、Toeplitz-Hankel矩阵、块循环Toeplitz块矩阵等，通过快速傅里叶变换、快速正弦变换和快速余弦变换对矩阵进行对角化，有时不得不通过牺牲图像的质量来换取算法的快速性，或者通过牺牲算法的快速性来换取图像的质量。为克服此缺点，近几年，国内外学者转而对一阶原始-对偶模型交替迭代算法进行研究。

一阶原始-对偶模型交替迭代算法最早由Chambolle Antonin和Pock Thomas提出，简称Chambolle-Pork迭代算法，开创了一阶交替迭代算法在图像处理领域应用的先河。Chambolle-Pork迭代算法，首先将目标函数表示成“光滑项”与“非光滑项”加权和的形式，光滑项、非光滑项可能有多项，也可能全部是非光滑项，然后利用算子分裂原理，将模型分裂为光滑项子问题和非光滑项子问题，光滑项子问题利用经典优化理论进行算法设计，非光滑项子问题利用次微分（Subgradient）和迫近（Proximal）算子进行算法设计，因此，次微分和迫近算子在非光滑优化理论中的地位如同一阶、二阶导数在光滑优化理论中的地位，在迭代算法设计的过程中，次微分和迫近算子的形式和计算复杂度决定非光滑优化问题的成败。

二是由“光滑的拟合项+非光滑的正则项”获得式（1-3），设计一阶交替迭代算法。文献［34］研究了“L2（光滑的拟合项）+TV（非光滑的正则项）”型的能量泛函正则化模型，利用Fenchel变换，将其转化为式（1-3）。假定正则项的对偶、拟合项形成的迫近算子容易计算，式（1-3）的求解可分裂为对偶子问题和原始子问题，两个子问题交替迭代，形成交替迭代算法。利用式（1-3）的上确界与下确界的差（简称原始-对偶差）有界，在对偶步长、原始步长和前向算子的乘积满足一定的条件下，该算法具有二次收敛速度，而且可并行实现。但是，如果研究的问题规模较大，前向算子的规模较大，造成计算前向算子的范数比较耗时，同时，算法的收敛速度受步长制约，由于收敛条件要求苛刻，造成迭代步长较小，导致算法的收敛速度较慢。为克服计算前向算子的范数，以及原始步、对偶步的迭代步长较小，造成Chambolle-Pork迭代算法收敛较慢的缺点，文献［35］研究“L2（光滑的拟合项）+非光滑正则项（下半连续凸函数）”型能量泛函正则化模型，利用Fenchel变换获得式（1-3），提出最大限度地更新原始、对偶变量迭代步长的一阶原始-对偶模型交替迭代算法，以及加速迭代算法。该算法不仅不需要估计前向算子的范数，而且还可以推广到由“L2（光滑的拟合项）+多项非光滑正则项（下半连续凸函数）”构成的能量泛函正则化模型优化问题。利用模拟数据进行实验，该算法比改进的FB迭代算法、快速软阈值迭代算法的收敛速度更快。文献［37］研究“L2（光滑的拟合项）+复合TV（非光滑的正则项）”型的能量泛函正则化模型，该“复合TV”正则项由三个因素构成，而不是由单一因素构成，利用Fenchel变换，将其转化为式（1-3）。利用Chambolle-Pork思想，将目标函数分裂为原始子问题和对偶子问题，二者交替迭代，形成一阶原始-对偶混合梯度（Primal Dual Hybrid Gradient，PDHG）迭代算法。根据Moreau等式，确定PDHG迭代算法收敛的最优条件，利用原始变量和对偶变量的迭代残差，获得最优步长更新准则，将其应用于彩色图像重构，图像重构质量优于单一因素“TV”型正则化模型，这表明正则项的形式对重构解的精确度会产生重要影响。

三是由“非光滑的拟合项+非光滑的正则项”获得式（1-3），设计一阶原始-对偶模型交替迭代算法。文献［38］研究了“L1+L1+TV+示性函数”型能量泛函正则化模型，模型中的拟合项和正则项都是非光滑的，且正则项由多项组成，利用Fenchel变换，将其转化为式（1-3）的形式，基于集值（Set-valued）算子和可分离单调闭包（Monotone Inclusion）原理，应用Douglas-Rachford分裂（DRS）思想，将目标函数分裂为四个子问题，子问题交替迭代，形成交替迭代算法，将其应用于图像重构，该算法获得的PSNR高于FB迭代算法。文献［39］研究了由“非光滑的拟合项+有限非光滑的正则项”组成的一般形式的能量泛函正则化模型优化问题，利用Fenchel-Moreau定理，获得式（1-3）。基于迫近算子和算子分裂原理，给出通用原始-对偶模型一阶迭代算法，该算法仅涉及线性操作和迫近算子运算，通过设置参数可知，PDHG算法、DRS算法是文献［39］一阶迭代算法的特例。文献［39］利用一阶KKT最优条件，将算法表述为单调闭包问题，并假定前向算子A为最大单调算子，利用不动点迭代原理，给出算法收敛的理论证明，并分析算法收敛的相关条件。将通用原始-对偶模型一阶迭代算法应用于重构模拟医学phantom图像和真实医学CT图像，图像重构质量明显优于PDHG算法。文献［40］采用高阶全变差函数作为目标优化函数，用拟合项的示性函数作为约束条件，建立有约束条件的目标优化函数。引入辅助矩阵，将目标函数表示成“非光滑拟合项+非光滑正则项”标准形式，利用Fenchel变换，将目标函数表示成式（1-3）的形式，利用文献［34］的思想，设计交替迭代算法。为克服Chambolle-Pork迭代算法步长较小造成算法收敛较慢的缺点，给出更大步长更新准则，加快算法的收敛，将其应用于重构JPEG图像，与用标准TV作为目标函数重构的图像进行对比可知，用高阶TV作为目标函数重构图像的三维表面与原始图像的三维表面几乎接近，而用标准TV作为目标函数重构的图像会在平坦区域产生阶梯效应和虚假边缘。

四是式（1-3）中的“前向算子A不具有特殊结构或者算子D是非线性的”，通过逼近或线性化，设计一阶交替迭代算法。若式（1-3）中的前向算子A不具有特殊结构，其与正则项中的微分算子D组合在一起，形成大规模矩阵，导致ADMM算法非常耗时；而使用PDHG算法，虽然每步迭代次数较少，但若循环次数较多，算法的运算量也是巨大的。为解决此问题，文献［31］构造循环矩阵，使其逼近由前向算子和微分算子组成的矩阵，利用快速傅里叶变换对矩阵进行对角化，获得一种近似循环分裂（Near-Circulant Splitting，NCS）的迭代算法，重构平行束、扇束、锥束扫描获得的医学CT图像。NCS迭代算法运算速度优于PDHG算法，尽管ADMM算法在早期迭代阶段优于NCS迭代算法，但随着迭代的增加，ADMM算法获得的图像质量变差，而NCS迭代算法可以获得更高质量的重构图像，且在运算速度上，NCS迭代算法也比ADMM算法收敛速度快。文献［34］研究式（1-3）耦合项中的算子D是线性的，文献［42］在此基础上，研究式（1-3）中的算子D不具有双线性（Bilinear）结构，即耦合项是非线性的，对其进行线性化，用一阶Bregman距离逼近，假定非线性项关于原始变量的梯度和对偶变量的梯度是Lipschitz连续的，利用算子分裂原理，形成原始子问题和对偶子问题，二者交替迭代，附加动量项，形成一阶加速原始-对偶模型交替迭代算法。同时，利用原始-对偶函数迭代残差的有界性，设计原始步、对偶步步长更新准则，将加速交替迭代算法应用于处理核矩阵最优化问题，取得了比镜像迫近迭代算法和内点迭代算法更小的迭代残差。利用对偶变换或由内积诱导的范数，将原始模型转化为原始-对偶模型，把原始极小值问题转化为极小值-极大值问题，也称鞍点问题。

五是由原始-对偶模型获得极值所满足的最优条件，将原始-对偶模型分裂为两个算子，利用辅助变量，将两个算子进行耦合，设计交替迭代算法。文献［44］将原始-对偶模型分裂为最大单调算子和反对称线性连续算子，借助辅助变量，形成交替迭代算法。文献［45］将原始-对偶模型分裂为两个最大单调算子，将两个单调算子用紧缩的变分不等式来表示，利用迫近点算法，形成预测与校正子问题，定性地给出耦合参数的取值范围，而且在较大步长的情况下，该算法仍具有较好的收敛特性，大大提高了算法的效率。