我院刘新为教授研究团队与相关学者合作，围绕多智能体网络分布式优化中的步长选择、有向网络中的非对称信息交互及随机梯度计算等问题开展研究，提出了自适应步长、动量加速及方差缩减等算法，分析了算法的理论收敛性，并通过数值实验比较了不同方法的表现。相关研究发表于 IEEE Transactions on Automatic Control、Science China Information Sciences、Computational Optimization and Applications、Asian Journal of Control 等期刊。
多智能体网络分布式优化通过节点的本地计算和邻居间的信息交互，协同最小化所有局部目标函数的平均值，无须将全部本地样本汇集到中心节点。这类方法可用于分布式机器学习、协同感知等任务。如何在局部信息有限、通信具有方向性
以及随机梯度存在波动的条件下保证算法收敛，并减少计算与通信开销，是相关研究的重要问题。
图1 多智能体集中式处理与分布式处理方式示意
在分布式确定性梯度类算法方面，研究团队关注无向网络中的步长选择。针对部分分布式梯度算法需要手动调节步长的问题，高娟、刘新为与合作者提出带有 Barzilai–Borwein（BB）步长的分布式梯度算法 DGM-BB-C，将局部 BB 步长与梯度跟踪、多次一致内循环技巧相结合，在论文所给条件下几何收敛到全局最优解。母佳鑫、高娟、刘新为进一步提出分布式自适应梯度跟踪算法 AdGT2，使各智能体根据本地梯度变化自适应调整步长，并利用全局目标函数梯度的估计更新本地变量。在连通无向网络、局部目标函数光滑且强凸以及参数满足论文所给条件时，AdGT2 的迭代序列线性收敛到全局最优解。两项研究分别以“Achieving geometric convergence for distributed optimization with Barzilai–Borwein step sizes”和《多智能体网络优化的分布式自适应梯度跟踪算法》为题，发表于 Science China Information Sciences 和《运筹学学报（中英文）》。
针对有向网络中节点间通信不对称的问题，高娟、刘新为提出分布式 Barzilai–Borwein 梯度跟踪算法 AB-BB，将 BB 步长与采用行随机、列随机权重矩阵的 AB 梯度跟踪框架相结合，无须估计网络权重矩阵的特征向量，也不依赖多次一致内循环。研究在各局部目标函数光滑、强凸等条件下证明了算法的线性收敛性，并通过分布式逻辑回归实验检验其数值表现。相关研究以《有向网络分布式优化的 Barzilai–Borwein 梯度跟踪方法》为题发表于《控制理论与应用》。
同样针对有向网络，在动量加速方面，高娟、刘新为与合作者提出参数化分布式动量方法 PDM，通过不同的参数设置，将分布式重球动量方法 ABm 和分布式 Nesterov 梯度方法 ABN 纳入统一框架，在论文所给条件下证明了全局 R-线性收敛性。袁纪彪、高娟、任冬梅、李洁、刘新为提出统一加速的分布式梯度方法 UADM，使用行随机权重矩阵并结合 Nesterov 动量加速思想，使节点无须获知自身出度信息。通过不同的参数设置，该框架可涵盖 Li-Row、FROST、FROZEN 等方法。两项研究分别以“A family of distributed momentum methods over directed graphs with linear convergence”和“Unification and acceleration of distributed gradient methods for optimization over directed graphs”为题，发表于 IEEE Transactions on Automatic Control 和 Pacific Journal of Optimization。
团队成员高娟还与黄思远、董巧丽、张翠杰等学者合作，提出基于凸组合的分布式动量方法 CDM，通过凸组合设计拓展有向网络中的动量算法结构，并在相应假设下建立了 R-线性收敛结果。该研究以“A convex combination-based distributed momentum methods over directed graphs”为题发表于 IEEE Signal Processing Letters。
在分布式随机梯度类算法方面，研究团队关注本地样本较多时完整梯度计算成本较高的问题。高娟、刘新为与合作者针对无向网络中的随机非凸优化问题，提出 DSGT-HB 和 DSGT-NAG 两种分布式随机梯度跟踪算法，分别加入重球动量和 Nesterov 动量机制。在目标函数光滑、随机梯度无偏且方差有界等条件下，研究给出了两种方法的次线性收敛界，其误差范围与步长及随机梯度方差有关。非凸逻辑回归和神经网络任务的数值实验显示，两种方法较基准 DSGT 方法具有更好的实验表现。该研究以“Distributed stochastic gradient tracking methods with momentum acceleration for non-convex optimization”为题发表于 Computational Optimization and Applications。
面向有向网络下全局目标函数强凸的有限和随机优化问题，宫秀慧、高娟、刘新为提出 DSM-SAGA 算法，将重球动量、SAGA 方差缩减技术与 Push-Sum 一致性策略相结合。该方法利用历史样本梯度信息减小随机梯度估计的波动，并通过列随机权重更新一个辅助权重变量，再用迭代变量除以该权重变量，以处理有向通信造成的权重不平衡。在论文所给条件下，算法以均方意义线性收敛到最优解，分布式逻辑回归实验验证了其数值效果。相关研究以“A variance-reduced distributed stochastic momentum algorithm over directed networks”为题发表于 Asian Journal of Control。
论文信息
1. Gao J., Liu X.-W., Dai Y.-H., Huang Y., Yang P. Achieving geometric convergence for distributed optimization with Barzilai-Borwein step sizes. Science China Information Sciences, 2022, 65: 149204.
2. Gao J., Liu X.-W., Dai Y.-H., Huang Y., Yang P. A family of distributed momentum methods over directed graphs with linear convergence. IEEE Transactions on Automatic Control, 2023, 68(2): 1085–1092. DOI: 10.1109/TAC.2022.3160684.
3. Gao J., Liu X.-W., Dai Y.-H., Huang Y., Gu J. Distributed stochastic gradient tracking methods with momentum acceleration for non-convex optimization. Computational Optimization and Applications, 2023, 84: 531–572. DOI: 10.1007/s10589-022-00432-5.
4. 高娟, 刘新为. 有向网络分布式优化的Barzilai-Borwein梯度跟踪方法. 《控制理论与应用》, 2023, 40(9): 1637–1645. DOI: 10.7641/CTA.2022.20125.
5. Huang S., Gao J., Dong Q.-L., Zhang C. A convex combination-based distributed momentum methods over directed graphs. IEEE Signal Processing Letters, 2025, 32: 1835–1839. DOI: 10.1109/LSP.2025.3563722.
6. Gong X., Gao J., Liu X. A variance-reduced distributed stochastic momentum algorithm over directed networks. Asian Journal of Control, 2026, 28(4): 1794–1811. DOI: 10.1002/asjc.3775.
7. Yuan J., Gao J., Ren D., Li J., Liu X. Unification and acceleration of distributed gradient methods for optimization over directed graphs. Pacific Journal of Optimization, 2026. DOI: 10.61208/pjo-2025-003.
8. 母佳鑫, 高娟, 刘新为. 多智能体网络优化的分布式自适应梯度跟踪算法. 《运筹学学报（中英文）》, 2026, 30(3): 23–40. DOI: 10.15960/j.cnki.issn.1007-6093.2026.03.002.
研究团队简介
河北工业大学理学院刘新为教授研究团队主要从事最优化理论与算法研究，研究方向包括多智能体网络分布式优化、非线性约束优化、黎曼流形优化等。截至目前，团队已以河北工业大学理学院为第一署名单位或通讯作者单位，在 IEEE Transactions on Automatic Control、Science China Information Sciences、Computational Optimization and Applications、Asian Journal of Control 等期刊发表多篇研究论文。团队相关研究得到国家自然科学基金、中国科学院战略性先导科技专项等项目资助。
文字/袁蕊 审核/张建 仝策中
