7月24日下午，应数学与信息科学学院邀请，河北工业大学黄亚魁教授作了题为《Stochastic Polyak step size for SGD with variance reduction and momentum》的专题报告。报告由数学与信息科学学院裴永刚副院长主持。学院相关研究方向的青年教师和研究生参加了此次报告。
报告主要关注梯度类算法，步长是影响随机梯度下降(SGD)方法收敛性和效率的关键因素。随机Polyak步长(SPS)在机器学习问题中显示出巨大的潜力。在此次讲座中，黄亚魁教授介绍了一种新的SPS的变体，它是由原始目标函数与方差缩减技术和动量相结合构造的随机函数的最小值的下界来计算的，它适用于非插值问题。基于所提出的步长和SGD，开发了一种算法SPSVRM，该算法以亚线性速率收敛于凸和非内插问题的精确解。数值实验表明，SPSVRM的性能优于其他具有最新SPS变体的SGDs。黄亚魁教授的讲座给了与会师生很多思考和启发，使与会青年教师和研究生受益匪浅。
讲座结束后，黄亚魁教授对与会师生提出的问题进行详细解答，并在优化问题方面展开了热烈的交流讨论。
专家简介：
黄亚魁，河北工业大学准聘教授、硕士生导师。2015年博士毕业于西安电子科技大学，2015年7月至2017年5月在中国科学院数学与系统科学研究院从事博士后研究。主要研究兴趣包括梯度类算法理论及应用、大规模机器学习和分布式优化等领域的一阶算法，相关成果发表在SIAM Journal on Optimization、Journal of Scientific Computing、Computational Optimization and Applications等期刊，主持国家自然科学基金、河北省自然科学基金、中国博士后基金等科研项目。现任中国运筹学会数学规划分会理事、算法软件与应用分会常务理事，中国数学会计算数学分会理事，河北省运筹学会秘书长。
(数学与信息科学学院 郭静邑 裴永刚)
最新通知