6月21日，来自计算机学院教师和学生参加了第7期青年学者沙龙。本期的主讲嘉宾为赵拓博士，现为佐治亚理工大学工业工程系与计算机系助理教授。他本次分享的主题为《机器学习中的过参数优化和非凸优化的若干研究进展》。
在本次交流中，赵博士主要从非凸优化的几何分析、随机梯度算法的动态、神经网络的泛化界三个方面介绍了近期机器学习非凸优化相关的若干研究进展。首先，赵博士分析了目前优化领域的几个挑战，如过参数化、非凸、不稳定等；并给出研究优化问题的预期目标，如快速、可行、跨学科应用等。接下来，赵博士简单介绍了目前研究过参数及非凸优化问题的两种策略：即自底向上和自顶向下的两种策略。接下来，赵博士从自底向下的思路出发，以传统的线性带约束优化、矩阵感知、低秩矩阵恢复等为例，介绍研究简单过参问题能带给我们的一些启示。然后，赵博士向大家分享了他最近在利用应用概率学工具研究随机优化的动态以及神经网络泛化性能上的一些成果及心得。最后，赵博士表示，虽然深度学习已经应用到众多领域，但是深度学习算法的优化缺乏相关理论研究支撑。而真正研究此问题的研究者目前还比较少，需要科学界的广泛的合作和共同的努力。分享结束之后，参与沙龙的老师和同学进行了深入讨论。
