周柏
- 作品数:2 被引量:11H指数:1
- 供职机构:中国人民解放军陆军军官学院更多>>
- 发文基金:国家自然科学基金安徽省自然科学基金更多>>
- 相关领域:自动化与计算机技术更多>>
- 基于随机步长具有最优瞬时收敛速率的稀疏随机优化算法
- 2015年
- 几乎所有的稀疏随机算法都来源于在线形式,只能获得平均输出方式的收敛速率,对于强凸优化问题无法达到最优的瞬时收敛速率.文中避开在线形式转到随机模式,直接研究随机优化算法.首先在含有L1正则化项的稀疏优化问题中加入L2正则化项,使之具有强凸特性.然后将黑箱优化方法中的随机步长策略引入到当前通用的结构优化算法COMID中,得到基于随机步长的混合正则化镜面下降稀疏随机优化算法.最后通过分析L1正则化问题中软阈值方法的求解特点,证明算法具有最优的瞬时收敛速率.实验表明,文中算法的稀疏性优于COMID.
- 周柏陶卿储德军
- 关键词:稀疏性
- 一种求解强凸优化问题的最优随机算法被引量:11
- 2014年
- 随机梯度下降(SGD)算法是处理大规模数据的有效方法之一.黑箱方法SGD在强凸条件下能达到最优的O(1/T)收敛速率,但对于求解L1+L2正则化学习问题的结构优化算法,如COMID(composite objective mirror descent)仅具有O(lnT/T)的收敛速率.提出一种能够保证稀疏性基于COMID的加权算法,证明了其不仅具有O(1/T)的收敛速率,还具有on-the-fly计算的优点,从而减少了计算代价.实验结果表明了理论分析的正确性和所提算法的有效性.
- 邵言剑陶卿姜纪远周柏
- 关键词:MIRROR