刘蕴辉
- 作品数：14 被引量：150H指数：5
- 供职机构：北京交通大学计算机与信息技术学院更多>>
- 发文基金：国家自然科学基金国家教育部博士点基金北京市重点学科建设基金更多>>
- 相关领域：自动化与计算机技术经济管理自然科学总论更多>>
- 退火期望最大化算法A-EM被引量：3
- 2006年
- 使用EM算法训练随机多层前馈网具有低开销、易于实现和全局收敛的特点,在EM算法的基础上提出了一种训练随机多层前馈网络的新方法AEM.AEM算法利用热力学系统的最大熵原理计算网络中隐变量的条件概率,借鉴退火过程,引入温度参数,减小了初始参数值对最终结果的影响.该算法既保持了原EM算法的优点,又有利于训练结果收敛到全局极小.从数学角度证明了该算法的收敛性,同时,实验也证明了该算法的正确性和有效性.
- 齐英剑罗四维黄雅平李爱军刘蕴辉
- 关键词：期望最大化算法最大熵退火
- 信息理论框架下的神经网络构建被引量：6
- 2005年
- 神经网络模型的构建方法是神经网络研究的重点和难点,传统的构建方法建立在实验和重复学习的基础上,本文提出了一种信息理论框架下的神经网络构建方法基于熵的神经网络(EBNN).EBNN借助于前馈网络与决策树的等价性,采用熵做为神经网络构造的准则,利用决策树的构造思想和方法,建立了一种系统的神经网络构造方法.实验表明EBNN方法学习速度比传统BP网络快,但又不降低神经网络性能.
- 李爱军罗四维刘蕴辉黄华
- 关键词：网络构建前馈网络网络构造BP网络网络性能等价性
- 修剪算法的信息几何分析被引量：1
- 2006年
- 修剪法是确定和优化神经网络结构的重要方法之一.当前对修剪法的研究大多集中在方法描述上,对于修剪法内在机理的研究尚不多见,而研究修剪的内在机理可以为修剪策略提供理论基础和依据.从信息几何的角度研究了修剪法的内在机理,给出了神经网络结构修剪法的信息几何理论解释,利用神经流形参数结构的层次性,将修剪法表述为一系列从当前模型流形到其子流形的信息投影过程,在此基础上提出了新的修剪算法,并给出了算法可行性与有效性的实验验证.
- 刘蕴辉罗四维黄华李爱军
- 关键词：修剪法信息几何
- 一种基于广义KL距离和几何曲率的模型选择准则被引量：3
- 2005年
- 模型选择的目标就是识别产生给定数据的模型，通常模型的好坏由模型的泛化能力来度量，而泛化能力包含模型对给定数据的拟合度和模型自身复杂度两个方面，本文从信息几何的观点使用定义在流形上的广义KL距离来度量模型的拟合度；另一方面从微分几何的观点用曲率的概念来度量模型的内在复杂度；因此，拟合度和复杂度的表示都具有在参数变换下保持不变的特点，通过理论分析，我们证明了用于表示模型预测能力的未来残差与模型固有曲率的关系，由此提出一种新的基于广义KL距离和曲率的模型选择准则KILCIC．该准则不仅考虑了样本大小、参数个数和函数形式等影响复杂度的因素，而且具有非常清晰直观的几何意义，实验结果表明该方法的有效性．
- 杨坚罗四维刘蕴辉
- 基于决策树的神经网络被引量：17
- 2005年
- 传统人工神经网络模型采用试探的方法确定合适的网络结构,并随机地初始化参数值,导致神经网络训练效率低、结果不稳定.熵网络是一种建立在决策树之上的3层前馈网络,在熵网络基础上,提出了基于决策树的神经网络设计方法(DTBNN).DTBNN中提供了对神经网络参数的初始值合理设置的方法,并提出了由决策树确定的只是熵网络的初始结构,在实际的网络构造中需要根据实际应用添加神经元和连接权以提高网络的性能.理论分析和实验结果表明了这种方法的合理性.
- 李爱军罗四维黄华刘蕴辉
- 关键词：人工神经网络决策树
- 基于凸规划观点的神经网络学习
- 2004年
- 人工神经网络最重要的特征就是网络的学习能力,通过对神经网络内部权值的调整,学习外部环境结构的特征和信息的表示.从信息几何的角度,对神经网络的学习过程进行了几何描述,并将神经网络的学习问题转化为,最小化外部环境表示的真实分布与网络模型表示的逼近分布之间的"距离",并证明了对于可编码成指数簇流形的神经网络是凸规划问题.为神经网络学习的研究提出了一个新的思路,也为在高维非线性空间中解决网络学习问题的有效性,从信息几何的角度给出了一种解释.
- 刘蕴辉罗四维李爱军俞翰斌
- 关键词：神经网络信息几何
- 基于图像处理的铁轨表面缺陷检测算法被引量：27
- 2007年
- 对铁路轨道表面缺陷进行检测是保证铁路运输安全的重要手段之一,该文采用计算机图像处理技术对铁路轨道表面的缺陷进行自动化检测,提出了轨道表面缺陷检测的系统设计方案,给出了一种利用图像灰度信息的快速、实时检测算法。实验验证了算法的有效性和高效性。
- 刘蕴辉刘铁王权良罗四维
- 基于熵准则的神经网络设计方法(英文)被引量：1
- 2004年
- 神经网络的结构设计一直是研究者关注的基本问题.提出了一种构造神经网络的方法———EBNN.该方法采用熵作为第一层神经元的选择准则,在选择第一层神经元的同时可以得到隐层和输出层的神经元,并对神经网络参数进行合理的初始化.该方法不仅能有效地建立神经网络的结构,还提供了信息性增量学习的可能性.
- 李爱军罗四维刘蕴辉俞翰斌
- 关键词：神经网络输出层初始化设计方法神经元信息性
- 人工神经网络知识增殖性分析被引量：5
- 2005年
- 人工神经网络的知识增殖能力是该领域的热点和难点问题 ,具有重要的理论和实践意义 对人工神经网络的知识增殖性问题进行了较深入的探讨 ,从网络推广能力的角度分析了具有知识增殖能力的神经网络系统的结构设计问题 ,指出将多个网络个体结合在一起是实现人工神经网络增殖学习的重要方法 ,网络的自治能力在此具有重要的意义 利用具有自治能力的神经网络构建的网络群体中 ,网络个体无需改变而整体具有增殖学习能力 。
- 黄华罗四维刘蕴辉李爱军
- 关键词：人工神经网络
- 高维数据流形的低维嵌入及嵌入维数研究被引量：76
- 2005年
- 发现高维数据空间流形中有意义的低维嵌入是一个经典难题.Isomap是提出的一种有效的基于流形理论的非线性降维方法,它不仅能够揭示高维观察数据的内在结构,还能够发现潜在的低维参数空间.Isomap的理论基础是假设在高维数据空间和低维参数空间存在等距映射,但并没有进行证明.首先给出了高维数据的连续流形和低维参数空间之间的等距映射存在性证明,然后区分了嵌入空间维数、高维数据空间的固有维数和流形维数,并证明存在环状流形高维数据空间的参数空间维数小于嵌入空间维数.最后提出一种环状流形的发现算法,判断高维数据空间是否存在环状流形,进而估计其固有维数及潜在空间维数.在多姿态三维对象的实验中证明了算法的有效性,并得到正确的低维参数空间.
- 赵连伟罗四维赵艳敞刘蕴辉
- 关键词：ISOMAP等距映射
