靖红芳
- 作品数：5 被引量：42H指数：3
- 供职机构：中国科学院计算技术研究所更多>>
- 发文基金：国家自然科学基金国家高技术研究发展计划国家重点基础研究发展计划更多>>
- 相关领域：自动化与计算机技术更多>>
- 文本分类中特征权重因子的作用研究被引量：18
- 2010年
- 在传统的基于向量空间的文本分类中,特征权重计算与特征选择过程完全割裂,特征选择函数的得分能反映特征的重要性,却未被纳入权重表示,造成特征表示不精确并影响分类性能。一些改进方法使用特征选择函数等修改TFIDF模型,提高了分类性能,但没有探究各权重因子如何影响分类的性能。该文以词频、逆文档频率及特征选择函数分别作为衡量特征的文档代表性、文档区分性及类别区分性的因子,通过实验测试了它们对分类性能的影响,得到文档代表性因子能使分类效果峰值最高但抵抗噪音特征能力差、文档区分性因子具有抗噪能力但性能不稳定、而类别区分性因子抗噪能力最强且性能最稳定的结论。最后给出权重表示的四点构造原则,并通过实验验证了其对分类性能的优化效果。
- 张爱华靖红芳王斌徐燕
- 关键词：计算机应用中文信息处理文本分类VSM
- 基于类别分布的特征选择框架
- 极高的特征维数使文本分类变得复杂和费时,为此非常需要有效的特征降维方法。目前已有很多种特征选择方法,但据我们所知,没有一种独立的特征选择方法能够在非平衡语料上取得很好的效果。本文依据特征在类别间的分布特点提出了基于类别分...
- 靖红芳王斌杨雅辉
- 文献传递
- 文本分类中特征选择的形式化研究
- 文本分类是数据挖掘、机器学习中的一项基本技术。文本分类中通常要把文本表示成多维特征构成的向量。原始的特征空间维数通常很高，不仅会导致分类的效率低下，而且由于噪音特征的存在也使得分类效果难以令人满意。因此，文本分类中一个非...
- 靖红芳
- 关键词：文本分类粗糙集理论数据挖掘
- 中文网页搜索日志中的特殊命名实体挖掘被引量：5
- 2011年
- 利用少量具有类别信息的种子词,结合特征选择技术来提取每个类别的特征信息;再利用这些特征信息,结合文本分类等数据挖掘技术来提取特殊命名实体.过程中只有构造种子词的环节需要人工辅助,其他环节均实现自动处理.实验证明,该系统和方法能够从查询日志中挖掘出高质量的命名实体列表,6个类别上识别结果的平均P@500达到了77%.系统的自动化程度和识别的效果均达到实用的要求.
- 张磊王斌靖红芳吴丽辉
- 关键词：数据挖掘信息检索
- 基于类别分布的特征选择框架被引量：18
- 2009年
- 目前已有很多种特征选择方法,但就目前所知,没有一种方法能够在非平衡语料上取得很好的效果.依据特征在类别间的分布特点提出了基于类别分布的特征选择框架.该框架能够利用特征的分布信息选出具有较强区分能力的特征,同时允许给类别灵活地分配权重,分配较大的权重给稀有类别则提高稀有类别的分类效果,所以它适用于非平衡语料,也具有很好的扩展性.另外,OCFS和基于类别分布差异的特征过滤可以看作该框架的特例.实现该框架得到了具体的特征选择方法,Retuers-21578语料及复旦大学语料等两个非平衡语料上的实验表明,它们的Macro和Micro F1效果都优于IG,CHI和OCFS.
- 靖红芳王斌杨雅辉徐燕
- 关键词：特征降维文本分类数据挖掘
