李鹏
- 作品数：2 被引量：1H指数：1
- 供职机构：齐鲁工业大学更多>>
- 发文基金：山东省科技发展计划项目更多>>
- 相关领域：自动化与计算机技术更多>>
- 大数据环境下一种基于学习的实体识别方法被引量：1
- 2016年
- 针对传统实体识别方法的主要研究对象是小数据集并且对结果的准确性关注较高的情况,在大数据的背景下提出了一种利用Hadoop平台和MapReduce框架的基于学习的实体识别方法。通过对MapReduce框架流程的分析,运行基于机器学习的算法,并行处理数据集来识别出数据实体。实验表明,该方法提高了实体识别的效果,具有很好的处理性能和效果,满足了识别海量数据中实体的需求。
- 李鹏王润泽冯剑龙薛坤
- 关键词：大数据HADOOPMAPREDUCE
- 一种基于MapReduce的实体共指消解方法
- 2016年
- 在信息技术和工业自动化迅速发展的时代,源源不断地产生着大批量的数据,这些数据中大量指代同一实体的重复数据,给数据分析和处理带来了很大的困难。在以往研究的基础上,提出了一种基于MapReduce的实体共指消解的方法,该方法通过引入权重和相似度的度量指标,利用Hadoop平台和MapReduce框架把数据处理成key-value数据实体对的形式,进而对数据进行共指消解处理。经过实验,表明了该方法能够提高实体共指消解的准确率和速度,满足了企业在当前形势下实体共指消解的需求。
- 李鹏张建国孙琦苗世强逄焕君
- 关键词：MAPREDUCE相似度
