赵路
- 作品数：1 被引量：2H指数：1
- 供职机构：云南农业大学基础与信息工程学院更多>>
- 发文基金：云南省教育厅科学研究基金更多>>
- 相关领域：农业科学更多>>
- 基于Hadoop的葡萄种植环境数据处理及性能测试被引量：2
- 2015年
- 随着农业大数据时代的来临,传统串行程序及关系数据库已经不能满足对大数据处理的需求,使用分布式平台对数据进行处理逐渐取代传统的数据处理技术。本文使用Hadoop分布式平台,结合非关系型数据库Hbase和并行编程模型MapReduce,对香格里拉地区酿酒葡萄种植区的环境数据的存储和计算进行了设计,测试了Hbase对数据的存储性能以及MapReduce用于回归分析的性能,并将MapReduce并行计算程序与单机串行程序进行了性能对比。结果表明,通过对Hbase进行合适的配置,数据写入时间随着节点的增加而减少,存储性能具有良好的扩展性;MapReduce在处理少量数据时效率低于串行程序,但随着数据量增加,其计算效率明显优于串行程序。
- 袁伟罗丽琼赵路张军情付思芮鲁绍坤
- 关键词：HADOOPHBASEMAPREDUCE
