孙震宇
- 作品数：7 被引量：25H指数：4
- 供职机构：中国科学院高能物理研究所更多>>
- 发文基金：国家自然科学基金更多>>
- 相关领域：自动化与计算机技术更多>>
- 大型高能物理计算集群资源管理方法的评测被引量：7
- 2017年
- 高能物理数据由物理事例组成,事例之间没有相关性。可以通过大量作业同时处理大量不同的数据文件,从而实现高能物理计算任务的并行化,因此高能物理计算是典型的高吞吐量计算场景。高能所计算集群使用开源的TORQUE/Maui进行资源管理及作业调度,并通过将集群资源划分成不同队列以及限制用户最大运行作业数来保证公平性,然而这也导致了集群整体资源利用率非常低下。SLURM和HTCondor都是近年来流行的开源资源管理系统,前者拥有丰富的作业调度策略,后者非常适合高吞吐量计算,二者都能够替代老旧、缺乏维护的TORQUE/Maui,都是管理计算集群资源的可行方案。在SLURM和HTCondor测试集群上模拟大亚湾实验用户的作业提交行为,对SLURM和HTCondor的资源分配行为和效率进行了测试,并与相同作业在高能物理研究所TORQUE/Maui集群上的实际调度结果进行了对比,分析了SLURM及HTCondor的优势和不足,探讨了使用SLURM或HTCondor管理高能物理研究所计算集群的可行性。
- 孙震宇石京燕姜晓巍邹佳恒杜然
- 关键词：资源管理系统计算集群
- 基于磁盘I/O性能的Hadoop任务选择策略被引量：4
- 2016年
- 最大化利用本地磁盘的I/O资源是提升计算集群性能的关键,但Hadoop系统中多数调度算法未考虑此项因素。为此,引入磁盘负载作为Map任务选择的权衡参数,任务调度时参照磁盘负载程度选择合适的任务,以保证数据节点上各磁盘的负载相对均衡,并据此设计新的任务选择模块集成到Hadoop的调度器中。同时为进一步提升Hadoop系统的性能,实现Map作业的近似完全本地化执行。实验结果表明,该任务选择策略能够充分利用数据节点本地磁盘的I/O资源,可使节点的I/O Wait平均降低5%,CPU利用率平均上升15%,作业的执行时间缩短20%。
- 李强孙震宇雷晓凤孙功星
- 关键词：调度算法I/O性能
- 一种面向HDFS的数据随机访问方法被引量：5
- 2017年
- 为了简化文件系统的实现,支持超大规模数据集的流式访问,HDFS牺牲了文件的随机访问功能,而在实际场景中很多应用都需要对文件进行随机访问。在深入分析HDFS数据读写原理的基础上,提出了一种面向HDFS的数据随机访问方法。其设计思想是为Datanode添加本地数据访问接口,用户程序可以读取Datanode上存放的数据块文件以及把数据写入到Datanode上的数据块存放目录。文件的首副本由用户程序直接产生,其余副本在首副本写入完成之后采用数据复制的方式生成。此外,为数据块添加了权限管理功能,Datanode上的文件副本属于用户所有。若名字空间中文件权限发生变化,文件对应的数据块权限也会改变。测试表明,数据读取性能提升了约10%,数据写入性能提升了20%以上,在高并发下写入性能最大可提升2.5倍。
- 李强孙震宇孙功星
- 关键词：HADOOP分布式文件系统权限管理
- 应用于JUNO实验的容器技术研究
- 2019年
- 江门中微子实验(JUNO)是以测定中微子质量顺序、精确测量中微子混合参数为主要目的的一项物理科学前沿研究实验,其实验规模庞大,数据处理流程繁杂,需借助统一高效的离线计算平台对数据进行分析处理。为此,利用Docker容器分层的镜像技术将JUNO实验所需的环境依赖库打包在镜像文件中,为其制定针对不同操作系统作业的容器镜像,并将不同JUNO容器作业提交至作业调度器上运行,以实现资源共享。对物理机、容器、虚拟机3种平台的CPU性能、I/O性能及JUNO作业的实际运行效果进行对比测试,结果表明,Docker容器能够胜任JUNO离线数据处理,相比虚拟机具有更小的性能损耗。
- 谭宏楠石京燕邹佳恒杜然姜晓巍孙震宇
- 关键词：虚拟机镜像虚拟化技术
- 基于HBase的数据完全本地化分析平台设计与实现被引量：1
- 2016年
- 为充分利用I/O资源并提高数据分析效率,针对高能物理数据分析过程及数据存储特点,利用Java本地接口技术,提出基于HBase C++访问接口的数据完全本地化分析平台,并设计MapReduce模型的相关算法及组件,根据Mapper任务的优化分配及组合提高CPU资源的利用率。通过集成高能物理数据分析环境、作业管理系统、ROOT绘图模块等,实现全新的Web用户接口,简化用户操作。测试结果表明,与传统基于文件存储的数据分析系统相比,该平台的数据分析速度更快,可扩展性更好。
- 雷晓凤李强孙震宇孙功星
- 关键词：MAPREDUCE模型JAVA本地接口
- 基于Openstack的高能物理虚拟计算集群系统及应用被引量：4
- 2017年
- 高能物理计算是典型的高性能计算的应用,运行时需要大量的CPU资源。如果系统的CPU资源利用率不高,会使得计算效率大大下降。传统的高能物理计算环境资源管理是静态的,很难同时满足突发、批处理、CPU密集型、数据密集型等不同类型的作业对于不同的物理资源的需求。文中基于Openstack构建的虚拟计算集群系统,实现以CPU核为粒度进行调度作业,根据当前的作业和虚拟资源情况,动态调度资源,大大提高了资源的利用率。首先介绍本系统的相关研究工作,包括KVM虚拟机的测试优化、高能物理作业在虚拟机上的性能测试及高能物理公共服务云IHEPCloud,这些工作进一步表明了高能物理实验的数据分析在虚拟机上的性能是完全可以被接受的;然后详细介绍了虚拟计算集群系统的设计与实现;最后给出虚拟机计算集群在高能物理计算中的实际应用情况,证明了虚拟计算集群系统能很好地满足高能物理的计算需求。
- 黄秋兰李海波石京燕孙震宇伍文静伍文静程耀东
- 关键词：OPENSTACKKVM
- 大规模异构计算集群的双层作业调度系统被引量：5
- 2020年
- 高能物理计算平台中的HTCondor和SLURM计算集群为多个高能物理实验提供数据处理服务,然而HTCondor并行作业调度效率较低、SLURM难以应对大量串行作业,且计算平台整体资源管理及调度策略过于简单。为满足高能物理计算集群高负荷运行的需求,在传统作业调度器上增加作业管理层,设计双层作业调度系统,通过高效调度串并行作业并兼顾实验组间资源的使用公平性,实现用户对作业的细粒度管理。测试结果表明,双层作业调度系统支持大批量高能物理作业的快速提交,并充分利用计算平台的总体资源,具有较好的作业调度性能。
- 孙震宇石京燕石京燕孙功星杜然姜晓巍邹佳恒
