胡庆宝
- 作品数：24 被引量：51H指数：4
- 供职机构：中国科学院高能物理研究所更多>>
- 发文基金：国家自然科学基金国家高技术研究发展计划国家科技重大专项更多>>
- 相关领域：自动化与计算机技术理学电子电信更多>>
- 高能物理科学数据中心智能运维系统被引量：2
- 2022年
- 【目的】高能物理科学数据中心运维环境复杂,监控工具种类繁多,功能相对重叠且监控数据无法互通,日常运维面临巨大的挑战。为高效运用监控数据,提高数据中心运维能力,本文实现了高能物理科学数据中心智能运维系统。【方法】本文结合工业大数据技术、机器学习技术和数据中心运维需求,设计了通用的数据中心运维技术架构。介绍监控数据采集、分析、存储、共享、可视化等系统核心功能及其实现方式,以及依托该系统在数据中心数据存储、计算服务、网络安全等日常运维的具体应用效果。【结果】本文设计的运维框架,在高能物理科学数据中心日常运维中得到了成熟的应用和实践,提升了数据中心运维管理能力。【结论】智能运维系统在高能物理科学数据中心的应用,加速了运维监控从数据持久化、统一化到数据业务化、生态化的价值演进,实现了基于数据驱动的数据中心智能化运维生态。
- 胡庆宝郑伟郑伟汪璐颜田
- 关键词：大数据
- 国家高能物理科学数据中心分布式数据处理平台被引量：4
- 2022年
- 【目的】本文对国家高能物理科学数据中心分布式数据平台进行系统全面介绍,为高能物理及相关领域大科学实验的数据处理提供参考。【方法】文章介绍了国家高能物理科学数据中心分布式数据处理平台的总体构成、运行模式和智能运维等方面的关键技术。通过分析高能物理实验数据处理的计算特点与实际需求,介绍了数据中心“一平台多中心”的数据处理平台建设思想,阐述了平台为高能物理实验提供的跨地域资源共享、高性能海量数据访问以及用户实时交互服务等技术方案设计与实现。【结果】文章列举了数据中心分布式数据处理平台对两个高能物理实验的支持实例,助力科学研究成果获取。【结论】国家高能物理科学数据中心分布式数据处理平台已经成为高能物理学科的重要基础设施和组成,是学科融合、开展新研究方法的主要场所,满足了粒子物理、理论物理、空间天文、射线学科、加速器设计等科研领域的数据处理需求。
- 石京燕黄秋兰汪璐李海波杜然姜晓巍胡庆宝郑伟闫晓飞张玄同
- 一种基于访问特征的高能物理文件存储方法
- 本发明公开了一种基于访问特征的高能物理文件存储方法，其步骤包括：设置多种数据类别，每一类别数据设置一对应的数据放置策略；对于每一类别数据，分别从存储系统中选取多个数据文件及其访问记录，同一数据文件对应提取M条访问记录；对...
- 程振京徐琪王聪程耀东汪璐李海波胡庆宝
- 文献传递
- 一种基于高能物理事例的数据管理与传输方法
- 本发明公开了一种基于高能物理事例的数据管理与传输方法，其步骤包括：设置一主站点和若干分站点；在每一分站点上设置一数据传输客户端，在主站点上设置一数据传输服务端；定期将事例数据存储到主站点，以及从事例数据中提取事例特征数据...
- 王聪程耀东李海波徐琪程振京胡庆宝
- 文献传递
- 分布式计算站点统一部署和监控系统的研究与实现
- 2018年
- 近几年,高能物理合作的分布式计算站点数量越来越多,分布越来越广。物理软件的运行需要有稳定可靠的计算环境和统一的系统软件配置。本文通过对分布式站点统一部署和监控方案进行研究,从分布式架构设计、软件配置的文件同步和监控数据的采集进行了研究和设计,实现站点统一管理和运维。该方案的研究和实现有利于分布式计算站点的统一配置和集中运维,减轻管理和运维成本,保障物理作业在各个站点的可靠运行。
- 郑伟闫晓飞胡庆宝
- 关键词：分布式监控
- 基于Elasticsearch的实时集群日志采集和分析系统实现
- 传统日志工具采集时间长、处理效率低下,无法支持大规模集群日志采集和分析需求.本文从实际需求出发,结合flume和Elasticsearch设计实现了集群日志的实时采集和快速查询分析系统.通过预设日志规则库,实时统计并展示...
- 胡庆宝姜晓巍石京燕程耀东
- 关键词：软件开发预警信息
- 文献传递
- 一种基于高能物理事例的数据管理与传输方法
- 本发明公开了一种基于高能物理事例的数据管理与传输方法，其步骤包括：设置一主站点和若干分站点；在每一分站点上设置一数据传输客户端，在主站点上设置一数据传输服务端；定期将事例数据存储到主站点，以及从事例数据中提取事例特征数据...
- 王聪程耀东李海波徐琪程振京胡庆宝
- 文献传递
- DeepWeb可配置聚焦爬虫设计与实现被引量：3
- 2014年
- 大数据时代如何精确而有效地抓取用户所需要的数据成为了一个至关重要的问题,提出一种可配置的聚焦网络爬虫框架,基于配置文件的设置,构建一个数据采集精确、可控性强的聚焦网络爬虫。在此基础上改进聚焦爬虫工作流程,实现Deep Web表单自动提交以及Deep Web数据抓取。实验通过高能物理研究所网站与手机腾讯微博的数据爬取以及爬虫在高能物理研究所大数据平台上的实际运行效果说明了爬虫设计的有效性与实用性。
- 罗成程耀东胡庆宝李海波
- 关键词：聚焦爬虫DEEPWEB大数据
- 一种共享虚拟资源池份额调度方法及系统
- 本发明公开了一种共享虚拟资源池份额调度方法及系统。本方法为：对每个业务应用分别进行实时监测，获得每个业务应用运行状况以及当前运行的虚拟机资源总数；其中，所述业务应用运行状况包括业务应用当前运行的作业数量以及排队等待运行的...
- 李海波程耀东程振京胡庆宝王聪徐琪
- 文献传递
- Kubernetes异构资源细粒度调度策略的设计与实现被引量：6
- 2023年
- 在异构资源环境中高效利用计算资源是提升任务效率和集群利用率的关键。Kuberentes作为容器编排领域的首选方案,在异构资源调度场景下调度器缺少GPU细粒度信息无法满足用户自定义需求,并且CPU/GPU节点混合部署下调度器无法感知异构资源从而导致资源竞争。综合考虑异构资源在节点上的分布及其硬件状态,提出一种基于Kubernetes的CPU/GPU异构资源细粒度调度策略。利用设备插件机制收集每个节点上GPU的详细信息,并将GPU资源指标提交给调度算法。在原有CPU和内存过滤算法的基础上,增加自定义GPU信息的过滤,从而筛选出符合用户细粒度需求的节点。针对CPU/GPU节点混合部署的情况,改进调度器的打分算法,动态感知应用类型,对CPU和GPU应用分别采用负载均衡算法和最小最合适算法,保证异构资源调度策略对不同类型应用的正确调度,并且在CPU资源不足的情况下充分利用GPU节点的碎片资源。通过对GPU细粒度调度和CPU/GPU节点混合部署情况下的调度效果进行实验验证,结果表明该策略能够有效进行GPU调度并且避免资源竞争。
- 刘志彬黄秋兰胡庆宝程耀东胡誉田浩来
- 关键词：异构资源资源调度
