易扩展的、健壮的数据密集型作业管理系统的实现
“大亚湾反应堆中微子实验”计划利用我国大亚湾核电站群独有的自然条件，测量中微子振荡的6个关键参数之一—中微子混合角θ13，对中微子物理的未来发展将提供方向性指导。根据估算，实验将会产生长4PB 的物理数据，这些数据会以计算作业的形式被分析计算。本文基于大亚湾物理实验的计算需求，设计并实现了一个易扩展的、健壮的作业管理系统——DYB-DIOM（Dayabay Data Intensive Job Management）。<br> DYB-DIOM 是一个具有模块化结构的作业管理系统，其规模和功能易于扩展，并且具有强大的容错机制。DYB-DIOM的特点与功能包括：提供多种用户接口完成数据密集型作业的拆分与提交；借助XML-RPC和Zero-MQ进行服务端和客户端的通信；制定并提供统一模块组件接口保证系统具有良好的扩展性；“推”、“拉”结合的作业提交模型使系统实现了跨平台作业管理；作业状态自动检查以及出错作业重新提交功能提高了作业运行成功率；作业管理界面和服务端程序的运行隔离，保障系统的稳定运行。该系统目前已经部署在大亚湾实验实际的计算环境中，提供了功能丰富、安全可靠的作业管理服务。
作业管理系统 数据处理 系统设计 工作流程 核反应堆实验
石京燕 阚博文 王新华
中国科学院高能物理研究所计算中心，北京，100049
国内会议
成都
中文
1-5
2011-07-04（万方平台首次上网日期，不代表论文的发表时间）