会议专题

基于数据密集型计算的作业管理系统的研究与设计

  数据密集型计算是高性能计算的一个重要分支。如何提高数据密集型计算的运行效率以及系统稳定性则是海量数据分析处理的瓶颈。为了解决这些问题,笔者研究设计了基于数据密集型计算的作业管理系统。本文首先根据海量数据计算作业的特征选择了“推”“拉”混合的架构模式,设计了跨平台的批作业提交与管理模型;其次,为作业系统各个模块制定了统一规范的接口,以保证系统的易扩展性,并根据数据密集型作业的特点,在服务端提出了作业代理存储策略;采用了消息传输机制实现模块之间相互通信,保证了系统的松耦合性。最后,使用双机热备与容错机制使系统可以健壮运行。

作业管理系统 架构模式 系统设计 容错机制 核反应堆控制

阚博文 王新华 石京燕

中国科学院高能物理研究所计算中心,北京,100049

国内会议

第十五届全国科学计算与信息化会议暨现代物理信息化论坛

成都

中文

1-5

2011-07-04(万方平台首次上网日期,不代表论文的发表时间)