面向数值模拟的元数据在线提取
在大规模科学计算应用中,计算程序往往产生大量结构复杂、缺乏说明信息的数值模拟数据,这对于科学家组织和管理的组织与管理这些数据已经成为一个重要瓶颈问题。本文以典型数值模拟程序及其结果数据为应用背景,给出了面向数值模拟元数据的定义与分类,提出了识别各种数据文件特征的方法。采用UNIX pthread线程编程技术,通过在数据访问接口中嵌入线程任务模块的方式,实现了元数据在线提取和自动入库功能,即在每个输出时间步输出计算结果到文件系统的同时,将元数据存储到数据库中。同时,还设计了一个科学计算元数据管理原型系统,用户通过Web页面可以浏览和查询元数据,并进一步获取和分析分布式的数值模拟数据,对其感兴趣的数据进行空间范围查询和物理量值域范围的查询和可视化,从而提高了对计算结果的分析和评估能力。
元数据 科学计算 数值模拟 数据管理 线程编程
陈虹 夏芳 郑纬民
清华大学计算机科学与技术系,北京市 100084 北京应用物理与计算数学研究所高性能计算中心,北京市 100088 北京应用物理与计算数学研究所高性能计算中心,北京市 100088 清华大学计算机科学与技术系,北京市 100084
国内会议
深圳
中文
196-205
2007-10-26（万方平台首次上网日期，不代表论文的发表时间）