基于Hadoop的邮件日志分析与研究
日志分析为信息系统运行维护提供重要数据和指导。随着大量信息系统的部署,数据中心每天产生海量的信息系统日志,日志分析和处理已经成为信息系统运行管理的一项重要工作。由于日志具有数据量大,不易读懂的特点,如果仅凭借管理员查看日志记录的手段,其中所蕴含的有用信息难以发现,分布式计算技术可以用来解决这一难题。文章以邮件日志处理为例,阐述了邮件日志收集流程,详细介绍了Hadoop分布式计算框架,设计并实现了一套基于Hadoop的日志分析系统,对Hadoop集群参数配置和性能优化进行了分析。
数据中心 信息系统 邮件日志 参数优化 分布式计算
闫龙川 王怀宇 李枫 毛一凡
国网信息通信有限公司,北京100761
国内会议
北京
中文
333-337
2012-11-01(万方平台首次上网日期,不代表论文的发表时间)