面向交通流数据的实时处理Storm调度算法
在流式数据的实时处理中,计算资源有效利用以及计算性能是计算平台的重要评测指标.本文在一个以storm为基础的计算平台上,实现一套自定义的调度机制,针对不同的计算任务,分配不同的计算资源,并提高计算性能.在storm提供的默认调度器之上,实现了一个称之为LightScheduler的调度器,改变了默认调度器顺序分配计算资源的策略,对计算资源进行逻辑层面的划分.根据一个计算任务的实际需求,将其分配给指定的物理计算节点,无特殊需求的计算任务采用storm默认的调度策略,把所有无特殊需求的计算资源顺序分配到storm计算集群的物理计算节点上,但是已经被LightScheduler分配掉的计算资源,不会再被其他计算任务抢占,并通过减少网络延迟的方式提高计算任务的计算性能. 实验表明,在承担了多个计算任务并行的计算平台上,按照上述调度方案,合理的分配了计算资源,而且被LightScheduler调度的计算任务在性能方面提高了约10％.
流式数据 实时处理 调度算法 计算性能 资源分配
南海京 房俊 杨修志
北方工业大学云计算研究中心,北京市100144 华北计算机技术研究所,北京市 100083
国内会议
天津
中文
1-6
2014-09-27（万方平台首次上网日期，不代表论文的发表时间）