会议专题

基于一致性散列的可扩展网页存储

网页信息的存储对于很多网络应用系统是相当关键的,一个最重要的例子就是搜索引擎如何保存从网络上采集的页面信息,以及如何高速访问这些保存下来的数据.随着存储内容的增加,基于集群(Cluster)的分布式网页存储就不可避免地面临着可扩展性的问题.一致性散列(Consistent Hashing)由于其良好的可扩展性,被广泛的应用在广域网上的点对点(Peer-to-Peer)系统中.实际上,由于此算法的优良特性,对于基于集群系统的可扩展性问题也有非常好的帮助.本文基于一致性散列方法,设计了一个具有可扩展性的可靠的网页存储系统.

互联网 搜索引擎 网页存储 一致性散列 可扩展集群 网页信息仓库

陈康 余锦 史树明 沈美明 郑纬民

清华大学计算机科学与技术系高性能研究所(北京)

国内会议

2003中国计算机大会

北京

中文

751-756

2003-11-01(万方平台首次上网日期,不代表论文的发表时间)