Python语言的网络爬虫技术研究与应用
Python语言是一种跨平台通用动态解释型的编程语言,具有简单方便上手、兼容性强、可在所有操作系统上运行等特点。本文研究Python语言中的网络爬虫技术,运用该语言中的Requests、Beautifulsoup等库和队列循环技术,可以编写网页爬取程序,实现对指定网站的全部网页源码爬取、解析网页的信息是否更新以及将网页结果储存到本地磁盘。网页爬取采用的框架是基于python的requests库,运用requests库的get方法请求http响应,然后运用Beautifulsoup库和Xpath库实现文件的解析。方法简单实用。
Python语言 网络爬虫技术 网页
李陶深 杨时禹
南宁学院,南宁,530200 广西大学计算机与电子信息学院,南宁,530004
国内会议
河南开封
中文
7-11
2019-10-01(万方平台首次上网日期,不代表论文的发表时间)