Python爬虫百度照片
爬虫小测试
1 urllib、re模块的使用
urllib这是读取文本页面数据的一个使用的接口
而re是正则表达式，在我们处理字符串的时候会用到
2 获取页面的数据
定义getHtml函数，使用urlopen函数打开url地址，再使用read方法进行读取，然后就行返回
3 对返回数据的处理
将函数返回的页面的字符串进行处理，将图片的连接提取出来，类似与这样
4对图片进行下载
使用re的findall，将所有包含图片的字符串数据进行保存
5图片的保存
使用urllib.retrieve()方法，直接将远程数据下载到本地。默认保存到程序的存放目录
代码如下
#coding=utf-8
import urllib #Urllib 模块提供了读取web页面数据的接口
import re #re模块主要包含了正则表达式
def getHtml(url):
page = urllib.urlopen(url) #urllib.urlopen()方法用于打开一个URL地址。
html = page.read() #read()方法用于读取URL上的数据
return html
def getImg(html):
reg = r'src="(.+?\.jpg)" pic_ext'
imgre = re.compile(reg)#re.compile() 可以把正则表达式编译成一个正则表达式对象.
imglist = re.findall(imgre,html)#re.findall() 方法读取html 中包含 imgre（正则表达式）的数据。
x = 0
for imgurl in imglist:
urllib.urlretrieve(imgurl,'%s.jpg' % x)#这里的核心是用到了urllib.retrieve()方法，直接将远程数据下载到本地。
x+=1#保存的位置默认为程序的存放目录。命名规则通过x变量加1
html = getHtml("http://tieba.baidu.com/p/2460150866")#
print getImg(html)
智能推荐
注意！
本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系我们删除。