Python爬虫实战四之抓取淘宝MM照片

　　本篇目标1。抓取淘宝MM的姓名，头像，年龄
　　2。抓取每一个MM的资料简介以及写真图片
　　3。把每一个MM的写真图片按照文件夹保存到本地
　　4。熟悉文件保存的过程1。URL的格式
　　在这里我们用到的URL是http：mm。taobao。comjsonrequesttoplist。htm？page1，问号前面是基地址，后面的参数page是代表第几页，可以随意更换地址。点击开之后，会发现有一些淘宝MM的简介，并附有超链接链接到个人详情页面。我们需要抓取本页面的头像地址，MM姓名，MM年龄，MM居住地，以及MM的个人详情页面地址。2。抓取简要信息
　　相信大家经过上几次的实战，对抓取和提取页面的地址已经非常熟悉了，这里没有什么难度了，我们首先抓取本页面的MM详情页面地址，姓名，年龄等等的信息打印出来，直接贴代码如下authorCQCcoding：utf8importurllibimporturllib2importreclassSpider：definit（self）：self。siteURLhttp：mm。taobao。comjsonrequesttoplist。htmdefgetPage（self，pageIndex）：urlself。siteURL？pagestr（pageIndex）printurlrequesturllib2。Request（url）responseurllib2。urlopen（request）returnresponse。read（）。decode（gbk）defgetContents（self，pageIndex）：pageself。getPage（pageIndex）patternre。compile（img05。71396。combalk5c7276d5993418c4。jpgstrong。？spanimg05。71396。combalk5c7276d5993418c4。jpgspan，re。S）itemsre。findall（pattern，page）foriteminitems：printitem〔0〕，item〔1〕，item〔2〕，item〔3〕，item〔4〕spiderSpider（）spider。getContents（1）
　　运行结果如下
　　2。文件写入简介
　　在这里，我们有写入图片和写入文本两种方式1）写入图片传入图片地址，文件名，保存单张图片defsaveImg（self，imageURL，fileName）：uurllib。urlopen（imageURL）datau。read（）fopen（fileName，wb）f。write（data）f。close（）2）写入文本defsaveBrief（self，content，name）：fileNamenamename。txtfopen（fileName，w）printu正在偷偷保存她的个人信息为，fileNamef。write（content。encode（utf8））3）创建新目录创建新目录defmkdir（self，path）：pathpath。strip（）判断路径是否存在存在True不存在FalseisExistsos。path。exists（path）判断结果ifnotisExists：如果不存在则创建目录创建目录操作函数os。makedirs（path）returnTrueelse：如果目录存在则不创建，并提示目录已存在returnFalse3。代码完善
　　主要的知识点已经在前面都涉及到了，如果大家前面的章节都已经看了，完成这个爬虫不在话下，具体的详情在此不再赘述，直接帖代码啦。spider。pyauthorCQCcoding：utf8importurllibimporturllib2importreimporttoolimportos抓取MMclassSpider：页面初始化definit（self）：self。siteURLhttp：mm。taobao。comjsonrequesttoplist。htmself。tooltool。Tool（）获取索引页面的内容defgetPage（self，pageIndex）：urlself。siteURL？pagestr（pageIndex）requesturllib2。Request（url）responseurllib2。urlopen（request）returnresponse。read（）。decode（gbk）获取索引界面所有MM的信息，list格式defgetContents（self，pageIndex）：pageself。getPage（pageIndex）patternre。compile（img05。71396。combalk5c7276d5993418c4。jpgstrong。？spanimg05。71396。combalk5c7276d5993418c4。jpgspan，re。S）itemsre。findall（pattern，page）contents〔〕foriteminitems：contents。append（〔item〔0〕，item〔1〕，item〔2〕，item〔3〕，item〔4〕〕）returncontents获取MM个人详情页面defgetDetailPage（self，infoURL）：responseurllib2。urlopen（infoURL）returnresponse。read（）。decode（gbk）获取个人文字简介defgetBrief（self，page）：patternre。compile（img05。71396。combalk5c7276d5993418c4。jpg！，re。S）resultre。search（pattern，page）returnself。tool。replace（result。group（1））获取页面所有图片defgetAllImg（self，page）：patternre。compile（img05。71396。combalk5c7276d5993418c4。jpg！，re。S）个人信息页面所有代码contentre。search（pattern，page）从代码中提取图片patternImgre。compile（img。？srcimg05。71396。combalk5c7276d5993418c4。jpg，re。S）imagesre。findall（patternImg，content。group（1））returnimages保存多张写真图片defsaveImgs（self，images，name）：number1printu发现，name，u共有，len（images），u张照片forimageURLinimages：splitPathimageURL。split（。）fTailsplitPath。pop（）iflen（fTail）3：fTailjpgfileNamenamestr（number）。fTailself。saveImg（imageURL，fileName）number1保存头像defsaveIcon（self，iconURL，name）：splitPathiconURL。split（。）fTailsplitPath。pop（）fileNamenameicon。fTailself。saveImg（iconURL，fileName）保存个人简介defsaveBrief（self，content，name）：fileNamenamename。txtfopen（fileName，w）printu正在偷偷保存她的个人信息为，fileNamef。write（content。encode（utf8））传入图片地址，文件名，保存单张图片defsaveImg（self，imageURL，fileName）：uurllib。urlopen（imageURL）datau。read（）fopen（fileName，wb）f。write（data）printu正在悄悄保存她的一张图片为，fileNamef。close（）创建新目录defmkdir（self，path）：pathpath。strip（）判断路径是否存在存在True不存在FalseisExistsos。path。exists（path）判断结果ifnotisExists：如果不存在则创建目录printu偷偷新建了名字叫做，path，u的文件夹创建目录操作函数os。makedirs（path）returnTrueelse：如果目录存在则不创建，并提示目录已存在printu名为，path，的文件夹已经创建成功returnFalse将一页淘宝MM的信息保存起来defsavePageInfo（self，pageIndex）：获取第一页淘宝MM列表contentsself。getContents（pageIndex）foritemincontents：item〔0〕个人详情URL，item〔1〕头像URL，item〔2〕姓名，item〔3〕年龄，item〔4〕居住地printu发现一位模特，名字叫，item〔2〕，u芳龄，item〔3〕，u，她在，item〔4〕printu正在偷偷地保存，item〔2〕，的信息printu又意外地发现她的个人地址是，item〔0〕个人详情页面的URLdetailURLitem〔0〕得到个人详情页面代码detailPageself。getDetailPage（detailURL）获取个人简介briefself。getBrief（detailPage）获取所有图片列表imagesself。getAllImg（detailPage）self。mkdir（item〔2〕）保存个人简介self。saveBrief（brief，item〔2〕）保存头像self。saveIcon（item〔1〕，item〔2〕）保存图片self。saveImgs（images，item〔2〕）传入起止页码，获取MM图片defsavePagesInfo（self，start，end）：foriinrange（start，end1）：printu正在偷偷寻找第，i，u个地方，看看MM们在不在self。savePageInfo（i）传入起止页码即可，在此传入了2，10，表示抓取第2到10页的MMspiderSpider（）spider。savePagesInfo（2，10）tool。pyauthorCQCcoding：utf8importre处理页面标签类classTool：去除img标签，17位空格，removeImgre。compile（img。？｛1，7｝）删除超链接标签removeAddrre。compile（）把换行的标签换为replaceLinere。compile（tr）将表格制表td替换为replaceTDre。compile（td）将换行符或双换行符替换为replaceBRre。compile（
　　）将其余标签剔除removeExtraTagre。compile（。？）将多行空行删除removeNoneLinere。compile（）defreplace（self，x）：xre。sub（self。removeImg，，x）xre。sub（self。removeAddr，，x）xre。sub（self。replaceLine，，x）xre。sub（self。replaceTD，，x）xre。sub（self。replaceBR，，x）xre。sub（self。removeExtraTag，，x）xre。sub（self。removeNoneLine，，x）strip（）将前后多余内容删除returnx。strip（）
　　以上两个文件就是所有的代码内容，运行一下试试看，那叫一个酸爽啊
　　看看文件夹里面有什么变化
　　不知不觉，海量的MM图片已经进入了你的电脑，还不快快去试试看！！！