Python爬虫实战，Python多线程抓取5千多部最新电影

　　前言
　　利用Python多线程爬了5000多部最新电影下载链接，废话不多说
　　让我们愉快地开始吧开发工具
　　Python版本：3。6。4
　　相关模块：
　　requests模块；
　　re模块；
　　csv模块；
　　以及一些Python自带的模块。环境搭建
　　安装Python并添加到环境变量，pip安装需要的相关模块即可。
　　bsBeautifulSoup（html，html。parser）bbs。findAll（classcocontent8）bb〔0〕。findAll（classulink）复制代码
　　拿到链接之后，接下来就是继续访问这些链接，然后拿到电影的下载链接
　　bs1BeautifulSoup（html1，html。parser）b1bs1。find（tbody）。findnext（td）。findnext（a）downloadurlb1。get（href）复制代码
　　但是这里还是有很多的小细节，例如我们需要拿到电影的总页数，其次这么多的页面，一个线程不知道要跑到什么时候，所以我们首先先拿到总页码，然后用多线程来进行任务的分配
　　我们首先先拿到总页码，然后用多线程来进行任务的分配
　　总页数其实我们用re正则来获取defgettotalpage（url）：rrequests。get（urlurl，headersheaders）r。encodinggb2312patternre。compile（r（？页）d）tpattern。findall（r。text）returnint（t〔0〕）复制代码
　　爬取的内容存取到csv，也可以写个函数来存取defwirteintocsv（name，downurl）：fopen（最新电影。csv，a，encodingutf8）csvwritercsv。writer（f）csvwriter。writerow（〔name，downurl〕）f。close（）复制代码
　　开启4个进程来下载链接totalpagegettotalpage（https：www。ygdy8。comhtmlgndyoumeilist71。html）totalpageint（totalpage251）endint（totalpage4）try：thread。startnewthread（run，（1，end））thread。startnewthread（run，（end1，end2））thread。startnewthread（run，（end21，end3））thread。startnewthread（run，（end31，end4））except：print（Error：无法启动线程）while（1）：pass复制代码
　　您学废了吗？最后祝大家天天进步！！学习Python最重要的就是心态。我们在学习过程中必然会遇到很多难题，可能自己想破脑袋都无法解决。这都是正常的，千万别急着否定自己，怀疑自己。如果大家在刚开始学习中遇到困难，想找一个python学习交流环境，可以加入我们，领取学习资料，一起讨论，会节约很多时间，减少很多遇到的难题。