Scrapy爬虫框架Mysql数据库存储数据

　　一、新建一个项目scrapystartprojectmyslqst
　　二、进入到项目目录并增加爬虫文件xiaohuacd。myslqstscrapygenspiderxiaohuawww。xxx。com
　　三、修改配置文件，并开启管道存储ROBOTSTXTOBEYFalseLOGLEVELERRORUSERAGENTMozilla5。0（WindowsNT10。0；Win64；x64）AppleWebKit537。36（KHTML，likeGecko）Chrome111。0。0。0Safari537。36ITEMPIPELINES｛myslqst。pipelines。MyslqstPipeline：300，｝
　　四、目标地址starturls〔https：www。XXX。comlizhi〕
　　五、获取标题内容defparse（self，response）：标题列表response。xpath（htmlbodyp〔2〕pp〔3〕p〔1〕pulli）foriin标题列表：标题i。xpath（。atext（））。extractfirst（）print（标题）
　　六、将字段添加到itemsclassMyslqstItem（scrapy。Item）：definethefieldsforyouritemherelike：namescrapy。Field（）标题scrapy。Field（）
　　七、在爬虫文件导入MyslqstItem函数，将获取的字段对象交给管道处理from。。itemsimportMyslqstItem字段对象MyslqstItem（）字段对象〔标题〕标题yield字段对象
　　八、在管道文件接收获取的字段对象classMyslqstPipeline：defprocessitem（self，item，spider）：标题item〔标题〕print（标题）returnitem
　　九、在mysql中新建一个数据库aiyou和一个表lizhi
　　十、管道文件导入mysql库，并创建数据库连接importpymysql连接对象None游标对象Nonedefopenspider（self，spider）：self。连接对象pymysql。Connect（host192。168。0。111，port3306，userroot，password，dbaiyou，charsetutf8）self。游标对象self。连接对象。cursor（）
　　十一、执行sql语句，添加内容sql语句insertintolizhi（标题）values（s）标题self。游标对象。execute（sql语句）self。连接对象。commit（）
　　十二、关闭响应数据defclosespider（self，spider）：self。游标对象。close（）self。连接对象。close（）
　　十三、储存效果