手把手教你用Pandas库对淘宝原始数据进行数据处理和分词处

　　来源：Python爬虫与数据挖掘
　　作者：Python进阶者
　　大家好，我是Python进阶者。一、前言
　　大家好，我是Python进阶者，上个礼拜的时候，我的Python交流群里有个名叫程序的大佬，头像是绿色菜狗的那位，在Python交流群里边的人应该都知道我说的是哪个大佬了，他提供了一份初始淘宝数据，数据乍看上去非常杂乱无章，但是经过小小明大佬的神化处理之后，一秒就变清晰了，真是太神了，然后就有了后续的数据分词处理和可视化等内容了，可能群里的人平时工作太忙，没有来得及看群消息，作为热心的群主，这里给大家整理成一篇文章，感兴趣的小伙伴，可以去实操一下，还是可以学到很多东西的。言归正传，一起来学习下今天的数据分析内容吧。二、原始数据预处理
　　1、原始数据
　　在未经过处理之前的数据，长这样，大家可以看看，全部存储在一个单元格里边了，看得十分的让人难受。如下图所示。
　　按照常规来说，针对上面的数据，我们肯定会选择Excel里边的数据分列进行处理，然后依次的去根据空格、冒号去分割，这样可以得到一份较为清晰的数据表，诚然，这种方法确实可行，但是小小明大佬另辟蹊径，给大家用Python中的正则表达式来处理这个数据，处理方法如下。
　　2、原始数据预处理
　　小小明大佬直接使用正则表达式re模块和pandas模块进行处理，方法可谓巧妙，一击即中，数据处理代码如下。importreimportpandasaspdresult〔〕withopen（r淘宝数据。csv）asf：forlineinf：rowdict（re。findall（（〔：〕）：（〔：〕），line））ifrow：result。append（row）dfpd。DataFrame（result）df。toexcel（newdata。xlsx，encodingutf8）print（df）
　　之后我们可以看到效果图，如下图所示，这下是不是感觉到清爽了很多呢？
　　至此，我们对原始的数据进行了预处理，但是这还不够，我们今天主要的目标是对上面数据中的两列：配料表和保质期进行数据分析，接下来继续我们的数据处理和分析。三、对配料表和保质期列进行处理
　　一开始的时候，程序大佬对配料表和保质期这两列的数据进行处理，但是来回得到的分词中总有一些特殊字符，如下图所示，我们可以看到这些字符里边有、顿号、空格等内容。
　　我们都知道，这些是我们不需要的字符，当时我们在群里讨论的时候，我们就想到使用停用词去针对这些扰人的字符进行处理，代码如下。创建停用词listdefstopwordslist（filepath）：stopwords〔line。strip（）forlineinopen（filepath，r，encodinggbk）。readlines（）〕returnstopwords对句子进行分词defsegsentence（sentence）：sentencesegedjieba。cut（sentence。strip（））stopwordsstopwordslist（stopword。txt）这里加载停用词的路径outstrforwordinsentenceseged：ifwordnotinstopwords：ifword！：outstrwordoutstrreturnoutstr
　　其中stopword。txt是小编之前在网上找到的一个存放一些常用特殊字符的txt文件，这个文件内容可以看看下图。
　　如上图所示，大概有1894个词左右，其实在做词频分析的时候，使用停用词去除特殊字符是经常会用到的，感兴趣的小伙伴可以收藏下，也许后面你会用到呢？代码和数据我统一放到文末了，记得去取就行。经过这一轮的数据处理之后，我们得到的数据就基本上没有太多杂乱的字符了，如下图所示。
　　得到这些数据之后，接下来我们需要对这些词语做一些词频统计，并且对其进行可视化。如果还有想法的话，也可以直接套用词云模板，生成漂亮的词云图，也未尝不可。四、词频统计
　　关于词频统计这块，小编这里介绍两种方法，两个代码都是可以用的，条条大路通罗马，一起来看看吧！
　　方法一：常规处理
　　这里使用的是常规处理的方法，代码亲测可用，只需要将代码中的1。txt进行替换成你自己的那个需要分词统计的文档即可，然后系统会自动给你生成一个Excel表格和一个TXT文件，内容都是一样的，只不过一个是表格，一个是文本。！usrbinenvpython3coding：utf8importsysimportjiebaimportjieba。analyseimportxlwt写入Excel表的库reload（sys）sys。setdefaultencoding（utf8）ifnamemain：wbkxlwt。Workbook（encodingascii）sheetwbk。addsheet（wordCount）Excel单元格名字wordlst〔〕keylist〔〕forlineinopen（1。txt，encodingutf8）：1。txt是需要分词统计的文档itemline。strip（r）。split（）制表格切分printitemtagsjieba。analyse。extracttags（item〔0〕）jieba分词fortintags：wordlst。append（t）worddict｛｝withopen（wordCountalllyrics。txt，w）aswf2：打开文件foriteminwordlst：ifitemnotinworddict：统计数量worddict〔item〕1else：worddict〔item〕1orderListlist（worddict。values（））orderList。sort（reverseTrue）printorderListforiinrange（len（orderList））：forkeyinworddict：ifworddict〔key〕orderList〔i〕：wf2。write（keystr（worddict〔key〕））写入txt文档keylist。append（key）worddict〔key〕0foriinrange（len（keylist））：sheet。write（i，1，labelorderList〔i〕）sheet。write（i，0，labelkeylist〔i〕）wbk。save（wordCountalllyrics。xls）保存为wordCount。xls文件
　　方法二：使用Pandas优化处理
　　这里使用Pandas方法进行处理，代码如下，小编也是亲测有效，小伙伴们也可以去尝试下。defgetdata（df）：将食品添加剂这一列空的数据设置为无print（df）df。loc〔：，食品添加剂〕df〔食品添加剂〕。fillna（无）df。loc〔：，保质期〕df〔保质期〕。fillna（无）df。loc〔：，配料表〕df〔配料表〕。fillna（无）分词并扩展提取namesdf。配料表。apply（jieba。lcut）。explode（）过滤长度小于等于1的词并去重df1names〔names。apply（len）1〕。valuecounts（）withpd。ExcelWriter（taobao。xlsx）aswriter：df1。toexcel（writer，sheetname配料）df2pd。readexcel（taobao。xlsx，headerNone，skiprows1，names〔column1，column2〕）print（df2）
　　上面两个代码都是可以用的，最后得到的表格数据，如下图所示。
　　从上图我们可以看到配料表里边的配料占比详情，有了上述的数据之后，接下来我们就可以对其进行可视化操作了。关于可视化的内容，小编也给大家已经准备好了，等待下一篇原创文章，给大家输出，敬请期待。
　　五、总结
　　大家好，我是Python进阶者。本文写到这里，基本上就告一段落了。本文基于一份杂乱的淘宝原始数据，利用正则表达式re库和Pandas数据处理对数据进行清洗，然后通过stopword停用词对得到的文本进行分词处理，得到较为干净的数据，之后利用传统方法和Pandas优化处理两种方式对数据进行词频统计，针对得到的数据，下一步将利用Pyecharts库，进行多重可视化处理，包括但不限于饼图、柱状图、Table表、漏斗图、极化图等，通过一系列的改进和优化，一步步达到想要的效果，可以说是干货满满，实操性强，亲测有效。