Python数据分析，办公自动化，数据预处理该怎做？

　　数据分析时，首先应对数据进行清洗，这里将数据清洗分为重复值处理、缺失值处理、异常值处理三个部分，重复值处理可删除重复的字段，缺失值处理可以用线性插值、填充为0或用均值填充等，异常值处理用描述性分析、散点图、箱形图、直方图查找异常并处理。
　　本文使用超市商品交易数据，详细介绍重复值处理、缺失值处理、异常值处理的方法，并实际运用数据进行演示，代码操作如下所示。导入数据importpandasaspddfpd。readcsv（rC：Users尚天强Desktop超市商品交易。csv，enginepython，encodingutf8sig）df。head（）
　　重复值处理
　　首先对重复值计数。df。duplicated（）。valuecounts（）
　　用dropduplicates的方法对某几列下面的重复行删除，subset：以某列作为基准列，判断是否重复；keep：保留哪个字段，fisrt参数保留首次出现的数值；inplace：是否替换当前数据，True选择替换当前数据。df。dropduplicates（subset〔商品码〕，keepfirst，inplaceTrue）df。duplicated（）。valuecounts（）
　　缺失值处理
　　通过isnull函数看一下是否有空值，结果是有空值的地方显示为True，没有的显示为False。df。head（11）。isnull（）
　　使用info查看各个字段的属性，标记的部分为缺失的部分。df。info（）
　　通过isnull（）。any（）查看每一列是否有空值，True返回缺失值。df。isnull（）。any（）
　　用df。isnull（）。valuesTrue来定位哪几行是有空值的。df〔df。isnull（）。valuesTrue〕
　　howany只要有一个缺失值就删除，axis0，删除的是行，默认删除的是行，inplaceTrue替换原始数据。df。dropna（howany，axis0，inplaceTrue）df。info（）
　　fillna（0）用0对缺失值进行填充。df1df〔df。isnull（）。valuesTrue〕df1。fillna（0）
　　limit用来限定填充的数量。df1。fillna（0，limit3）
　　｛｝对不同的列填充不同的值，其中键作为列，值作为缺失值填充的值。df1。fillna（｛售价：0，成交价：0，进价：NA｝）
　　method方法使用ffill，表示用前一个值作为填充的值。df1。fillna（methodffill）
　　median方法使用中位数的值进行填充。df1。fillna（df1。median（））
　　interpolate表示线性插值。df〔df。isnull（）。valuesTrue〕。interpolate（）线性插值
　　异常值处理
　　describe（）对统计字段进行描述性分析，从平均值、标准差，看数据的波动情况，最大值查看数据的极值。df〔〔售价，进价〕〕。describe（）
　　做出散点图，查看数据中异常的点，图中标记的点就是异常的点。frommatplotlibimportpyplotaspltplt。rcParams〔font。sansserif〕SimHei解决中文乱码问题plt。scatter（df〔售价〕，df〔进价〕）plt。title（散点图，loccenter）plt。show（）
　　做出箱线图，反映原始数据分布的特征。plt。subplot（1，2，1）plt。boxplot（df〔数量〕，labels〔数量〕）plt。subplot（1，2，2）plt。boxplot（df〔售价金额〕，labels〔售价金额〕）plt。show（）
　　做售价金额的折线图，售价金额呈波动趋势。plt。plot（df〔售价金额〕）
　　用箱形图的办法，超过了上四分位1。5倍四分位距或下四分位1。5倍距离都算异常值，用中位数填充。importnumpyasnpadf〔售价金额〕。quantile（0。75）bdf〔售价金额〕。quantile（0。25）cdf〔售价金额〕c〔（c（ab）1。5a）（cb（ab）1。5）〕np。nanc。fillna（c。median（），inplaceTrue）c。describe（）
　　用标准差和均值，定义超过4倍就算异常值，同样用中位数填充。adf〔售价金额〕。mean（）df〔售价金额〕。std（）4bdf〔售价金额〕。mean（）df〔售价金额〕。std（）4cdf〔售价金额〕c〔（ca）（cb）〕np。nanc。fillna（c。median（），inplaceTrue）c。describe（）
　　正态性检验，发现售价金额呈右偏分布，表明售价金额并不是正态分布。importseabornassnssns。distplot（df〔售价金额〕）解决负号无法正常显示问题plt。rcParams〔axes。unicodeminus〕Falseplt。show（）