CtrlEnter，1秒批量合并数据并导入数据库的办法，你学

　　在日常数据分析的业务场景下，我们经常会遇到以下难题：如何批量导入不同工作簿不同Sheet表下的数据？如何将这些不同Sheet表下的数据合并为一个数据？如何将合并的数据导入数据库？
　　本文构造一组数据，批量合并后导入数据库保存，下面一起来学习。本文使用工具：Python3。7。0
　　本文使用的模块：pandas、os、pymysql
　　适用范围：数据批量导入与合并，数据库留存批量数据导入并合并
　　首先构建10个工作簿，每个工作簿下面有三个Sheet表。
　　每一个分别Sheet表包含ID、number、sale三个字段。
　　导入相关的库，在数据批量导入及合并的时候，使用到pandas和os两个库。导入相关的库importpandasaspdimportos
　　这里介绍一下os。listdir命令，他可以将一个数据文件内的所有文件名都读取出来，如下图就是读取的文件名，包含那十个工作簿。os。listdir（rC：Users尚天强Desktop测试数据）
　　使用readexcel命令读取一个Excel文件。dfpd。readexcel（rC：Users尚天强Desktop测试数据测试数据1。xlsx）df。head（）
　　首先构建一个空的列表，里面没有任何数值，同时，在开始部分就定义数据的导入路径、导出路径、以及保存的文件名。importpandasaspdimportos构建一个空的列表dfs〔〕readpathrC：Users尚天强Desktop测试数据savepathrC：Users尚天强Desktopsavenameouttable。xlsx
　　接下来是循环遍历每一个文件的名称，并且遍历的文件名不能为保存的文件名，sheetnameNone表示读取每一个Sheet表下的数据，skiprows1，headerNone取消标题，跳过第一行，只保留数据内容，使用extend命令将遍历的这些数据内容上下拼接起来。forfnameinos。listdir（readpath）：iffname。endswith（。xlsx）andfname！savename：dfpd。readexcel（readpathfname，skiprows1，headerNone，sheetnameNone）dfs。extend（df。values（））
　　使用concat命令将每一个工作簿的数据拼接起来。合并resultpd。concat（dfs）
　　在导出数据的时候，使用header命令给表格加一个标题，批量导入数据并合并的结果如下所示。导出数据result。toexcel（savepathsavename，indexFalse，header〔id，number，sale〕）
　　使用第一种方法合并数据，发现有重复值，可以使用dropduplicates参数去除重复值，使用sortvalues参数进行排序，去除重复值并且排序的数据结果如下所示。importpandasaspdimportosdfs〔〕readpathrC：Users尚天强Desktop测试数据savepathrC：Users尚天强Desktopsavenameouttable。xlsxforfnameinos。listdir（readpath）：iffname。endswith（。xlsx）andfname！savename：dfpd。readexcel（readpathfname，skiprows1，headerNone，sheetnameNone，names〔id，number，sale〕）这里需要用names函数命名，不然没法去重和排序dfs。extend（df。values（））合并resultpd。concat（dfs）根据ID去除重复值result。dropduplicates（subsetid，keepfirst，inplaceTrue）降序排列result。sortvalues（bysale，ascendingFalse，inplaceTrue）导出数据result。toexcel（savepathsavename，indexFalse，header〔id，number，sale〕）
　　数据导入数据库
　　将数据导入数据库，这里还是使用上面的数据文件，连接数据库使用的模块为pymysql。读入数据datapd。readcsv（rC：Users尚天强Desktopouttable。csv，enginepython）data。head（）导入需要使用到的数据模块importpandasaspdimportpymysql
　　数据库连接，host为数据库地址、user为用户名、password为密码、db为数据库的名字、port为端口，默认为3306。建立数据库连接conpymysql。connect（host127。0。0。1，userroot，password123456，dbdemo，port3306）
　　获取游标对象。获取游标对象cursorcon。cursor（）
　　用数据库demo，USEdemo也是数据库内的SQL语言。使用数据库democursor。execute（USEdemo）
　　构造一个test表，包含ID、number、sale三个字段。cursor。execute（createtableifnotexiststest（IDchar（4）primarykey，numberint，salefloat））
　　向表test表内插入数据。插入数据语句queryinsertintotest（ID，number，sale）values（s，s，s）
　　迭代读取每行数据，转化数据类型，将其保存在values内。迭代读取每行数据，values中元素有个类型的强制转换，否则会出错forrinrange（0，len（data））：IDdata。iloc〔r，0〕numberdata。iloc〔r，1〕saledata。iloc〔r，2〕values（str（ID），int（number），float（sale））cursor。execute（query，values）
　　关闭游标，提交，关闭数据库连接。关闭游标，提交，关闭数据库连接，如果没有这些关闭操作，执行后在数据库中查看不到数据cursor。close（）con。commit（）con。close（）打印数据建立数据库连接conpymysql。connect（host127。0。0。1，userroot，password123456，dbdemo，port3306）获取游标对象cursorcon。cursor（）
　　首先执行SQL命令，selectfromtest表示查询test表内的所有数据，循环遍历数值，将它打印出来。查询数据库并打印内容cursor。execute（selectfromtest）resultcursor。fetchall（）forvaluesinresult：print（values）
　　打印出来的结果可以看到，第一列是字符串，第二列是整型，第三列是浮点型。关闭cursor。close（）con。commit（）con。close（）
　　导入数据库后的结果如下所示：