如何用Python清洗数据？

0. 序言

成都创新互联公司长期为上千客户提供的网站建设服务，团队从业经验10年，关注不同地域、不同群体，并针对不同对象提供差异化的产品和服务；打造开放共赢平台，与合作伙伴共同营造健康的互联网生态环境。为高淳企业提供专业的网站设计、网站建设，高淳网站改版等技术服务。拥有十余年丰富建站经验和众多成功案例,为您定制开发。

在做数据分析之前，我们首先要明确数据分析的目标，然后 应用数据分析的思维，对目标进行细分，再采取相应的行动。

我们可以把数据分析细分为以下 8 个步骤：

  • 读取
  • 清洗
  • 操作
  • 转换
  • 整理
  • 分析
  • 展现

(8)报告

在《 如何用 Python 读取数据? 》这篇文章中，我们学习了从 5 种不同的地方读取数据的方法，接下来，我们将利用其中的一种方法， 从 Excel 文件中读取原始数据，然后利 用 Python 对它进行清洗。

下面我们用一副待清洗的扑克牌作为示例，假设它保存在代码文件相同的目录下，在 Jupyter Lab 环境中运行以下代码：

 
 
 
    
  
  
  
  1. import numpy as np 
    2.   
  
  
  2. import pandas as pd 
    3.   
  
  
  3.  
    4.   
  
  
  4. # 设置最多显示 10 行 
    5.   
  
  
  5. pd.set_option('max_rows', 10) 
    6.   
  
  
  6.  
    7.   
  
  
  7. # 从 Excel 文件中读取原始数据 
    8.   
  
  
  8. df = pd.read_excel( 
    9.   
  
  
  9.     '待清洗的扑克牌数据集.xlsx' 
    10.   
  
  
  10. ) 
    11.   
  
  
  11.  
    12.   
  
  
  12. df 
    13.

返回结果如下：

这幅待清洗的扑克牌数据集，有一些异常情况，包括：大小王的花色是缺失的，有两张重复的黑桃:spades: A，还有一张异常的 黑桃 :spades: 30。

1. 如何查找异常?

在正式开始清洗数据之前，往往需要先把异常数据找出来，观察异常数据的特征，然后再决定清洗的方法。

 
 
 
    
  
  
  
  1. # 查找「花色」缺失的行 
    2.   
  
  
  2. df[df.花色.isnull()] 
    3.  
 
 
 
 
 
    
  
  
  
  1. # 查找完全重复的行 
    2.   
  
  
  2. df[df.duplicated()] 
    3.  
 
 
 
 
 
    
  
  
  
  1. # 查找某一列重复的行 
    2.   
  
  
  2. df[df.编号.duplicated()] 
    3.  
 
 
 
 
 
    
  
  
  
  1. # 查找牌面的所有唯一值 
    2.   
  
  
  2. df.牌面.unique() 
    3.

返回结果：

array(['大王', '小王', 'A', '30', 4, 5, 6, 7, 8, 9, 10, 'J', 'Q', 'K', 2, 3], dtype=object)

根据常识可以判断，牌面为 30 的是异常值。

 
 
 
    
  
  
  
  1. # 查找「牌面」包含 30 的异常值 
    2.   
  
  
  2. df[df.牌面.isin(['30'])] 
    3.  
 
 
 
 
 
    
  
  
  
  1. # 查找王牌，模糊匹配 
    2.   
  
  
  2. df[df.牌面.str.contains( 
    3.   
  
  
  3.     '王', na=False 
    4.   
  
  
  4. )] 
    5.  
 
 
 
 
 
    
  
  
  
  1. # 查找编号在 1 到 5 之间的行 
    2.   
  
  
  2. df[df.编号.between(1, 5)] 
    3.

查找某个区间，也可以用逻辑运算的方法来实现：

 
 
 
    
  
  
  
  1. # 查找编号在 1 到 5 之间的行 
    2.   
  
  
  2. df[(df.编号 >= 1) 
    3.   
  
  
  3.    & (df.编号 <= 5)] 
    4.

其中「 & 」代表必须同时满足两边的条件，也就是「且」的意思。

还可以用下面等价的方法：

 
 
 
    
  
  
  
  1. # 查找编号在 1 到 5 之间的行 
    2.   
  
  
  2. df[~((df.编号 < 1) 
    3.   
  
  
  3.      | (df.编号 > 5))] 
    4.

其中「 | 」代表两边的条件满足一个即可，也就是「或」的意思，「 ~ 」代表取反，也就是「非」的意思。

2. 如何排除重复?

使用 drop_duplicates() 函数，在排除重复之后，会得到一个新的数据框。

 
 
 
    
  
  
  
  1. # 排除完全重复的行，默认保留第一行 
    2.   
  
  
  2. df.drop_duplicates() 
    3.

返回结果如下：

如果想要改变原来的数据框，有两种方法，一种方法，是增加 inplace 参数：

 
 
 
    
  
  
  
  1. # 排除重复后直接替换原来的数据框 
    2.   
  
  
  2. df.drop_duplicates( 
    3.   
  
  
  3.     inplace=True 
    4.   
  
  
  4. ) 
    5.

另一种方法，是把得到的结果，重新赋值给原来的数据框：

 
 
 
    
  
  
  
  1. # 排除重复后，重新赋值给原来的数据框 
    2.   
  
  
  2. df = df.drop_duplicates() 
    3.

如果想要按某一列排除重复的数据，那么指定相应的列名即可。

 
 
 
    
  
  
  
  1. # 按某一列排除重复，默认保留第一行 
    2.   
  
  
  2. df.drop_duplicates(['花色']) 
    3.

如果想要保留重复的最后一行，那么需要指定 keep 参数。

 
 
 
    
  
  
  
  1. # 按某一列排除重复，并保留最后一行 
    2.   
  
  
  2. df.drop_duplicates( 
    3.   
  
  
  3.     ['花色'], keep='last' 
    4.   
  
  
  4. ) 
    5.

从上面两个返回结果的编号可以看出，不同方法的差异情况。

3. 如何删除缺失?

使用 dropna() 函数，默认删除包含缺失的行。为了更加简单易懂，我们用扑克牌中不重复的花色作为示例。

 
 
 
    
  
  
  
  1. # 不重复的花色 
    2.   
  
  
  2. color = df.drop_duplicates( 
    3.   
  
  
  3.     ['花色'] 
    4.   
  
  
  4. ) 
    5.   
  
  
  5.  
    6.   
  
  
  6. color 
    7.  
 
 
 
 
 
    
  
  
  
  1. # 删除包含缺失值的行 
    2.   
  
  
  2. color.dropna() 
    3.

如果想要删除整行全部为空的行，那么需要指定 how 参数。

 
 
 
    
  
  
  
  1. # 删除全部为空的行 
    2.   
  
  
  2. color.dropna(how='all') 
    3.

如果想要删除包含缺失值的列，那么需要指定 axis 参数。

 
 
 
    
  
  
  
  1. # 删除包含缺失值的列 
    2.   
  
  
  2. color.dropna(axis=1) 
    3.

可以看到，包含缺失值的「花色」这一列被删除了。

4. 如何补全缺失?

使用 fillna() 函数，可以将缺失值填充为我们指定的值。

 
 
 
    
  
  
  
  1. # 补全缺失值 
    2.   
  
  
  2. color.fillna('Joker') 
    3.

可以看到，原来的 NaN 被填充为 Joker，在实际工作的应用中，通常填充为 0，也就是说， fillna(0) 是比较常见的用法。

如果想要使用临近的值来填充，那么需要指定 method 参数，例如：

 
 
 
    
  
  
  
  1. # 用后面的值填充 
    2.   
  
  
  2. color.fillna(method='bfill') 
    3.

可以看到，原来第一行的 NaN 替换成了第二行的「黑桃:spades:」。

其中 method 还有一些其他的可选参数，详情可以查看相关的帮助文档。

还有一种按字典填充的方法。为了让下面的演示更加直观易懂，我们先把索引为 2 的牌面设置为缺失值：

 
 
 
    
  
  
  
  1. # 为了演示，先指定一个缺失值 
    2.   
  
  
  2. color.loc[2, '牌面'] = np.nan 
    3.   
  
  
  3.  
    4.   
  
  
  4. color 
    5.  
 
 
 
 
 
    
  
  
  
  1. # 按列自定义补全缺失值 
    2.   
  
  
  2. color.fillna( 
    3.   
  
  
  3.     {'花色': 0, '牌面': 1} 
    4.   
  
  
  4. ) 
    5.

可以看出，不同列的缺失值，可以填充为不同的值，花色这一列填充为 0，牌面这一列填充为 1，我在图中分别用红色的方框标记出来了。

5. 应用案例

下面 我们用 Python 代码，把这幅待清洗的扑克牌数据集，变成一副正常的扑克牌数据。

 
 
 
    
  
  
  
  1. import numpy as np 
    2.   
  
  
  2. import pandas as pd 
    3.   
  
  
  3.  
    4.   
  
  
  4. # 设置最多显示 10 行 
    5.   
  
  
  5. pd.set_option('max_rows', 10) 
    6.   
  
  
  6.  
    7.   
  
  
  7. # 从 Excel 文件中读取原始数据 
    8.   
  
  
  8. df = pd.read_excel( 
    9.   
  
  
  9.     '待清洗的扑克牌数据集.xlsx' 
    10.   
  
  
  10. ) 
    11.   
  
  
  11.  
    12.   
  
  
  12. # 补全缺失值 
    13.   
  
  
  13. df = df.fillna('Joker') 
    14.   
  
  
  14.  
    15.   
  
  
  15. # 排除重复值 
    16.   
  
  
  16. df = df.drop_duplicates() 
    17.   
  
  
  17.  
    18.   
  
  
  18. # 修改异常值 
    19.   
  
  
  19. df.loc[4, '牌面'] = 3 
    20.   
  
  
  20.  
    21.   
  
  
  21. # 增加一张缺少的牌 
    22.   
  
  
  22. df = df.append( 
    23.   
  
  
  23.     {'编号': 4, 
    24.   
  
  
  24.      '花色': '黑桃', 
    25.   
  
  
  25.      '牌面': 2}, 
    26.   
  
  
  26.     ignore_index=True 
    27.   
  
  
  27. ) 
    28.   
  
  
  28.  
    29.   
  
  
  29. # 按编号排序 
    30.   
  
  
  30. df = df.sort_values('编号') 
    31.   
  
  
  31.  
    32.   
  
  
  32. # 重置索引 
    33.   
  
  
  33. df = df.reset_index() 
    34.   
  
  
  34.  
    35.   
  
  
  35. # 删除多余的列 
    36.   
  
  
  36. df = df.drop( 
    37.   
  
  
  37.     ['index'], axis=1 
    38.   
  
  
  38. ) 
    39.   
  
  
  39.  
    40.   
  
  
  40. # 把清洗好的数据保存到 Excel 文件 
    41.   
  
  
  41. df.to_excel( 
    42.   
  
  
  42.     '完成清洗的扑克牌数据.xlsx', 
    43.   
  
  
  43.     index=False 
    44.   
  
  
  44. ) 
    45.   
  
  
  45.  
    46.   
  
  
  46. df 
    47.

返回结果如下：

  • 可以看到，我们已经成功地把它变成了一副正常的扑克牌数据。

6. 小结

我们简单回顾一下本文的主要内容，首先，我们从宏观层面介绍了数据分析的 8 个步骤，然后用一副待清洗的扑克牌数据集作为示例，从读取数据，到查找异常，再到排除重复、删除缺失和补全缺失，最后，我们用一个案例， 完整 演示了清洗数据的过程。

分享名称：如何用Python清洗数据？
网页URL：http://www.36103.cn/qtweb/news21/28921.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联

猜你还喜欢下面的内容

域名注册知识

分类信息网

成都手机网站开发　　 　瑞杰管理　　 　虚拟主机　　 　成都广告招牌制作　　 　网站制作公司　　 　达州做网站　　 　网站建设方案　　 　云虚拟主机　　 　顺泽窗帘　　 　成都标牌标识牌制作公司　　 　Google外贸推广　　 　成都力比特　　 　堡垒主机　　 　租用服务器　　 　平昌保洁　　 　成都移动托管　　 　网站改版维护　　 　叙永网站建设　　 　重庆主机托管　　 　达州网站设计