pandas去重需指定subset业务主键,keep参数控制保留策略,NaN需谨慎处理;空值应按成因选择填充或删除;类型转换前须用coerce验证;清洗步骤应函数化、可复现、可版本控制。
pandas.DataFrame.drop_duplicates() 去重前必须明确「去重依据」重复行不等于“完全相同”,业务上常需按关键字段判断是否冗余。比如用户表中 id 不同但 phone 和 email 都一致,应视为同一人重复录入。
df.drop_duplicates() 默认检查所有列,容易漏掉逻辑重复subset 参数指定业务主键,例如 df.drop_duplicates(subset=['phone', 'email'])
keep 参数:设为 'first'(默认)保留首次出现;设为 'last' 保留最新记录;设为 False 则全部删除——后者适合清理测试数据或临时脏数据NaN,pandas 默认把它们视为相等,可能误删。可先用 fillna() 统一处理,或改用 df[~df.duplicated(subset=..., keep='first')] 避免隐式 NaN 比较fillna() 或 dropna()
填均值、删整行看似简单,但会扭曲分布或丢失关键样本。真实清洗中要区分空值成因:是采集失败?字段不适用?还是用户主动留空?
df.isna().sum() 先看各列缺失比例;超过 70% 缺失且无业务补全路径的列,建议直接 df.drop(columns=['col_name'])
df['col'].fillna(df['col'].mean()) —— 若存在长尾分布(如订单金额),中位数更稳健:df['amount'].fillna(df['amount'].median())
df['status'].fillna(df['status'].mode()[0] if not df['status'].mode().empty else 'unknown')
pd.NaT 并单独建列 is_time_missing 供后续建模使用astype() 转类型前先验证数据合法性直接 df['age'].astype('int') 遇到 'N/A' 或浮点字符串会报 ValueError: invalid literal for int(),但错误信息不指明哪一行出问题。
pd.to_numeric(df['age'], errors='coerce') 将非法值转为 NaN,再检查 df['age'].isna().sum() 确认异常量级pd.to_datetime():含模糊格式(如 '2025-13-01' 或 'Q1 2025')会导致整列变 NaT。加参数 errors='coerce' 并配合 df['date'].dt.year.isna() 定位问题行category 类型前,先 df['city'].nunique() / len(df) 看基数率;若唯一值占比 > 0.5,转 category 反而增大内存临时写一堆 df = df[...]; df['x'] = ... 很快变成“只有当时写的人能看懂”的黑盒。下次数据源字段微调或新增校验项,就得重翻日志逐行改。
DataFrame,输出 DataFrame,不修改原对象。例如:def clean_phone_column(df):
df = df.copy()
df['phone'] = df['phone'].str.replace(r'\D', '', regex=True)
df = df[df['phone'].str.len() == 11]
return df
cleaning_pipeline = [('drop_dupes', drop_duplicates_by_key), ('clean_phone', clean_phone_column)],再循环调用保持可插拔assert df['user_id'].is_unique, "user_id contains duplicates after dedup",失败时立刻暴露问题而非静默带病运行最易被忽略的是:清洗规则本身需要版本控制。哪怕只是加了一行 df['score'] = df['score'].clip(lower=0, upper=100),也该和原始数据哈希值、执行时间一起记入元数据表——否则半年后发现模型效果下滑,根本没法回溯是哪次清洗引入了截断偏差。
相关文章:
C#怎么创建控制台应用 C# Console App项目创建方法
移动端手机网站制作软件,掌上时代,移动端网站的谷歌SEO该如何做?
武汉网站制作费用多少,在武汉武昌,建面100平方左右的房子,想装暖气片,费用大概是多少啊?
深圳网站制作费用多少钱,读秀,深圳文献港这样的网站很多只提供网上试读,但有些人只要提供试读的文章就能全篇下载,这个是怎么弄的?
海南网站制作公司有哪些,海口网是哪家的?
Android自定义控件实现温度旋转按钮效果
建站主机数据库如何配置才能提升网站性能?
如何通过山东自助建站平台快速注册域名?
制作充值网站的软件,做人力招聘为什么要自己交端口钱?
娃派WAP自助建站:免费模板+移动优化,快速打造专业网站
番禺网站制作公司哪家值得合作,番禺图书馆新馆开放了吗?
香港服务器部署网站为何提示未备案?
如何快速搭建高效香港服务器网站?
怎么将XML数据可视化 D3.js加载XML
如何在建站主机中优化服务器配置?
深圳网站制作设计招聘,关于服装设计的流行趋势,哪里的资料比较全面?
如何获取免费开源的自助建站系统源码?
实惠建站价格推荐:2025年高性价比自助建站套餐解析
模具网站制作流程,如何找模具客户?
高端网站建设与定制开发一站式解决方案 中企动力
建站之星微信建站一键生成小程序+多端营销系统
韩国网站服务器搭建指南:VPS选购、域名解析与DNS配置推荐
建站之星客服服务时间及联系方式如何?
免费网站制作appp,免费制作app哪个平台好?
已有域名和空间如何搭建网站?
制作网站的公司有哪些,做一个公司网站要多少钱?
建站之星如何快速生成多端适配网站?
如何自己制作一个网站链接,如何制作一个企业网站,建设网站的基本步骤有哪些?
青浦网站制作公司有哪些,苹果官网发货地是哪里?
如何注册花生壳免费域名并搭建个人网站?
Thinkphp 中 distinct 的用法解析
厦门模型网站设计制作公司,厦门航空飞机模型掉色怎么办?
如何自定义建站之星网站的导航菜单样式?
建站之星后台密码遗忘或太弱?如何重置与强化?
桂林网站制作公司有哪些,桂林马拉松怎么报名?
如何快速生成ASP一键建站模板并优化安全性?
沈阳个人网站制作公司,哪个网站能考到沈阳事业编招聘的信息?
如何在腾讯云服务器上快速搭建个人网站?
大连网站制作费用,大连新青年网站,五年四班里的视频怎样下载啊?
武汉外贸网站制作公司,现在武汉外贸前景怎么样啊?
义乌企业网站制作公司,请问义乌比较好的批发小商品的网站是什么?
广州网站建站公司选择指南:建站流程与SEO优化关键词解析
网站制作软件免费下载安装,有哪些免费下载的软件网站?
小视频制作网站有哪些,有什么看国内小视频的网站,求推荐?
佛山企业网站制作公司有哪些,沟通100网上服务官网?
香港服务器租用费用高吗?如何避免常见误区?
网站代码制作软件有哪些,如何生成自己网站的代码?
,有什么在线背英语单词效率比较高的网站?
如何选择长沙网站建站模板?H5响应式与品牌定制哪个更优?
*请认真填写需求信息,我们会在24小时内与您取得联系。