免费在线表格工具

CSV 去重

把重复项放在一起,把保留依据看清楚。 按指定字段分组,检查冲突,再选择保留记录。

无需注册文件本地处理保留原始数据

从一份表格开始

导入数据,确认规则,检查结果,再导出新副本。

◈ 浏览器本地处理
1导入数据—2设置规则—3检查结果—4导出副本

把表格放在这里

拖放 CSV、TSV 或分隔文本文件

UTF-8 · 每份最多 10 MB

从现有数据开始

文件内容在浏览器内处理,不上传至服务器。
仅保存在本页内存 · 切换工具可继续使用 · 刷新或关闭会清除会话CSV / TSV · UTF-8
合成示例库 商品表 · 供应商文件 · 系统导入

清除本页会话?

这会释放已导入数据、处理步骤与结果。请先导出需要保留的副本。原始文件不受影响。

了解这个工具

把重复项放在一起,把保留依据看清楚。

从使用范围到结果核对,三个场景带你了解这个工具。

01 / 功能与范围

按你的字段定义“重复”

两条记录是否重复,不该只看它们是不是完全一样。可以按 SKU、邮箱或多个字段组合分组,让判重贴近实际业务。

CSV 去重场景示意:按你的字段定义“重复”
场景示意图
02 / 规则与核对

先看冲突,再决定保留

相同编号下面也可能有不同价格或描述。查看重复分组与冲突,明确保留首条、末条或其他可选方式,不靠猜测删记录。

CSV 去重场景示意:先看冲突,再决定保留
场景示意图
03 / 结果与下一步

移除记录,也有迹可循

去重结果与移除记录分开查看,保留原始文件和来源位置。导出前确认是完整结果还是移除报告,让核对更方便。

CSV 去重场景示意:移除记录,也有迹可循
场景示意图
可用功能

CSV 去重,可以这样帮你

把常用能力整理成小卡片,按需要选择下一步。

组合字段判重

用一个字段或多个字段共同定义重复组。

在工具中使用

比较规则可配置

按需设置比较时的大小写和首尾空格规则。

在工具中使用

明确保留方式

默认保留文件中首条,也可改成保留末条,或只标记不删除。

在工具中使用

检查组内冲突

相同判重键中的不同字段值可以进一步核对。

在工具中使用

单独查看移除项

被移除的记录保留在报告中,便于复查和导出。

在工具中使用

继续清洗流程

应用结果后继续列映射、筛选或核对,支持撤销。

在工具中使用
如何使用

三个步骤,完成这次整理

先确认输入,再检查变化,最后保存需要的结果。

01

导入并确认原始数据

选择 CSV、TSV 或粘贴表格,先核对分隔符、表头与预览。确认后才导入完整文件。

  • 内容在浏览器内处理
  • 原始文件保持完整
前往输入区域
02

选择规则,运行并核对

按业务含义选择一个或多个判重字段,确认保留方式与比较规则。运行后分别检查重复分组、保留结果与移除记录。

  • 处理完整数据集
  • 核对结果与来源
设置处理规则
03

选择范围,导出新副本

选择需要的结果或报告、CSV 或 TSV 格式,先查看导出摘要和防护影响数量,再确认下载或复制。

  • 导出前重新读取校验
  • 明确选择导出范围
返回工具继续操作
需要更详细的规则、示例与边界说明?展开完整说明

去重之前,先说明什么算同一条

CSV 去重有两种不同判断:整行所有字段完全相同,或者一个或多个指定字段相同。重复商品编号但价格不同的两条记录,并不是整行重复。先确认文件解析,再选择判断字段;不要因为名称相似就把两个对象认定为同一个人或商品。

选择多个字段时,工作台把它们作为独立的复合键组件处理,不用容易碰撞的简单字符串拼接。默认严格比较原始文本,001 和 1 不同,空格和大小写也有意义。忽略大小写与去两端空格需要主动开启,它们只改变判重依据,不改写保留记录里的原始内容。

第一条、最后一条与只标记

保留第一条和保留最后一条都指文件中的顺序,不代表最早或最新业务记录。若数据没有可信的排序依据,先用“只标记,不删除”,检查分组内的字段冲突,再决定规则。工作台不会随机挑选一条,也不会把姓名、价格或电话从不同记录中拼成一个未经确认的“正确结果”。

按指定字段判重时,空匹配字段进入待检查报告并保留,不会把所有没有编号的记录当作同一个对象删掉。整行判重则检查完整值组合,包括重复的全空记录。不同模式对空记录的含义不同,需要查看界面设置。

用商品编号检查冲突

假设 001 在文件开头和后面各出现一次,价格分别为 12.00 与 12.50,另外有一个 002 和两条空编号记录。按 SKU 保留第一条,会形成一个重复组,涉及两条记录,实际移除一条;002 与两条空编号记录都保留。选择保留最后一条,则保留文件中后出现的 12.50,而不是因为它被认定为“最新价格”。

重复分组报告包含完整记录、保留或移除决定及来源位置。重复组数、涉及记录数和移除数不能混为一个指标。一个有四条记录的组,保留一条会移除三条;只标记时移除数为零。导出可以分别选择保留结果、全部重复分组、移除记录和空键待检查报告。

和合并、比较连续使用

多文件上下合并后,先检查来源与重复键,再把接受的去重结果应用到工作流。文件比较要求确定的唯一键,这时可以直接继续使用同一份数据。切换工具无需重新上传,撤销会从保留的输入和步骤重算,而不是覆盖原文件。

常见问题

按一列去重,怎么保留整行的其他信息?

把这列选为去重依据,先看重复分组和其他字段的冲突,再选择保留策略。保留的是整条记录。最后一条指当前顺序中的最后一条,不会自动理解为日期最新的一条。

可以按日期自动保留最新记录吗?

当前没有这样的日期语义。必须先定义日期字段、解析格式、无效日期与同一时间的处理方式才能可靠实现。现在的“最后一条”只代表文件顺序。

为什么两条空编号没有被删除?

没有编号不能证明两条记录属于同一对象。按键去重默认将它们留在待检查报告。请修复编号或选择其他完整的匹配字段。

忽略空格后,导出的内容也会被去空格吗?

不会。该选项只影响判重依据。要实际改写单元格,请在清洗工具中明确选择对应字段和规则,并检查变化报告。

准备好整理这份数据了吗?

直接开始,先用示例了解流程,再处理你的文件。