iLoveConverter
转换分类 11 个类目

删除重复行

免费不上传无水印支持批量
CSV 去重
100% 隐私 —— 文件不会离开你的设备

导出数据最爱重复:表单重复提交、重复跑导出、合并列表。本工具把每一行作为整体比较——所有列完全一致才算重复——并保留首次出现,顺序不变、重复消失。

若没有重复会直接告诉你,而不是原样返回一个看不出跑没跑过的文件。

如何删除重复行

  1. 1

    选择文件

    将 CSV 文件拖放到上方区域,或点击选择。支持一次添加多个文件批量转换。

  2. 2

    立即转换

    点击"转换为 CSV"。转换完全在你的浏览器内通过 WebAssembly 完成——不上传、无排队、无需等待。

  3. 3

    下载结果

    可逐个下载转换后的 CSV 文件,也可以一次打包为 ZIP 全部下载。

关于 CSV 格式

CSV(逗号分隔值)是表格数据的最大公约数:一张表、行即行、列以逗号分隔、全纯文本。Excel、Google 表格、所有数据库导入器、所有数据科学库和脚本语言都读它——这就是它穿越五十年格式风尚存活至今的原因。

弱点同样源于极简。没有类型(在你做决定前一切都是字符串)、没有公式、一个文件一张表,而方言怪癖堪称传奇:逗号还是分号取决于区域设置、引号转义规则、以及 Excel 对不带 BOM 的 UTF-8 一律按乱码重开。干净、规范、带 BOM 的 UTF-8 CSV 能避开其中绝大多数。

+优点

  • ✓普适:Excel、表格、数据库、代码通吃
  • ✓人类可读、对版本 diff 友好
  • ✓可流式处理——逐行消化巨型文件

!局限

  • −无类型、无公式、无多工作表
  • −方言混乱:分隔符、引号、编码
  • −装不下嵌套或层级数据

常见问题

「重复」是指整行吗?

是——所有列完全一致才算。共享某 ID 但其它列不同的行会保留;那是需要有意处理的数据问题,不该静默删除。

保留第一次还是最后一次出现?

保留第一次——顺序完全不变,按时间排序的行会留下每个重复项的最早记录。

近似重复(多空格)也会删吗?

不会——比较是精确的。空格差异算不同行,这是对正当数据的保护;若问题是行尾空格请先清洗。

热门的 CSV 转换