惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

P
Proofpoint News Feed
V
V2EX
博客园_首页
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
Recent Announcements
Recent Announcements
博客园 - 司徒正美
Microsoft Security Blog
Microsoft Security Blog
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
Latest news
Latest news
Vercel News
Vercel News
The Register - Security
The Register - Security
T
The Exploit Database - CXSecurity.com
S
Schneier on Security
N
Netflix TechBlog - Medium
WordPress大学
WordPress大学
小众软件
小众软件
L
Lohrmann on Cybersecurity
GbyAI
GbyAI
P
Privacy & Cybersecurity Law Blog
T
Tor Project blog
AWS News Blog
AWS News Blog
美团技术团队
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
K
Kaspersky official blog
B
Blog RSS Feed
G
Google Developers Blog
量子位
大猫的无限游戏
大猫的无限游戏
Google DeepMind News
Google DeepMind News
Scott Helme
Scott Helme
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
I
Intezer
雷峰网
雷峰网
Martin Fowler
Martin Fowler
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
Blog — PlanetScale
Blog — PlanetScale
IT之家
IT之家
F
Full Disclosure
Apple Machine Learning Research
Apple Machine Learning Research
博客园 - 【当耐特】
The Hacker News
The Hacker News
U
Unit 42
S
SegmentFault 最新的问题
I
InfoQ
aimingoo的专栏
aimingoo的专栏
Y
Y Combinator Blog
宝玉的分享
宝玉的分享
罗磊的独立博客
Spread Privacy
Spread Privacy
C
CERT Recently Published Vulnerability Notes

博客园 - E-iceblue

Python 拆分 Excel 文件:使用 Spire.XLS 实现按工作表、行、列和条件拆分 如何使用 Python 快速将 Excel 转换为 XML 文件 Python 办公自动化:Word 文档加密与权限控制实战 在 Python 中快速锁定 Excel 单元格与行列 使用 Python 在 Word 文档中添加或删除文本框 如何使 PDF 可编辑 - Python 教程详解 将 Excel 表格插入 Word 文档的三种实用方案(Python 自动化) Python 办公自动化:如何轻松调整 Word/PDF 页面大小为 Legal 尺寸 数字签名 vs 电子签名:区别与如何在文件中插入数字签名 Python 教程:快速复制 Excel 工作表 如何对比 Excel 两列数据的不同:从基础操作到 Python 自动化 如何提取 Word 文档中的表格并导出为 Excel(Python 教程) 使用 Python 在 PowerPoint 中添加或移除背景图和背景颜色 在 Java 中使用 Spire.PDF 合并 PDF 文档(含加密与压缩处理) 在 Python 中自动化转化 Markdown 为 HTML 【详细教程】 Python 控制 PDF 页面大小、页边距、页面方向与缩放 Python 办公自动化:快速将 HTML 转换为 PDF 格式 在 Python 中给 PDF 设置背景图或背景色 在 Python 中转换 XML 为 PDF 文档:基础转换与转换设置 在 Python 中对比 Word 文档:自动生成修订报告【教程向】 Excel 删除空白行的 5 种方法 【手动与 Python 自动化】 从纯文本到精美文档:TXT 转 PDF 的三种高效方案 Python 实现 PDF 表单域的自动化创建与智能填充 PPT 批量转图片:在 Web 预览中实现翻页效果(C#/VB.NET) 为什么生成的条形码扫不出来?从静区、分辨率和色彩三个方向解析条码识别率 Excel vs CSV:在系统数据处理中该如何选择?(附格式转换代码示例) 【2026 最新教程】Java 自动化提取 PDF 表格:从文本到 Excel/CSV 的全场景实现 零成本实现文档智能:本地化 OCR 提取与 AI 处理全流程实战 PPT 智能提取与分析实战:把演示文档变成结构化数据 为什么 PDF 文本能看到,却提取不到?从开发者角度解析与解决方案 PDF 文件为什么打不开?常见原因与解决思路 PDF vs PDF/A:区别、场景与常用转换方法(2026 全面解读) 使用 Java 将 PowerPoint 转换为 PDF 的完整指南 如何在 Python 中轻松添加、隐藏和删除幻灯片
删除 Excel 表格中的重复行 【4 种实用方法】
E-iceblue · 2026-03-05 · via 博客园 - E-iceblue

在整理客户名单、导入调查数据或合并多个数据源时,Excel 表格中很容易出现重复记录。重复数据不仅会影响统计分析结果,还可能导致文件体积变大、数据管理混乱。因此,在进行数据分析或生成报告之前,清理重复数据通常是必不可少的一步。

本文将介绍 4 种删除 Excel 重复行的方法,从适合人工检查的可视化方式,到自动化的 Python 脚本方案,帮助你根据不同场景快速清理重复数据。无论是日常办公还是数据处理,这些方法都能让你的 Excel 表格更加整洁、准确。

一、查找重复数据并手动删除

在正式删除重复数据之前,有时候我们希望 先查看重复数据是否真的需要删除。例如,一些看似重复的记录可能实际上包含不同的信息。

此时,可以使用 条件格式 来高亮显示重复值,方便进行人工检查和删除。

操作步骤

  1. 选择需要检查的列或数据区域。
  2. 在 Excel 功能区点击 开始条件格式
  3. 选择 突出显示单元格规则重复值

使用条件格式标记重复行

  1. 选择一种高亮颜色(例如浅红色填充),点击 确定
  2. 高亮显示后,可以使用 按颜色筛选,将重复数据集中显示,然后手动删除不需要的行。

注意:

条件格式识别的是 单元格值是否重复,而不一定是整行数据完全相同。因此,如果想判断整行是否重复,建议对 唯一标识列(例如订单号、用户 ID 等)应用此规则。

二、使用 Excel 内置工具删除重复行

如果已经确认可以直接删除重复数据,那么使用 Excel 自带的 删除重复项 功能是最快捷的方法。这种方式适合用来快速清理数据表中的重复行。

操作步骤

  1. 选中数据区域中的任意一个单元格。
  2. 打开功能区 数据 选项卡。
  3. 数据工具 组中点击 删除重复项
  4. 在弹出的对话框中勾选 数据包含标题(如果数据包含表头)。

使用 Excel 内置工具删除重复值

  1. 选择需要参与去重判断的列。如果要删除完全相同的重复行,可以保持所有列勾选。
  2. 点击 确认,Excel 会提示删除了多少条重复记录。

需要注意的是:Excel 会保留第一次出现的行,并删除后续重复行。

三、使用 UNIQUE 函数提取唯一数据

如果你希望在不修改原始数据的情况下去除重复行,可以使用 Excel 的 UNIQUE 函数。该函数可以根据指定区域生成去重后的数据列表,非常适合在新的区域或新工作表中创建一份干净的数据副本。

使用方法

  1. 在空白单元格中点击,作为输出结果的起始位置。
  2. 输入公式:=UNIQUE(A1:C50)(需要 Excel 365 或 Excel 2021 及更新版本)
  3. 按回车键,Excel 会自动生成去重后的数据列表。

该结果是一个动态数组,Excel 会自动填充唯一值,从而得到一份去重后的数据视图。

如果你使用的是较旧版本的 Excel,可以借助 COUNTIFS 函数 标记重复行,然后通过 筛选 找到这些重复记录并手动删除。

四、使用 Python 自动删除 Excel 重复行

对于开发者或需要处理大量数据的用户来说,手动操作 Excel 显然效率较低。这时可以使用 Python 自动处理 Excel 文件。

借助 Free Spire.XLS for Python 库,可以在不依赖 Microsoft Office 的情况下,直接读取和修改 Excel 文件,实现自动去重。

该库支持自定义逻辑,例如:

  • 处理隐藏空格
  • 判断整行数据是否完全一致
  • 自动删除重复行

从而更加准确地识别和清理重复数据。

安装库

pip install Spire.Xls.Free

Python 示例代码

下面的示例会从表格底部向上遍历数据行,这样在删除行时不会影响行索引。同时,该脚本默认会保留第一行(通常是表头)。

from spire.xls import *
from spire.xls.common import *

# 创建一个 Workbook 对象并加载 Excel 文件
workbook = Workbook()
workbook.LoadFromFile("示例.xlsx")

# 获取第三个工作表
sheet = workbook.Worksheets[2] 

# 获取最后一行和最后一列
lastRow = sheet.LastRow
lastCol = sheet.LastColumn
seen_rows = set()

# 倒序遍历所有行
for row in range(lastRow, 1, -1):
    row_values = []
    for col in range(1, lastCol + 1):
        cell_text = sheet.Range[row, col].Text
        # 去除空格的值
        row_values.append(cell_text.strip() if cell_text else "")

    row_key = "|".join(row_values)

    if row_key in seen_rows:
        # 删除重复行
        sheet.DeleteRow(row)
    else:
        seen_rows.add(row_key)

# 保存文件
workbook.SaveToFile("移除重复行.xlsx", ExcelVersion.Version2016)
workbook.Dispose()

运行该脚本后,Excel 文件中的重复行将被自动删除,并生成新的去重后的文件。下面是新文件预览:

使用 Python 自动删除重复行

五、方法总结:如何选择合适的去重方式

不同的方法适合不同的使用场景。下面是一个简单的对比表,帮助你快速选择适合自己的方案。

方法 适用场景 操作方式 难度
Remove Duplicates 快速删除重复行 直接删除原数据 简单
条件格式 人工检查重复数据 高亮显示后手动删除 简单
UNIQUE 函数 保留原始数据 生成去重后的新列表 中等
Python 脚本 自动化处理大量数据 自动删除重复行 较高

结语

掌握以上几种方法,可以帮助你在不同场景下高效清理 Excel 数据。对于日常办公来说,Excel 自带的删除重复项工具已经足够使用;而在处理大规模数据或自动化流程时,使用 Python 脚本会更加高效。无论采用哪种方法,在批量删除数据之前,都建议先备份原始文件,以防误删重要信息。

现在就检查一下你的 Excel 表格,清除掉那些不必要的重复数据,让数据管理变得更加高效吧。