惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
Microsoft Azure Blog
Microsoft Azure Blog
大猫的无限游戏
大猫的无限游戏
月光博客
月光博客
V
V2EX
PCI Perspectives
PCI Perspectives
Latest news
Latest news
博客园 - 三生石上(FineUI控件)
C
CERT Recently Published Vulnerability Notes
W
WeLiveSecurity
Last Week in AI
Last Week in AI
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
P
Palo Alto Networks Blog
T
The Exploit Database - CXSecurity.com
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
WordPress大学
WordPress大学
V
Vulnerabilities – Threatpost
H
Heimdal Security Blog
Attack and Defense Labs
Attack and Defense Labs
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
Hacker News: Ask HN
Hacker News: Ask HN
博客园 - 叶小钗
V
Visual Studio Blog
Jina AI
Jina AI
P
Proofpoint News Feed
罗磊的独立博客
SecWiki News
SecWiki News
J
Java Code Geeks
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
L
LINUX DO - 热门话题
Security Archives - TechRepublic
Security Archives - TechRepublic
The Hacker News
The Hacker News
Hugging Face - Blog
Hugging Face - Blog
N
News and Events Feed by Topic
NISL@THU
NISL@THU
T
Tailwind CSS Blog
T
Tenable Blog
Recent Commits to openclaw:main
Recent Commits to openclaw:main
Recent Announcements
Recent Announcements
H
Hacker News: Front Page
Exploit-DB.com RSS Feed
Exploit-DB.com RSS Feed
T
Tor Project blog
宝玉的分享
宝玉的分享
Help Net Security
Help Net Security
S
Security Affairs
Microsoft Security Blog
Microsoft Security Blog
Google DeepMind News
Google DeepMind News
F
Fortinet All Blogs
G
GRAHAM CLULEY

博客园_首页

Linux实操--组管理、权限管理和定时任务 Java + EasyExcel 实现单个接口导出多个Excel Mem0 源码解析系列(二):提示词工程的深度剖析 Openclaw TaskFlow究竟是什么?和普通Skill技能有什么区别 博文阅读密码验证 - 博客园 嘉立创开源:应该是全网MicroPython教程最多的开发板 Hermes Agent 集成实践:从协议到生产 2026年AI编程工具横评:Cursor、Codex、Claude Code、Zed、Windsurf Java程序员必看的RAG入门教程 2026 AI效率神器:Superpowers + Claude Code 保姆级教程 本地大模型部署全攻略:从 0 到 1 玩转 Ollama 【从0到1构建一个ClaudeAgent】内存管理-上下文压缩 .NET 高级开发 | 设计、实现一个事件总线框架 电子小白入门之NE555 3. WorkBuddy:隐藏玩法,一键召唤专家,让 AI 以"专家身份"给你干活 和AI一起搞事情#3:Claude Teammate 游戏开发翻车实录 【OpenClaw】通过 Nanobot 源码学习架构---(7)Memory C# .NET 周刊|2026年3月3期 我在 Debian 11 上把 K8s 单机搭起来了,过程没你想的那么顺(/opt 目录版) 深度学习进阶(七)Data-efficient Image Transformer CLI+Skill搭建浏览器AI自动化框架,告别一切重复枯燥任务 告别Token账单无底洞:OpenClaw本地部署,重塑企业数据主权的唯一解 FastAPI+Vue:文件分片上传+秒传+断点续传,这坑我帮你踩平了! SBTI 爆火后,我做了个程序员版的 CBTI。。已开源 + 附开发过程 多模态检索开始进入工程期:用 Sentence Transformers 搭建可落地的 Multimodal RAG 100多行代码实现一个最简单的Agent(用ReAct) Claude Code 通关手册(八):推荐 5 个 Hooks,代码质量提升 3 倍 老板:“有人截图了!”。安全部门:“收到,马上查暗水印!” - why技术 技术之外,皆是人间 C#/.NET/.NET Core技术前沿周刊 | 第 69 期(2026年4.01-4.12) Snack JSONPath 项目架构分析 Claude Code Buddy 小析:一个非核心功能,如何体现产品的细节完成度 AI新时代下的图床管理方案-Cloudflare图床+MCP+Skills方案指南 化繁为简:顺丰速运App如何通过 HarmonyOS SDK实现专业级空间测量 从零实现富文本编辑器#13-React非编辑节点的内容渲染 AI开发-python-langchain框架(3-23-OpenAI Functions风格Tool Calling智能助手) .NET + AI 进阶实战:基于类的技能开发 - 打造可治理的 Agent 能力模块 【从0到1构建一个ClaudeAgent】规划与协调-技能 上周热点回顾(4.6-4.12) 电子小白的工具三件套:面包板、杜邦线、万能板 单表五亿数据的查询优化 | Mysql、StarRocks 2. WorkBuddy:从“我是谁”到“帮我干活” C# 如何减少代码运行时间:7 个实战技巧 基于HelixToolkit.SharpDX 渲染3D模型 - 笺上知微 从零开始的双臂具身VLA起源及现阶段发展综述 - SkyXZ 记对 xonsh shell 的使用, 脚本编写, 迁移及调优 - pluvium27 受够了Vibe Coding的失控?换个起点,让AI事半功倍 从开始配置漏洞环境到漏洞复现流程 - 難しい 关于10年工作经验的程序员对OpenClaw的实战经验分享以及看法 - 虚无境 Any metadata 的内存布局 C# .NET 周刊|2026年3月2期 - InCerry 我帮你测过了,测试圈排名第二的 Skill 依然很牛逼 Skill Discovery | 无监督技能发现的经典工作总结 - MoonOut PbootCMS 网站内容数量多导致访问慢?这些实用优化方案帮你提速! - 家兴网络技术工作室 上下文工程是什么?过时了么?一文讲明白! - 一枫说码 网站漏洞怎么发现并修复?一篇实用指南(附完整流程) - 家兴网络技术工作室 开了 TUN 模式还是直连?90% 的人都踩过这个坑 Github日报|2026年04月12日 - AI一族 AScript扩展多种脚本语言 - rockey627 AI 学习笔记:Agent 的记忆机制 你能被装进一个文件里吗?——7 万人把同事"蒸馏"成了 AI - 我没有三颗心脏 Claude Code 通关手册(七):给 AI 装上技能包——Skills 完全指南 - 暮色之狐 在浏览器中快速编辑代码:VSCode Web 集成实践 - Newbe36524 蒸馏自己 skill?基于 Deepseek 的蒸馏器,丐版蒸馏方式,简单便捷 - To_Carpe_Diem Spring AI Aliababa和AgentScope,哪个更好? - 苏三说技术 Etsy 把 1000 个 MySQL 分片迁进 Vitess:425TB 数据背后的真正问题不是性能,而是运维规模 MicroPython LVGL基础知识和概念:底层渲染与性能优化 - FreakStudio 数据库草图算法 Python 潮流周刊#146:CPython 引入 Rust 的进展 - 豌豆花下猫 最小生成树 - mofei1116 红日靶场七:从外网入口、容器逃逸到 AD 接管的完整利用链复盘 - YouDiscovered1t 分享四款开源且实用的 Kafka 管理工具 - 追逐时光者 vLLM 权重加载机制全解析:从挑战到理想架构 LCT 学习笔记 - ACehomoxue Avalonia UI 12.0.0 正式发布:架构演进和性能飞跃 - 张善友 当 AI Agent 把调用链拉长,延迟开始成为一门生意 conhost.exe 无法显示 U+2717 - 145a 太秀了,我把自己蒸馏成了 Skill!已开源 - 程序员鱼皮 ASP.NET Core 内存缓存实战:一篇搞懂该怎么配、怎么避坑 基于 Ghostty 带有分割标签页和为 Claude 编程设计的通知终端 - BugShare AI 焊死入口:教育的“操作系统级”重塑 - 郝hai 初级Java开发工程师使用sql脚本编写代码的过程是简单而且不糊涂 - CoderOilStation Claude Code通关手册(六):MCP协议完全指南 - 暮色之狐 边框灯光环绕动画特效实现指南 - Newbe36524 开源:子木蒸馏版的 SEO 审计工具 seo-audit-skill v1.0 我所理解的Python元模型 【从0到1构建一个ClaudeAgent】规划与协调-TodoWrite - 程序员Seven Claude 和 Codex 在审计 Skill 上性能差异探究 - ACai_sec AScript如何实现中文脚本引擎 - rockey627 【渗透测试】HTB Season10 Garfield 全过程wp - dynasty_chenzi Android 开发者为什么必须掌握 AI 能力?端侧视角下的技术变革 树状数组正确性证明 - AC-wyr 你的 AI 焦虑,可能比 AI 本身更危险——ATM 机没有消灭银行柜员,但恐慌消灭了你的判断力 - 我没有三颗心脏 一个拉胯的分库分表方案有多绝望?整个部门都在救火! - 冰河团队 动态规划入门必学之走方格问题 - Ofnoname PostgREST 与 PostgreSQL 角色权限配置全解析(生产级实践) - SheepDog1998 使用 UEFI 图形输出协议 GOP 在屏幕上显示图像的方法 - 阿源- Claude Code通关手册(五):组建你的AI专家团队,子代理系统 - 暮色之狐 一个程序员到架构师的催婚路之感悟(整整10年后的催婚相亲感悟) - MisterLip 用 Agent Skill 自动生成工作周报 - 赵康
数据去重:通过 C# 删除 Excel 中的重复行
LAYONTHEGROU · 2026-05-13 · via 博客园_首页

在日常数据处理中,Excel 表格中的重复行是一个常见问题。无论是数据清洗、报表生成还是数据分析,去除重复记录都是一项基础且关键的操作。本文将详细介绍如何使用 Free Spire.XLS for .NET(一款免费、无需安装 Microsoft Office 的 Excel 操作组件),通过 C# 代码以编程方式删除 Excel 工作表中的重复行。

实现思路

删除重复行的核心逻辑如下:

  1. 指定关键列:确定用于判断重复的列(例如第一列 A 列)。
  2. 分组识别:遍历数据区域,根据关键列的值对每一行进行分组。
  3. 标记重复行:在每个分组中,保留第一次出现的行(索引最小),将其余行的行号记录下来。
  4. 安全删除:按照行号从大到小的顺序删除这些重复行,避免因删除操作导致的索引错位。

详细步骤解析

1. 安装免费库

在编写代码之前,通过 NuGet 安装所需的免费库:

Install-Package FreeSpire.XLS

或者在 Visual Studio 的“管理 NuGet 程序包”中搜索 FreeSpire.XLS 并安装。

注意:免费版提供了大部分基础功能,足以应对中小规模数据的处理需求。

2. 加载工作簿和工作表

using Spire.Xls;
using System.Linq;

// 创建 Workbook 实例并加载文档
Workbook workbook = new Workbook();
workbook.LoadFromFile("Test.xlsx");

// 获取第一个工作表
Worksheet sheet = workbook.Worksheets[0];

3. 确定数据范围

为了仅对实际存在数据的行进行操作,我们使用工作表的 LastRow 属性获取最后有效行号,并构造一个从 A1 到 A 列最后一行的范围(例如 A1:A100)。实际使用时,可以根据需要调整起始行,例如跳过标题行。

// 假设数据从第1行开始,以 A 列作为判重依据
string rangeAddress = $"A1:A{sheet.LastRow}";
var range = sheet.Range[rangeAddress];

4. 找出需要删除的重复行号

利用 LINQ 对范围内的每一行进行分组。DisplayedText 属性返回单元格在 Excel 界面上的显示文本(会考虑格式、公式计算结果等),相比直接使用 ValueText 更为可靠。

var duplicatedRows = range.Rows
    .GroupBy(row => row.Columns[0].DisplayedText)   // 按第一列的显示文本分组
    .Where(group => group.Count() > 1)             // 只筛选存在重复的分组
    .SelectMany(group => group.Skip(1))            // 跳过每组的第一行(保留行),取其余重复行
    .Select(row => row.Columns[0].Row)             // 获取这些行的行号
    .ToList();
  • Range.Rows 返回范围内的所有行对象。
  • GroupBy 根据 A 列的显示文本对行进行分组。
  • Skip(1) 忽略每个分组中的第一行(即保留的那一行)。
  • 最终得到 List<int>,其中包含所有待删除行的行号(升序排列)。

5. 删除重复行

关键点:如果直接按照升序的行号顺序删除,会导致后续行号发生偏移。正确的做法是从后往前删除,这样可以保证每次删除时行号仍然准确。

// 将行号降序排列,然后逐个删除
foreach (int rowNum in duplicatedRows.OrderByDescending(r => r))
{
    sheet.DeleteRow(rowNum);
}

也可以使用索引修正法:sheet.DeleteRow(duplicatedRows[i] - i),两种方法效果相同,但从后往前删除的逻辑更为直观。

6. 保存结果

workbook.SaveToFile("RemoveDuplicateRows.xlsx", ExcelVersion.Version2016);

默认保存为 .xlsx 格式,也可以指定为 .xls 或其他 Excel 版本。

完整代码示例

将以上步骤整合为一个完整的控制台应用程序(包含资源释放建议):

using Spire.Xls;
using System.Linq;

namespace RemoveDuplicateRows
{
    class Program
    {
        static void Main(string[] args)
        {
            // 使用 using 语句确保资源被正确释放
            using (Workbook workbook = new Workbook())
            {
                // 加载文档
                workbook.LoadFromFile("Test.xlsx");

                // 获取第一个工作表
                Worksheet sheet = workbook.Worksheets[0];

                // 定义判重范围(A列,从第1行到最后有效行)
                var range = sheet.Range[$"A1:A{sheet.LastRow}"];

                // 获取需要删除的重复行号
                var duplicatedRows = range.Rows
                    .GroupBy(x => x.Columns[0].DisplayedText)
                    .Where(x => x.Count() > 1)
                    .SelectMany(x => x.Skip(1))
                    .Select(x => x.Columns[0].Row)
                    .ToList();

                // 从后向前删除重复行,避免索引错乱
                foreach (int rowNum in duplicatedRows.OrderByDescending(r => r))
                {
                    sheet.DeleteRow(rowNum);
                }

                // 保存结果
                workbook.SaveToFile("RemoveDuplicateRows.xlsx");
            }
        }
    }
}

关键点与注意事项

1. 判断重复的依据列

上面的代码仅基于 A 列进行判重。如果需要根据多列组合(例如 A 列和 B 列同时相同才算重复),只需修改 GroupBy 的键:

.GroupBy(row => new 
{ 
    Col1 = row.Columns[0].DisplayedText, 
    Col2 = row.Columns[1].DisplayedText 
})

2. 保留表头(标题行)

如果第一行是标题行,不应参与重复判断和删除。只需将范围的起始行改为第 2 行:

var range = sheet.Range[$"A2:A{sheet.LastRow}"];

同时,LastRow 属性会自动包含最后一行数据,因此标题行不受影响。删除重复行后,表头行将保持不变。

3. DisplayedTextValue 的区别

属性 说明 推荐场景
DisplayedText 返回单元格在 Excel 界面上显示的内容,考虑了数字格式、日期格式、公式等 业务上的重复判断(推荐)
Value 返回原始值(公式计算结果,但可能忽略显示格式) 需要精确原始值的场景

在简单文本情况下两者结果一致,但推荐使用 DisplayedText 以避免因格式差异导致的误判。

4. 内存与资源释放

Workbook 类实现了 IDisposable 接口,强烈建议使用 using 语句或手动调用 Dispose() 方法,以避免内存泄漏,尤其是在处理大型文件时。


本文演示了使用 C# 删除 Excel 重复行的完整流程,包括加载文件、识别重复行、删除行以及保存结果。该方法灵活可定制,支持单列或多列判重,能够无缝集成到数据清洗的自动化流程中。