惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

MyScale Blog
MyScale Blog
量子位
宝玉的分享
宝玉的分享
爱范儿
爱范儿
云风的 BLOG
云风的 BLOG
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
Recent Announcements
Recent Announcements
Apple Machine Learning Research
Apple Machine Learning Research
N
News and Events Feed by Topic
TaoSecurity Blog
TaoSecurity Blog
博客园 - 三生石上(FineUI控件)
小众软件
小众软件
Simon Willison's Weblog
Simon Willison's Weblog
Google DeepMind News
Google DeepMind News
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
aimingoo的专栏
aimingoo的专栏
Cloudbric
Cloudbric
Blog — PlanetScale
Blog — PlanetScale
Latest news
Latest news
S
Security @ Cisco Blogs
Last Week in AI
Last Week in AI
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
Vercel News
Vercel News
W
WeLiveSecurity
M
MIT News - Artificial intelligence
P
Proofpoint News Feed
P
Proofpoint News Feed
P
Palo Alto Networks Blog
www.infosecurity-magazine.com
www.infosecurity-magazine.com
T
The Blog of Author Tim Ferriss
腾讯CDC
大猫的无限游戏
大猫的无限游戏
Martin Fowler
Martin Fowler
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
V
V2EX
H
Hackread – Cybersecurity News, Data Breaches, AI and More
Stack Overflow Blog
Stack Overflow Blog
IT之家
IT之家
有赞技术团队
有赞技术团队
Microsoft Security Blog
Microsoft Security Blog
Exploit-DB.com RSS Feed
Exploit-DB.com RSS Feed
美团技术团队
博客园 - 【当耐特】
D
DataBreaches.Net
I
InfoQ
G
GRAHAM CLULEY
S
SegmentFault 最新的问题
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
B
Blog

博客园_首页

Plist 二进制格式 Milvus 和 PGVector,哪个更好? OpenClaw 已过时?在 VS Code 中运行 Hermes Agent! 第30篇文章:一个大三计科生的自白 Manim如何在数学公式中完美显示中文? Docker 部署 RocketMQ 5 并发编程核心概念辨析 C#事务处理最佳实践:别再让“主表存了、明细丢了”的破事发生 CLI 是什么?为什么大厂突然集体卷命令行? 【从0到1构建一个ClaudeAgent】协作-自主Agent UIImageView 设置图片不生效的原因排查 最小二乘问题详解20:无先验约束下的增量式SFM自由网平差 痞子衡嵌入式:大话双核i.MXRT1180之XIP应用里借助MU实现可靠Flash IAP的方法 AI Chat 封装, SemanticKerne.AiProvider.Unified 已发布 Windows下右键编辑js文件无法打开记事本——在注册表中使用环境变量 在后台服务中使用 Scoped 服务,为什么总是报错? H200 安装驱动并使用sglang启动模型 wireshark 抓包Trap上报告警内容 我用 AI 辅助开发了一系列小工具(2):图片压缩工具 [A Primer On MC and CC] 2.1 Memory Consistency 1 - 指令重排序和 SC 模型 Oracle数据库SCN推进技术详解与实践指南 玩转控件:封装个带图片的Label控件 Claude Code 4.7 真正该升级的不是模型,而是你的工作流 前端小白一句话,AI 帮我做了个颜值拉满的桌面媒体播放器。当代码不再是门槛,一句话编程就是现实。 5. WorkBuddy: 小龙虾的灵魂三件套,让你的小龙虾不只是工具 SQLite 分片方案实战:三种分片策略的深度对比 告别简陋 UI!一款基于 Fluent Design 和基于 WinUI 的开源免费、现代化的 Avalonia UI 控件库 关于二进制排列组合枚举的总结 AI开发-python-LangGraph框架(3-27-LangGraph从零实现大模型智能决策工作流) ElasticSearch主分片和副本分片概念详解 【002】HTTPS 粗解:证书、TLS 握手与对后端配置的影响 Hermes Agent 一周暴涨五万 Star,但我劝你别急着追 明明连接的是Redis的DB0,为什么能查到DB3的数据? 【从0到1构建一个ClaudeAgent】协作-Agent团队 熟悉电子元器件之后,电子小白下一步该怎么走? MAF快速入门(23)通过C#类定义Skills .NET 高级开发 | 手写一个对象映射框架 FastAPI数据库ORM怎么选?我肝了三个Demo后,终于不再纠结了 mysqldump 参数拾遗:在遗忘与铭记之间 C# .NET 周刊|2026年3月5期 Claude code入门 - 陈彦斌 一文学习入门 ThingsBoard 开源物联网平台 GitHub 热门项目 | 2026年04月16日 如何为GIT设置全局勾子,为每次提交追加信息 Number.isFinite和isFinite与isNaN()和Number.isNaN的区别 PortSwigger SQL注入LAB2 推荐一个测试人必备的Skills,从功能到性能全搞定(附详细实操和安装下载方式) 筑基期:掌握Odoo基础核心知识点02(Odoo XML 开发方式详解) GLM模型这么火,咱们用vllm也咧一个呗! 深入理解 AbortController:从底层原理到跨语言设计哲学 字符串学习笔记 多租户系统框架的基础模块设计和分析设计 Apache SeaTunnel Zeta 为什么能做到“又快又稳”? AI开发-python-LangGraph框架(3-26-LangGraph基本概念及第一个简单样例) Vue 3 组件通信,别只会用 Props 和 Emits 了,这几个狠活儿你得看看 ElasticSearch7.X版本配置密码 用Manim实现动态交点计算--从一个动点问题说起 团结引擎+Addressable+Instant Game打包抖音小游戏 function call 实战:让 LLM 自动判断 pod 异常、调用日志工具并完成故障分析 bubseek —— 让 Agent 的足迹,变成团队的洞察 通过 C# 读取并导出 PDF 书签 如何用 GitHub Actions 实现 Steam 自动化发布 【从0到1构建一个ClaudeAgent】并发-后台任务 .NET 高级开发 | 定制 ASP.NET Core 框架 电子小白:什么是运算放大器(运放) zero2Agent:面向大厂面试的 Agent 工程教程,从概念到生产的完整学习路线 堆上的ORW HC32F460 USB CDC通信异常:非对齐访问异常排查 20260413-Hyperbridge 攻击事件:发生在默克尔山上的验证绕过 那些喊着AI 要淘汰你的人,正在靠你的焦虑赚大钱! 深度学习进阶(八)Swin Transformer 最小二乘问题详解19:带先验约束的增量式SFM优化与实现 SnapTranslate 3.0 正式发布:全局划词翻译 + 完整英语学习闭环,一站式搞定查词、记词、复习 工作的意义、工作的困难认知再思考 .NET + AI 进阶实战:基于类的技能开发 - 打造可治理的 Agent 能力模块 【从0到1构建一个ClaudeAgent】规划与协调-技能 上周热点回顾(4.6-4.12) 电子小白的工具三件套:面包板、杜邦线、万能板 单表五亿数据的查询优化 | Mysql、StarRocks 2. WorkBuddy:从“我是谁”到“帮我干活” C# 如何减少代码运行时间:7 个实战技巧 基于HelixToolkit.SharpDX 渲染3D模型 - 笺上知微 从零开始的双臂具身VLA起源及现阶段发展综述 - SkyXZ 记对 xonsh shell 的使用, 脚本编写, 迁移及调优 - pluvium27 受够了Vibe Coding的失控?换个起点,让AI事半功倍 从开始配置漏洞环境到漏洞复现流程 - 難しい 关于10年工作经验的程序员对OpenClaw的实战经验分享以及看法 - 虚无境 Any metadata 的内存布局 C# .NET 周刊|2026年3月2期 - InCerry 我帮你测过了,测试圈排名第二的 Skill 依然很牛逼 Skill Discovery | 无监督技能发现的经典工作总结 - MoonOut 上下文工程是什么?过时了么?一文讲明白! - 一枫说码 开了 TUN 模式还是直连?90% 的人都踩过这个坑 AScript扩展多种脚本语言 - rockey627 AI 学习笔记:Agent 的记忆机制 你能被装进一个文件里吗?——7 万人把同事"蒸馏"成了 AI - 我没有三颗心脏 Claude Code 通关手册(七):给 AI 装上技能包——Skills 完全指南 - 暮色之狐 在浏览器中快速编辑代码:VSCode Web 集成实践 - Newbe36524 蒸馏自己 skill?基于 Deepseek 的蒸馏器,丐版蒸馏方式,简单便捷 - To_Carpe_Diem Spring AI Aliababa和AgentScope,哪个更好? - 苏三说技术
全国分省 Excel 爬取后,一键统计全文件数据行数|附即用型统计工具
逸乐太子 · 2026-05-10 · via 博客园_首页

做过全国级数据采集的朋友,大概率都遇到过这个高频痛点:

按省份 / 城市拆分存储 Excel,爬完几十上百个文件,想快速知道总数据量、每个文件行数、异常空表,手动点开统计根本不现实 —— 耗时、易错、还没法留档溯源。

最近刚落地一个全国各省业务数据爬虫项目,数据源按地级市独立归档 Excel,爬取完成后第一需求就是:批量统计所有 Excel 的有效数据行数,输出明细 + 汇总报表。

今天就把这套零门槛、高效率、可直接复用的解决方案,连同完整工具代码一起分享,看完就能用,彻底解决多 Excel 批量计数难题。


一、先说说我们遇到的真实场景

项目需求很明确:

  • 全国 30 + 省份,每个省份下辖市 / 区独立 Excel 文件
  • 格式统一为.xlsx,每个文件 1 个主数据表,第一行为表头
  • 爬取完成后,必须精准统计:
    1. 每个 Excel 文件的有效数据行数(剔除表头)
    2. 所有文件总行数汇总
    3. 自动识别空文件、无法读取的异常文件
    4. 输出可存档的统计报表,方便对账、验收、汇报

手动操作的坑我们直接帮你踩过:

100 个 Excel 逐个打开看行数,至少半小时起步,还容易数错;文件一多,根本记不住哪个文件多少行,后续核对完全没依据。

高效的解法只有一个:用自动化工具批量处理,10 秒出结果,全程不用手动点开任何文件。


二、这款统计工具,能解决什么问题?

我们打磨的这款Excel 批量行数统计工具,完全适配爬虫归档、多文件数据盘点场景,核心能力拉满:

✅ 全目录扫描:指定文件夹,自动识别所有.xlsx/.xls文件

✅ 精准计数:支持单 / 多 Sheet,可自定义是否剔除表头

✅ 异常兼容:跳过加密文件、损坏文件、空表,不中断运行

✅ 可视化输出:控制台实时打印进度,同步生成 Excel 统计报表

✅ 低门槛使用:Python 环境 + 两行安装命令,零基础也能跑

✅ 业务适配:完美匹配分省、分市、分地区拆分存储的爬虫数据


三、完整工具代码|复制即可运行 

1. 环境准备(仅 2 步) 

先安装依赖库,打开命令提示符执行:

 

pip install pandas openpyxl 

2. 完整统计工具代码 

新建.py文件,复制以下代码,只需要修改文件夹路径就能直接运行:

import os
import pandas as pd
import tkinter as tk
from tkinter import ttk, filedialog, messagebox
import threading

class ExcelCounterApp:
    def __init__(self, root):
        self.root = root
        self.root.title("📊 目录Excel内容条数统计工具")
        self.root.geometry("750x550")
        self.root.resizable(False, False)

        # 变量
        self.target_path = tk.StringVar()
        self.total_count = 0

        # 顶部:路径选择
        tk.Label(root, text="目标文件夹:").place(x=20, y=20)
        tk.Entry(root, textvariable=self.target_path, width=60).place(x=100, y=20)
        tk.Button(root, text="选择文件夹", command=self.select_path, bg="#4CAF50", fg="white").place(x=520, y=15)

        # 按钮
        self.start_btn = tk.Button(root, text="开始统计", command=self.start_count, bg="#2196F3", fg="white", width=15)
        self.start_btn.place(x=20, y=60)
        tk.Button(root, text="清空结果", command=self.clear_result, bg="#f44336", fg="white", width=15).place(x=180, y=60)

        # 状态
        self.status_label = tk.Label(root, text="状态:等待操作", fg="blue")
        self.status_label.place(x=350, y=65)

        # 表格展示
        self.tree = ttk.Treeview(root, columns=("目录", "文件数", "总行数"), show="headings")
        self.tree.heading("目录", text="目录路径")
        self.tree.heading("文件数", text="Excel文件数量")
        self.tree.heading("总行数", text="内容总条数")
        self.tree.column("目录", width=450)
        self.tree.column("文件数", width=100)
        self.tree.column("总行数", width=120)
        self.tree.place(x=20, y=100, width=700, height=400)

        # 汇总
        self.summary_label = tk.Label(root, text="📊 汇总:共 0 个目录 | 总计 0 条数据", font=("Arial", 12, "bold"))
        self.summary_label.place(x=20, y=510)

    def select_path(self):
        path = filedialog.askdirectory()
        if path:
            self.target_path.set(path)

    def clear_result(self):
        for item in self.tree.get_children():
            self.tree.delete(item)
        self.total_count = 0
        self.status_label.config(text="状态:已清空")
        self.summary_label.config(text="📊 汇总:共 0 个目录 | 总计 0 条数据")

    def start_count(self):
        path = self.target_path.get().strip()
        if not os.path.isdir(path):
            messagebox.showerror("错误", "请选择有效文件夹!")
            return

        self.start_btn.config(state=tk.DISABLED)
        self.status_label.config(text="状态:正在统计...")
        self.clear_result()

        # 子线程运行,防止界面卡死
        thread = threading.Thread(target=self.do_count, args=(path,))
        thread.daemon = True
        thread.start()

    def do_count(self, root_path):
        dir_data = {}  # key:目录路径 value:[文件数, 总行数]
        excel_ext = (".xlsx", ".xls", ".csv")

        try:
            # 遍历所有目录和文件
            for folder_path, _, files in os.walk(root_path):
                file_count = 0
                row_count = 0

                for file in files:
                    if file.lower().endswith(excel_ext):
                        file_path = os.path.join(folder_path, file)
                        try:
                            if file.endswith(".csv"):
                                df = pd.read_csv(file_path, on_bad_lines="skip")
                            else:
                                df = pd.read_excel(file_path, sheet_name=None)
                                row_count += sum(len(sheet) for sheet in df.values())
                            file_count += 1
                        except Exception as e:
                            print(f"读取失败:{file_path} => {str(e)}")

                if file_count > 0:
                    dir_data[folder_path] = [file_count, row_count]

            # 统计完成,更新界面
            total_dir = len(dir_data)
            total_rows = sum(v[1] for v in dir_data.values())

            for folder, (f_cnt, r_cnt) in dir_data.items():
                self.tree.insert("", tk.END, values=(folder, f_cnt, r_cnt))

            self.status_label.config(text="状态:✅ 统计完成", fg="green")
            self.summary_label.config(
                text=f"📊 汇总:共 {total_dir} 个目录 | 总计 {total_rows} 条数据",
                fg="red"
            )
        except Exception as e:
            messagebox.showerror("异常", f"统计出错:{str(e)}")
            self.status_label.config(text="状态:❌ 统计失败", fg="red")
        finally:
            self.start_btn.config(state=tk.NORMAL)

if __name__ == "__main__":
    window = tk.Tk()
    app = ExcelCounterApp(window)
    window.mainloop()

四、工具输出结果说明

运行后会得到两份核心结果: 

image

针对全国分省爬虫数据归档这类高频场景,补充 3 个实用优化点:

  1. 表头适配调整 
    若你的 Excel 无表头,把代码中skip_header=True改为False,直接统计全行数。

  2. 大文件提速优化 
    单个文件超 10 万行时,用read_only模式加载,避免内存溢出,代码已内置优化。

  3. 批量验收闭环 
    爬虫运行完成后,先运行统计工具,核对总行数与预期爬取量是否一致,不一致直接定位异常文件,不用重新爬取。


六、写在最后 

数据采集只是第一步,高效盘点、精准对账才是项目闭环的关键。 

面对成百上千个分省、分市 Excel 文件,别再用手动统计的笨办法,这款工具能帮你把半小时的工作量压缩到 10 秒内,零门槛、零配置、直接复用。 

后续我们还会分享爬虫数据自动合并、多 Excel 格式标准化、异常数据清洗等实战工具,持续输出能直接落地的办公自动化干货。 

需要代码文件、定制适配你的 Excel 格式,或者有其他数据批量处理需求,都可以留言交流~