惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
人人都是产品经理
人人都是产品经理
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
T
The Exploit Database - CXSecurity.com
N
News and Events Feed by Topic
Latest news
Latest news
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
C
CXSECURITY Database RSS Feed - CXSecurity.com
IT之家
IT之家
V
V2EX
WordPress大学
WordPress大学
Apple Machine Learning Research
Apple Machine Learning Research
Cisco Talos Blog
Cisco Talos Blog
K
Kaspersky official blog
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
S
SegmentFault 最新的问题
小众软件
小众软件
A
Arctic Wolf
酷 壳 – CoolShell
酷 壳 – CoolShell
腾讯CDC
宝玉的分享
宝玉的分享
Last Week in AI
Last Week in AI
G
GRAHAM CLULEY
罗磊的独立博客
T
Tor Project blog
C
Cisco Blogs
美团技术团队
博客园 - Franky
月光博客
月光博客
博客园 - 三生石上(FineUI控件)
T
Threat Research - Cisco Blogs
Cyberwarzone
Cyberwarzone
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
有赞技术团队
有赞技术团队
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
Security Latest
Security Latest
博客园 - 司徒正美
Hugging Face - Blog
Hugging Face - Blog
Spread Privacy
Spread Privacy
J
Java Code Geeks
C
CERT Recently Published Vulnerability Notes
大猫的无限游戏
大猫的无限游戏
S
Securelist
The Cloudflare Blog
博客园 - 叶小钗
D
Darknet – Hacking Tools, Hacker News & Cyber Security
阮一峰的网络日志
阮一峰的网络日志
雷峰网
雷峰网
Project Zero
Project Zero

膨胀自留地

使用CloudFlare标记管理功能优雅的使用谷歌分析 四天轻松版北京旅游攻略 Adsense税务居住地证明申请教程:如何申请中国税收居民身份证明以及Google Adsense更新新加坡税务信息教程 常见的 VPS 优化措施 HTML实现table表格移动端自动转为卡片样式 个人网站接入 Google 登录 如何从 GitHub 永久删除泄露的 .env 文件 Cloudflare设置www的域名跳转到不带www的域名 顶级iOS神器!全面解开App Store限制,AssPP Pro保姆级教程 BroadcastChannel将你的 Telegram Channel 转为微博客 Medama开源轻量级网站统计(分析)系统 白嫖一个网站监控面板:uptime-kuma 部署TraffMonetizer利用闲置VPS挂机赚钱 Counterscale-使用CloudflareWorkers部署的免费网站数据统计工具,界面类似umami 封装一个最简单的Axios,避免过度封装! 如何使用Cloudflare Email Routing创建域名邮箱免费发送邮件 使用Cron定时更新Hosts解决Gihub无法访问问题 容器化MariaDB/Mysql实现定时备份 JetBrains全家桶许可证服务器怎么找,JetBrains激活教程 图片加速接口:缓存图片,加速访问,解决防盗链 MySQL模糊查询再也不用like+%了,全文索引介绍及使用简介 为什么这么多人推荐你办理流量卡?流量卡怎么赚钱?怎么避坑? 借助Cloudflare Worker实现Google Analytics反代加速,规避广告屏蔽插件的拦截 etcd入门之在Centos上安装部署 Grafana在linux下安装和基本使用入门 Prometheus介绍、安装和基本功能快速入门 无需加速器,油猴插件解锁xbox云游戏 阿里云盘自动每日签到,无需部署,无需服务器 自定义VSCode终端主题样式 一行 CSS 代码实现响应式布局 – 使用 Grid 实现的响应式布局 加不加「/」?Nginx location 路径与 proxy_pass 的规律 Mac上Git多账户SSH配置 python 脚本命令行调用 cloudflare Wokers AI 对话示例 使用acme.sh自动申请Let's Encrypt泛域名证书 centos离线(内网环境无外网)安装docker 什么是ChatGPT API公益水龙头? Mysql8主从复制实现过程记录 纯绿色无需安装软件,10行代码即可长期关闭Windows系统更新 使用 Vercel 部署 Umami,从零开始搭建一个免费的个人博客数据统计 JS | JS实现Web应用或网站发送浏览器Notification通知 Go | 使用rsrc给golang打包的exe文件添加程序图标 Go | 基于最新的 ChatGPT API 实现命令行版 ChatGPT JS | 原生js仿ElementUI消息提示组件,含生命周期钩子 Go | 包依赖管理工具go mod使用详解 Go | 解决低版本Goland调试问题:Version of Delve is too old for this version 薅京东羊毛必备抓取Cookies教程 使用Nginx反向代理解决 Google Analytics 访问问题 Typecho纯代码生成sitemap站点地图 Lazysizes.js图片懒加载的使用 typecho使用文件缓存加快打开速度 白嫖移动,联通,电信手机短信通知 MacOS上使用可视化界面给ESP8266烧录MicroPython教程 Fail2Ban安装使用及常用配置教程 通用的检测到广告屏蔽插件进行弹窗提示实现方法 如何在 ESP 单片机上选用合适的引脚 如何找回微信已过期文件教程 一键脚本安装的 HASSIO 如何卸载呢 SqliteAdmin 宝塔面板sqlite数据库可视化管理(简单版) PostToBingIndexNow插件实现typecho发布文章自动推送到Bing站长平台 javascript | 原生JS多语言切换简单实现 Mysql8安全清理mysql.slow慢查询日志和general_log文件 NUC8黑苹果更新OpenCore引导教程,黑苹果EFI分区空间占满处理方法 局域内网的服务器利用个人电脑做跳板机访问互联网 ssh-chat- SSH命令行下聊天摸鱼服务 Python小技巧之不用GUI,照样实现图形界面 Linux下防御/减轻DDOS攻击工具DDoS deflate安装配置教程 据传宝塔面板后台会上传服务器上运行的网站信息 如何定位Mysql中CPU占用高的查询语句 python使用多线程threading模块长期循环运行内存泄漏问题解决 Linux系统VI方向键、删除键按出来是字母解决方法 python | 协程与多进程的完美结合 新安装Debian系统常用设置 MAC系统制作ubuntu启动U盘教程 利用树莓派打造时间机器 TimeMachine MAC游戏 | 公路救赎 Road Redemption May 2020 Mac摩托车竞速暴力游戏中文破解版 MAC游戏 | 笨拙英雄 Clunky Hero 0.92 Mac手绘风格的类银河战士恶魔城动作冒险游戏破解版 MAC游戏 | 拉力赛艺术Art of Rally 1.0.4b Mac卡通风格的赛车竞速游戏破解版 MAC游戏 | Len's Island 1.0 Mac 破解版 开放世界农场模拟探索游戏 MAC游戏 | 洛基Röki3.2_Mac点击型冒险游戏中文破解版 typecho聚合全文输出feed设置仅输出摘要自动截取正文前200个字符 树莓派开启Samba共享(smb) 为什么网站知道我的爬虫使用了代理? 给Edge大声朗读同源的微软tts增加下载音频按钮(tampermonkey脚本) 为了了解女朋友的小心思,我用 python 爬了榜姐微博下 70000 个女生小秘密! MAC外接屏幕亮度调节工具——BrightnessE mysql8利用CTE特性实现递归查询 漫威宇宙时间线观看顺序(持续更新) Typecho 评论弹幕插件下载及食用教程 反爬虫的极致手段,几行代码直接炸了爬虫服务器 教你轻松拥有无限个邮箱 核弹级教程:手把手教你白嫖上百个订阅节点 部署 Monit 来监控服务 「工具」Windows 卸载软件,这一个就够了 闲置服务器薅京东的羊毛—青龙面板部署与京东签到 捡垃圾8.5元智能wifi插座拆解,刷ESPHome接入HomeAssistant-超低价ESP8266开关 RS1.ES 免费Linux云服务器,单次使用3小时,不限次数! Typecho 启用 Service Workers 浏览器缓存加速首屏访问 Waiting for table metadata lock问题处理 关于a标签target_blank使用rel=noopener 宝塔默认站点泄漏源站IP,使用CDN后censys.io出现源站IP泄漏解决方法
如何复制 OR 删除 200 万个小文件,而且电脑不卡?
2021-04-16 · via 膨胀自留地

#编程技术 2021-04-16 17:44:00 | 全文 2677 字,阅读约需 6 分钟 | 加载中... 次浏览

👋 相关阅读


Windows 系统,单个文件夹下根目录文件有超过 200w,如何快速复制到另外一个电脑上?

图片alt

问题描述

Windows 系统,其中有个文件夹,此文件夹下面大概有 200 多万个图片文件,请问如何复制到另外一个电脑上(移动硬盘)?已尝试系统自带的复制粘贴,卡死了。

Robocopy 命令行版(微软产品,系统自带)

将文件数据从一个位置复制到另一个位置。

图片alt

注意看上图,Robocopy 不光支持复制文件,还支持删除文件。

语法:

robocopy <source> <destination> [<file>[ ...]] [<options>]
robocopy 源路径 目标路径 /NS /NC /NFL /NDL /NP

参数:

参数 说明
指定源目录的路径。
指定目标目录的路径。
指定要复制的一个或哪些文件。 支持 (* 或 ?) 的通配符。 如果未指定此参数, . 则将用作默认值。
指定用于 robocopy 命令的选项,包括 复制、 文件、 重试、 日志记录 和 作业 选项。

来解释下参数吧,robocopy 需要使用命令行,打开 cmd 后输入:

  • /NS: 指定不记录文件大小。
  • /NC: 指定不记录文件类。
  • /NFL:指定不记录文件名。
  • /NDL:指定不记录目录名。
  • /NP:指定不要显示复制操作的进度(到目前为止复制的文件或目录数)。

这参数基本上就是不记录什么日志了,其他都默认。

如果要删除一个目录,主要解决思路是,利用 robocopy 工具目录镜像的功能,把一个空目录镜像给要删除的目录,让其变为空目录,就可删除了。

1、创建一个空目录 d:\a

2、假设要删除的目录 d:\b

3、保证在 CMD 窗口中可以运行 robocopy 命令,执行命令如下:

robocopy /MIR d:\a d:\b

更多参数:

一、 复制选项:

参数解释:

  • /S :: 复制子目录,但不复制空的子目录。
  • /E :: 复制子目录,包括空的子目录。
  • /LEV:n :: 仅复制源目录树的前 n 层。
  • /Z :: 在可重新启动模式下复制文件。
  • /B :: 在备份模式下复制文件。
  • /ZB :: 使用可重新启动模式;如果拒绝访问,请使用备份模式。
  • /EFSRAW :: 在 EFS RAW 模式下复制所有加密的文件。
  • /COPY:复制标记:: 要复制的文件内容(默认为/COPY:DAT)(复制标记: D=数据,A=属性,T=时间戳)(S=安全=NTFS ACL,O=所有者信息,U=审核信息)。
  • /DCOPY:T :: 复制目录时间戳。
  • /SEC :: 复制具有安全性的文件(等同于/COPY:DATS)。
  • /COPYALL :: 复制所有文件信息(等同于/COPY:DATSOU)。
  • /NOCOPY :: 不复制任何文件信息(与/PURGE 一起使用生效)。
  • /SECFIX :: 修复所有文件的文件安全性,即使是跳过的文件。
  • /TIMFIX :: 修复所有文件的文件时间,即使是跳过的文件。
  • /PURGE :: 删除源中不再存在的目标文件/目录。
  • /MIR :: 镜像目录树(等同于/E 和/PURGE)。
  • /MOV :: 移动文件(复制后从源中删除)。
  • /MOVE :: 移动文件和目录(复制后从源中删除)。
  • /A+:[RASHCNET] :: 将给定的属性添加到复制文件。
  • /A-:[RASHCNET] :: 从复制文件中删除给定的属性。
  • /CREATE :: 仅创建目录树和长度为零的文件。
  • /FAT :: 仅使用 8.3 FAT 文件名创建目标文件。
  • /256 :: 关闭超长路径(> 256 字符)支持。
  • /MON:n :: 监视源;发现多于 n 个更改时再次运行。
  • /MOT:m :: 监视源;如果更改,在 m 分钟时间内再次运行。
  • /RH:hhmm-hhmm :: 运行小时数 - 可以启动新副本的时间。
  • /PF :: 以每个文件(而不是每个步骤)为基础检查运行小时数。
  • /IPG:n :: 程序包间的间距(ms),以释放低速线路上的带宽。

二、文件选择选项:

参数解释:

  • /A :: 仅复制具有存档属性集的文件。
  • /M :: 仅复制具有存档属性的文件并重置存档属性。
  • /IA:[RASHCNETO] :: 仅包含具有任意给定属性集的文件。
  • /XA:[RASHCNETO] :: 排除具有任意给定属性集的文件。
  • /XF 文件[文件]… :: 排除与给定名称/路径/通配符匹配的文件。
  • /XD 目录[目录]… :: 排除与给定名称/路径匹配的目录。
  • /XC :: 排除已更改的文件。
  • /XN :: 排除较新的文件。
  • /XO :: 排除较旧的文件。
  • /XX :: 排除多余的文件和目录。
  • /XL :: 排除孤立的文件和目录。
  • /IS :: 包含相同文件。
  • /IT :: 包含已调整的文件。
  • /MAX:n :: 最大的文件大小 - 排除大于 n 字节的文件。
  • /MIN:n :: 最小的文件大小 - 排除小于 n 字节的文件。
  • /MAXAGE:n :: 最长的文件存在时间 - 排除早于 n 天/日期的文件。
  • /MINAGE:n :: 最短的文件存在时间 - 排除晚于 n 天/日期的文件。
  • /MAXLAD:n :: 最大的最后访问日期 - 排除自 n 以来未使用的文件。
  • /MINLAD:n :: 最小的最后访问日期 - 排除自 n 以来使用的文件(If n < 1900 then n = n days, else n = YYYYMMDD date)。
  • /XJ :: 排除接合点。(默认情况下通常包括)。
  • /FFT :: 假设 FAT 文件时间(2 秒粒度)。
  • /DST :: 弥补 1 小时的 DST 时间差。
  • /XJD :: 排除目录的接合点。
  • /XJF :: 排除文件的接合点。

三、重试选项:

参数解释:

  • /R:n :: 失败副本的重试次数: 默认为 1 百万。
  • /W:n :: 两次重试间的等待时间: 默认为 30 秒。
  • /REG :: 将注册表中的 /R:n 和 /W:n 保存为默认设置。
  • /TBD :: 等待定义共享名称(重试错误 67)。

四、日志记录选项:

参数解释:

  • /L :: 仅列出 - 不复制、添加时间戳或删除任何文件。
  • /X :: 报告所有多余的文件,而不只是选中的文件。
  • /V :: 生成详细输出,同时显示跳过的文件。
  • /TS :: 在输出中包含源文件的时间戳。
  • /FP :: 在输出中包含文件的完整路径名称。
  • /BYTES :: 以字节打印大小。
  • /NS :: 无大小 - 不记录文件大小。
  • /NC :: 无类别 - 不记录文件类别。
  • /NFL :: 无文件列表 - 不记录文件名。
  • /NDL :: 无目录列表 - 不记录目录名称。
  • /NP :: 无进度 - 不显示已复制的百分比。
  • /ETA :: 显示复制文件的预期到达时间。
  • /LOG:文件:: 将状态输出到日志文件(覆盖现有日志)。
  • /LOG+:文件:: 将状态输出到日志文件(附加到现有日志中)。
  • /UNILOG:文件:: 以 UNICODE 方式将状态输出到日志文件(覆盖现有日志)。
  • /UNILOG+:文件:: 以 UNICODE 方式将状态输出到日志文件(附加到现有日志中)。
  • /TEE :: 输出到控制台窗口和日志文件。
  • /NJH :: 没有作业标头。
  • /NJS :: 没有作业摘要。
  • /UNICODE :: 以 UNICODE 方式输出状态。

五、 作业选项 :

参数解释:

  • /JOB:作业名称:: 从命名的作业文件中提取参数。
  • /SAVE:作业名称:: 将参数保存到命名的作业文件
  • /QUIT :: 处理命令行后退出(以查看参数)。
  • /NOSD :: 未指定源目录。
  • /NODD :: 未指定目标目录。
  • /IF :: 包含以下文件。

微软提供了非常详细的中文参数说明页面,可以参考 robocopy 文档: https://docs.microsoft.com/zh-cn/windows-server/administration/windows-commands/robocopy

Robocopy GUI 图形界面版本

对于不喜欢命令行的同学,微软也提供了图形界面版本,由 TechNet Magazine 的技术和组稿编辑 Joshua Hoffman 带来。

图片alt

无中文界面,不过使用默认就好,选择源路径(Source Path)和目标路径(Target Path)即可,最后点击 Run 即可。

对付海量文件,微软还是认真的。

附另两种快速删除大量文件或目录的方法:

命令分别如下:

rmdir [drive:]path [/S] [/Q]
del [drive:]path [/S] [/Q]

其中 rmdir 与 rd 命令相同。

/S 表示除目录本身外,还将删除指定目录下的所有子目录和文件。 /Q 表示安静模式,删除时不需要经过确认。

如删除 D:\temp\ 目录下的所有文件的写法如下:

rmdir d:\temp\ /S /Q
del d:\temp\ /S /Q

推荐使用 rmdir 命令,批量删除大量文件时比 del 更高效快速。

不想敲命令的可以直接下载打包好的 exe 小工具:https://download.csdn.net/download/weixin_41287692/12326859

via:

如何复制 200 万个小文件,而且电脑不卡? https://mp.weixin.qq.com/s/gKUYTHINLsH1iE-OGn7UAA

Windows下快速复制文件工具Robocopy介绍 - Lion - 博客园 https://www.cnblogs.com/lion.net/archive/2009/08/15/1546907.html

robocopy | Microsoft Docs https://docs.microsoft.com/zh-cn/windows-server/administration/windows-commands/robocopy


×