惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

T
Tor Project blog
T
The Blog of Author Tim Ferriss
WordPress大学
WordPress大学
H
Help Net Security
酷 壳 – CoolShell
酷 壳 – CoolShell
宝玉的分享
宝玉的分享
博客园 - 司徒正美
Jina AI
Jina AI
雷峰网
雷峰网
博客园_首页
博客园 - 三生石上(FineUI控件)
G
Google Developers Blog
MongoDB | Blog
MongoDB | Blog
Hugging Face - Blog
Hugging Face - Blog
The Cloudflare Blog
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
Forbes - Security
Forbes - Security
T
Threatpost
V
Visual Studio Blog
A
Arctic Wolf
Microsoft Azure Blog
Microsoft Azure Blog
Security Latest
Security Latest
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
P
Privacy & Cybersecurity Law Blog
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
Spread Privacy
Spread Privacy
N
News and Events Feed by Topic
Vercel News
Vercel News
爱范儿
爱范儿
The GitHub Blog
The GitHub Blog
NISL@THU
NISL@THU
Hacker News - Newest:
Hacker News - Newest: "LLM"
T
The Exploit Database - CXSecurity.com
P
Proofpoint News Feed
PCI Perspectives
PCI Perspectives
博客园 - 【当耐特】
IT之家
IT之家
S
Secure Thoughts
Engineering at Meta
Engineering at Meta
阮一峰的网络日志
阮一峰的网络日志
Cisco Talos Blog
Cisco Talos Blog
Security Archives - TechRepublic
Security Archives - TechRepublic
月光博客
月光博客
Latest news
Latest news
小众软件
小众软件
Attack and Defense Labs
Attack and Defense Labs
I
Intezer
Y
Y Combinator Blog
The Last Watchdog
The Last Watchdog
大猫的无限游戏
大猫的无限游戏

陈少文的网站

巨变与机遇的未来十年 Kubernetes 平台管理软件压力测试方案 使用镜像部署 Hexo 静态页面 终于等到你 - GitHub 镜像仓库服务(ghcr.io) 一起来学 Go --(6)Interface 一起来学 Go --(5)Goroutine 和 Channel 什么是函数式编程 如何在 Kubernetes 集群集成 Kata 柯里化与偏函数 使用 PyGithub 自动创建 Label 软件产品是团队能力的输出 Helm 2 、Helm 3 比较 IoT 变现 Kubernetes 中的 DNS 服务 国内的 Helm 镜像源 Harbor 使用自签证书支持 Https 访问 DevOps 工具链之 Prow 如何使用 kfctl 安装 Kubeflow VS Code 无法下载 Go 插件的工具包 工程师更应具有服务精神 你不知道的 Docker 使用技巧 使用 Docker 运行 Tensorflow 论中国 什么是左移 如何清空 Git 仓库全部历史记录 一禅小和尚 有风吹过厨房 时间的玫瑰 如何在 CentOS 安装 GPU 驱动 开发 Tips(19) 使用 Velero 备份 Kubernetes 集群 Kubernetes Cheat Sheet 开发 Tips(18) 如何构建一个 Java 工程 开发 Tips(17) KubeSpray 安装 Kubernetes 报错 ip in ansible_all_ipv4_addresses 基于 Kubernetes 和 Jenkins 搭建自动化测试系统 在 Kubernetes 上动态创建 Jenkins Slave 使用 Jenkins 进行服务拨测 开发 Tips(16) Kubernetes 签发 Ingress 证书及日常故障运维 Kubernetes 中 Deployment 的基本操作 Kubernetes 中的证书 如何使用 KubeBuilder 开发一个 Operator Kubernetes 1.6.0 安装问题汇总 镜像管理工具 -- Harbor 开发 Tips(15) Docker 如何拉取镜像 开发 Tips(14) 使用 Helm 安装 harbor 开发 Tips(13) 使用 S2I 构建云原生应用 在 Kubernetes 中使用 emptyDir、hostPath、localVolume 开发 Tips(12) 开发 Tips(11) 代码质量分析工具 SonarQube 使用 Kubeadm 安装 Kubernetes 集群 一起来学 Go --(4)常用函数 Kubernetes 中的 Ceph Kubernetes 之 Volumes Kubernetes 之 Labels、Selectors 开发 Tips(10) 开源正在重构商业模式 Kubernetes 之网络 Kubernetes 之 API 使用 Helm 和 Operator 快速部署 Prometheus Kubernetes 复杂有状态应用管理框架 -- Operator Kubernetes 的包管理器 -- Helm 一起来学 Go --(3)Go Modules 如何一步一步地优化博客方案 kubectl 实用指南 Kubernetes 中的基本概念 搭建远程 Kubernetes 开发环境 大公司和小公司的 ToB 思路 开发 Tips(9) Go 入门指南 一起来学 Go --(2)数据与逻辑结构 如何预防 Web 富文本中的 XSS 攻击 django-xss-cleaner 云工作时代 一起来学 Go --(1)背景与特点 SaaS 开发团队的不同阶段 你不知道的 Git 使用技巧 输出既服务 微服务设计 继续奔跑 开发 Tips(8) 从账户安全到二次验证 Django 性能之数据库查询优化 Django 性能之分库分表 敏捷开发之研发流程 打造一致性的团队 开发 Tips(7) Pytest 进阶学习之 Mock PaaS 部署之 buildpack Go 开发配置 领域输出才是 PaaS 的核心竞争力 Pytest 入门学习 开发 Tips(6) 如何使用 Jenkins、Docker、GitLab 搭建 Django 自动化部署流程
七牛存储批量操作 - qshell
微信公众号 · 2017-05-22 · via 陈少文的网站

1. 下载工具 - qshell

qshell 是利用七牛文档上公开的 API 实现的一个方便开发者测试和使用七牛API服务的命令行工具,使用 Go 语言编写而成。目前该工具融合了七牛存储, CDN ,以及其他的一些七牛服务中经常使用到的方法对应的便捷命令。

版本支持平台链接更新日志
qshell v2.0.7Linux (32, 64位,arm平台), Windows(32, 64位), Mac OSX(32, 64位)下载查看

下载qshell命令zip包,解压。你会发现,里面有多个系统的qshell命令文件。选择适合自己系统的文件,重命名为qshell。为了任意目录都能使用qshell命令,建议将qshell文件拷贝至PATH中的某一个目录。比如,本人安装了GO,并将其bin目录加入了PATH,就直接qshell拷贝到C:/Go/bin/目录下即可。

2. 设置账号Key

新版的qshell需要将账户信息设置在单独的文件中。下面的Administrator,改为对应的账户名。key在七牛登录后页面的【个人面板】- 【秘钥管理】可以查看。旧版的qshell命令,key设置在命令的配置文件参数中。

1
2
3
4
5
C:\Users\Administrator\.qshell\account.json
{
    "access_key" : "**************************",
    "secret_key" : "**************************"
}

或者使用命令设置

1
qshell account [access_key] [secret_key]

3. 批量上传

命令格式: qshell qupload [并发数量] [配置文件名]

1
2
3
4
5
upload.conf
{
   "src_dir"            :   "D:\qiniu\upload_dir",
   "bucket"             :   "mybucket"
}
1
qshell qupload 20 upload.conf

上述命令的操作是,以每秒二十次的频率,上传D盘 qiniu/upload_dir 目录下的文件,至 bucket 名为 mybucket 下。
比如,有文件 D:/qiniu/upload_dir/te/tex.txt,上传之后在 mybucket 下有文件 te/tex.txt ,目录结构会保留,更多设置请参考官方文档。
Tips: 建议并发不要设置太高,会有文件遗漏上传。

4. 批量下载

命令格式: qshell qdownload [并发数量] [配置文件名]

1
2
3
4
5
6
7
8
down.conf
{
   "dest_dir"            :  "D:\qiniu\download_dir",
   "domain"             :   "http://xxx.com1.z0.glb.qiniucdn.com",
   "bucket"             :   "mybucket",
   "prefix"             :   "test/"
}
qshell  qdownload 20 down.conf

上述命令的操作是,以每秒二十次的频率,从http://xxx.com1.z0.glb.qiniucdn.com 空间的mybucket,下载全部以test/开头的文件,保存在本地的 D:/qiniu/download_dir 目录下。
比如,在 mybucket 下有文件 test/te/tex.txt,下载之后会有 D:/qiniu/download_dir/test/te/tex.txt,目录结构会保留,更多设置请参考官方文档。

5. 批量删除

命令格式: qshell batchdelete [-force] [空间名] [保存待删除文件名的文本]

删除操作无法恢复,执行 batchdelete 时,出于谨慎策略需要输入验证码。如果不想输入验证码,可以带上可选参数 -force。

这里比较麻烦的是,如何获得[保存待删除文件名的文本]。

1
find my_dir -type f >file_name_list.txt

在 Linux 下可以直接使用 find 命令,在 Windows 下需要借助 Cygwin 执行 find 命令。本人实践时,先将需要操作的目录,通过 qdownload 命令下载到 download_dir 目录。然后,在download_dir 目录执行上述命令,导出 my_dir 目录下全部文件名列表。

1
2
3
4
5
6
7
8
# file_name_list.txt
my_dir/testapp/requirements.txt
my_dir/testapp/settings.py
my_dir/testapp/test_processes.py
my_dir/testapp/test_tasks.py
my_dir/testapp/__init__.py
my_dir/tests/test_stackless.py
my_dir/tests/__init__.py

最后执行 batchdelete 命令删除指定 bucket 的文件。这里就是删除 mybucket 下,上述file_name_list.txt中文件名对应文件。

1
qshell batchdelete  mybucket file_name_list.txt