惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

T
The Blog of Author Tim Ferriss
P
Privacy & Cybersecurity Law Blog
P
Proofpoint News Feed
S
Schneier on Security
G
GRAHAM CLULEY
The Hacker News
The Hacker News
C
Cybersecurity and Infrastructure Security Agency CISA
Know Your Adversary
Know Your Adversary
C
Cyber Attacks, Cyber Crime and Cyber Security
爱范儿
爱范儿
M
MIT News - Artificial intelligence
V
Vulnerabilities – Threatpost
F
Fortinet All Blogs
月光博客
月光博客
Simon Willison's Weblog
Simon Willison's Weblog
罗磊的独立博客
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
Hugging Face - Blog
Hugging Face - Blog
Spread Privacy
Spread Privacy
P
Proofpoint News Feed
A
About on SuperTechFans
云风的 BLOG
云风的 BLOG
Y
Y Combinator Blog
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
T
Tor Project blog
T
Troy Hunt's Blog
Latest news
Latest news
N
Netflix TechBlog - Medium
Vercel News
Vercel News
Stack Overflow Blog
Stack Overflow Blog
Project Zero
Project Zero
N
News and Events Feed by Topic
F
Full Disclosure
酷 壳 – CoolShell
酷 壳 – CoolShell
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
C
CERT Recently Published Vulnerability Notes
H
Hacker News: Front Page
C
Cisco Blogs
I
Intezer
P
Privacy International News Feed
MongoDB | Blog
MongoDB | Blog
L
LINUX DO - 热门话题
Blog — PlanetScale
Blog — PlanetScale
Security Latest
Security Latest
Last Week in AI
Last Week in AI
Scott Helme
Scott Helme
B
Blog
博客园_首页
MyScale Blog
MyScale Blog
Cloudbric
Cloudbric

元视角

.NET 生态下的 Agent 框架选型:从 ReAct 到原生推理 - 元视角 从「能用」到「好用」:LLM 流式响应实现方式的探索之路 - 元视角 当我用 2000 条聊天记录,让 AI 为我画一幅自画像 - 元视角 基于 Supabase 的 AI 应用开发探索 - 元视角 微博 × MCP:社交媒体新玩法解锁 - 元视角 四点钟海棠花未眠 - 元视角 Semantic Kernel × MCP:智能体的上下文增强探索 - 元视角 基于 K-Means 聚类分析实现人脸照片的快速分类 - 元视角 容器技术驱动下的代码沙箱实践与思考 - 元视角 温故而知新:后端通用查询方案的再思考 - 元视角 浅议 CancellationToken 在前后端协同取消场景中的应用 - 元视角 Semantic Kernel 视角下的 Text2SQL 实践与思考 - 元视角 关于 ChatGPT 的流式传输,你需要知道的一切 - 元视角 RAG 的是与非、Rewrite 和 Rerank - 元视角 使用 EFCore 和 PostgreSQL 实现向量存储及检索 - 元视角 基于 LLaMA 和 LangChain 实践本地 AI 知识库 - 元视角 使用 llama.cpp 在本地部署 AI 大模型的一次尝试 - 元视角 如何为 Git 配置多个 SSH Key - 元视角 C# 使用 LibUsbDotNet 实现 USB 设备检测 - 元视角 基于 C# 实现样式与数据分离的打印方案 - 元视角 基于 SVG 的图形交互方案实践 - 元视角 前端视频播放技术概览 - 元视角 温故而知新,再话 Python 动态导入 - 元视角 后 GPT 时代,NLP 不存在了? - 元视角 视频是不能 P 的系列:使用 Milvus 实现海量人脸快速检索 - 元视角 GDI+下字体大小自适应方案初探 - 元视角 小爱音箱集成 ChatGPT 的不完全教程 - 元视角 程序员视角下的三体世界随想 - 元视角 关于 Docker 容器配置信息的渐进式思考 - 元视角 在 Docker 容器内集成 Crontab 定时任务 - 元视角 为你的服务器集成 LDAP 认证 - 元视角 似花还似非花 - 元视角 视频是不能 P 的系列:使用 Dlib 实现人脸识别 - 元视角 浅议分布式链路追踪与日志的整合 - 元视角 关于 Git 大文件上传这件小事 - 元视角 .NET 进程内队列 Channel 的入门与应用 - 元视角 使用 Fody 实现 .NET 的静态编织 - 元视角 .NET Core + ELK 搭建可视化日志分析平台(下) - 元视角 聊一聊前端图片懒加载背后的故事 - 元视角 支持外部链接跳转的 Vue Router 扩展实现 - 元视角 视频是不能 P 的系列:OpenCV 和 Dlib 实现表情包 - 元视角 不得不说的 ASP.NET Core 集成测试 - 元视角 再议 DDD 视角下的 EFCore 与 领域事件 - 元视角 Vue.js 前端项目容器化部署实践极简教程 - 元视角 再见,人间四月天 - 元视角 Python 图像风格化迁移助力画家梦想 - 元视角 利用 ASP.NET Core 中的标头传播实现分布式链路追踪 - 元视角 利用 gRPC 实现文件的上传与下载 - 元视角 七种武器:延迟队列的原理和实现总结 - 元视角 gRPC 流式传输极简入门指南 - 元视角 Envoy 集成 Jaeger 实现分布式链路追踪 - 元视角 浅议非典型 Web 应用场景下的身份认证 - 元视角 gRPC 借助 Any 类型实现接口的泛化调用 - 元视角 分布式丛林探险系列之 Redis 集群模式 - 元视角 分布式丛林探险系列之 Redis 主从复制模式 - 元视角 通过 Python 预测 2021 年双十一交易额 - 元视角 gRPC 搭配 Swagger 实现微服务文档化 - 元视角 SSL/TLS 加密传输与数字证书的前世今生 - 元视角 使用 Python 自动识别防疫健康码 - 元视角 你不可不知的容器编排进阶技巧 - 元视角 ASP.NET Core 搭载 Envoy 实现 gRPC 服务代理 - 元视角 再话 AOP,从简化缓存操作说起 - 元视角 ASP.NET Core 搭载 Envoy 实现微服务身份认证(JWT) - 元视角 ASP.NET Core 搭载 Envoy 实现微服务的监控预警 - 元视角 ASP.NET Core 搭载 Envoy 实现微服务的反向代理 - 元视角 ASP.NET Core gRPC 打通前端世界的尝试 - 元视角 EFCore 实体命名约定库:EFCore.NamingConventions - 元视角 ASP.NET Core gRPC 集成 Polly 实现优雅重试 - 元视角 ASP.NET Core gRPC 健康检查的探索与实现 - 元视角 ASP.NET Core gRPC 拦截器的使用技巧分享 - 元视角 SnowNLP 使用自定义语料进行模型训练 - 元视角 使用 HttpMessageHandler 实现 HttpClient 请求管道自定义 - 元视角 ABP vNext 的实体与服务扩展技巧分享 - 元视角 ABP vNext 对接 Ant Design Vue 实现分页查询 - 元视角 源代码探案系列之 .NET Core 跨域中间件 CORS - 元视角 源代码探案系列之 .NET Core 限流中间件 AspNetCoreRateLimit - 元视角 源代码探案系列之 .NET Core 并发限制中间件 ConcurrencyLimiter - 元视角 通过 EmbededFileProvider 实现 Blazor 的静态文件访问 - 元视角 低代码,想说爱你不容易 - 元视角 记一次失败的 ThoughtWorks 面试经历 - 元视角 从 C# 1.0 到 C# 9.0,历代 C# 语言特性一览 - 元视角 通过 Python 分析 2020 年全年微博热搜数据 - 元视角 基于 Python 和 Selenium 实现 CSDN 一键三连自动化 - 元视角 使用多线程为你的 Python 爬虫提速的 N 种姿势,你会几种? - 元视角 实现网页长截图的常见思路总结 - 元视角 温故而知新,由 ADO.NET 与 Dapper 所联想到的 - 元视角 视频是不能 P 的系列:OpenCV 人脸检测 - 元视角 作为技术宅的我,是这样追鬼滅の刃的 - 元视角 使用 Python 抽取《半泽直树》原著小说人物关系 - 元视角 厉害了!打工人用 Python 分析西安市职位信息 - 元视角 使用 dotTrace 对 .NET 应用进行性能分析与优化 - 元视角 一道 HashSet 面试题引发的蝴蝶效应 - 元视角 基于选项模式实现.NET Core 的配置热更新 - 元视角 Dapper.Contrib 在 Oracle 环境下引发 ORA-00928 异常问题的解决 - 元视角 .NET Core 中对象池(Object Pool)的使用 - 元视角 利用 MySQL 的 Binlog 实现数据同步与订阅(下):EventBus 篇 - 元视角 利用 MySQL 的 Binlog 实现数据同步与订阅(中):RabbitMQ 篇 - 元视角 利用 MySQL 的 Binlog 实现数据同步与订阅(上):基础篇 - 元视角 记一次从已损坏的 Git 仓库中找回代码的经历 - 元视角 .NET Core 原生 DI 扩展之属性注入实现 - 元视角
博客图片迁移折腾记 - 元视角
飞鸿踏雪 · 2019-01-18 · via 元视角

  去年国庆的时候,七牛官方开始回收测试域名,这直接导致博客中大量图片出现无法访问的情况,虽然博主第一时间启用了新的域名:https://blog.yuanpei.me,可是因为七牛官方要求域名必须备案,所以,这件事情一直耽搁着没有往下进行。至于为什么会一直拖到 2019 年,我想大家都能猜到一二,没错,我就是懒得去弄域名备案这些事情:joy:。最近花了点时间,把博客里的图片从七牛和 CSDN 迁移了出来,所以,今天这篇博客,主要想和大家分享下这个折腾的过程,如果能帮助到和我一样,因为七牛官方回收了域名而无法导出图片的朋友,在下开心之至。虽然今天没有回望过去,没有给新的一年立 flag,就如此平淡地过渡到了 2019 年,可或许这才是生活本来的样子吧!

  七牛的测试域名被官方回收了以后,我们有两种思路去导出这些图片,其一,是临时像官方提工单申请一个测试域名,这样在测试域名被回收前,我们可以直接使用官方提供的qrsctl或者qshell工具进行批量导出,因为此时我们可以直接在配置文件里配置测试域名,具体可以参考这篇文章:跑路之后七牛图片如何导出备份至本地,甚至你可以直接到七牛的管理控制台手动下载,可这样就一点都不极客了对吗?我们是一生追求做极客的人好伐。其二,同样是借助官方提供的qshell工具,因为没有域名,我们没有办法批量导出,可是工具中提供了两个非常有用的命令,它们分别是:qshell listbucketqshell get。通过这两个命令,我们就可以列举出指定 bucket 中的文件以及下载指定文件,所以,这就是我们的第一步,首先把图片从七牛那里导出到本地。以博主的blogspace为例:

qshell account <ak> <sk> 'qinyuanpei@163.com' /* 请使用你的ak/sk,谢谢 */
qshell listbucket blogspace

使用listbucket列举指定bucket内文件 使用listbucket列举指定bucket内文件

  事实上,通过第一列的 Key,即文件名,我们就可以下载该资源到本地,因为七牛实际上是采用对象存储的方式来组织资源的,这里我们以第一张图片05549344-BF85-4e8c-BCBC-1F63DFE80E43.png为例:

qshell get blogspace 05549344-BF85-4e8c-BCBC-1F63DFE80E43.png

  默认情况下,该图片会下载到当前目录下,本地文件和远程文件名保持一致。当然,我们还可以通过-o 参数来指定输出文件:

使用get命令下载指定文件 使用get命令下载指定文件

  好了,有了这个基础,我们就可以着手博客图片的迁移啦。博主最初的想法是,先获取到指定 bucket 下的全部文件,然后再对结果进行拆分,循环执行 qshell get 命令,可惜再 PowerShell 下并没有类似 grep 的命令,所以,这个想法放弃。其实,你仔细观察七牛图片外链的格式就会发现,除了域名部分以外,剩下的就是该文件在 bucket 里对应的 key 啦,所以,博主的想法开始从 Markdown 文件入手,最终我们的思路是,解析博客对应的 Markdown 文件,通过正则匹配所有的图片链接,截取出图片的文件名并通过 qshell 下载到本地。人生苦短,我用 Python。具体写出来,大概是下面这个样子:

def sync(root,ak,sk,account,bucket):
    files = []
    children = os.listdir(root)
    for child in children:
        path = os.path.join(root,child)
        if os.path.isfile(path):
            files.append(path)
    for file in files:
        links = []
        newContent = ''
        with open(file,'rt',encoding='utf-8') as fp:
            content = fp.read()
            matches = re.compile('!\\[.*?\\]\\((.*?)\\)').findall(content) 
            if(len(matches)>0):
                links.extend(matches)
            for link in links:
                fileKey = link.split('/')[-1]
                if('http://img.blog.csdn.net' in link):
                    newLink = sync_csdn(link)
                    newContent = content.replace(link,newLink)
                elif('clouddn.com' in link):
                    newLink = sync_qiniu(ak,sk,account,bucket,fileKey)
                    newContent = content.replace(link,newLink)
        if(newContent != '' and len(links) > 0):
            with open(file,'wt',encoding='utf-8') as fp:
                fp.write(newContent)
            print('已自动完成对{0}中图片链接的自动更新'.format(file))

  因为博主的博客,在此之前(指 2012 年~2018 年,暴露年龄啦ORZ),主要都在:https://blog.csdn.net/qinyuanpei这里维护,所以,这次就一并通过脚本处理啦。这部分我们这里不用太关注,对于托管在七牛上的图片资源,我们通过sync_qiniu方法来完成同步:

def sync_qiniu(ak,sk,account,bucket,fileKey):
    os.system('qshell account {0} {1} {2} -w'.format(ak,sk,account))
    outfile = root + "\\download\\blogspace\\" + fileKey
    outfile = outfile.replace('\\','/')
    if(os.path.exists(outfile)):
        os.remove(outfile)
    os.system('qshell get {0} {1} -o {2}'.format(bucket,fileKey,outfile))
    print("同步七牛图片{0}完成".format(fileKey))
    pid = upload(outfile)
    if(pid != None):
        print('同步后的图片链接为:' + upload(outfile))
        return pid

  博客中的图片导出到本地以后,我们就要开始考虑第二个问题,这些图片要放到哪里去,直接和博客放在一起,估计早晚会突破 Github 单个仓库 1G 的限制。七牛增加域名备案的限制以后,像又拍云这种同类产品必须会跟进这个feature,原因嘛,我想大家都知道不必多说。大概考虑了像阿里云和腾讯云的 OSS 类产品,因为我司的产品最近正在着手从自有的 FTP 上切换到阿里云的 OSS 上,主要是考虑服务器的维护成本,但对博主这样的个人用户而言,这类 OSS 产品实在太贵了,最终,博主选择国内某知名社交平台提供的**“图床服务”**。参考这篇文章:PHP 上传图片到微博图床,最终实现了一个简洁(陋)的版本:

def upload(src_file):
    url = "http://picupload.service.weibo.com/interface/pic_upload.php"
    fileExt = src_file.split('.')[-1]
    if(fileExt == 'png'):
        fileExt = 'jpg'
    timestamp = str(int(time.time()))
    mimes = {"gif":'image%2Fgif','jpg':'image%2Fjpeg','jpeg':'image%2Fjpeg'}
    querystring = {"mime":mimes[fileExt],"data":"base64","url":"0","markpos":"1","logo":"","nick":"0","marks":"1","app":"miniblog","cb":"http://weibo.com/aj/static/upimgback.html?_wv=5","callback":"STK_ijax_" + timestamp}
    headers = {
        'Cookie': "在这里填入Cookie",
    }
    files = {'pic1':open(src_file,'rb').read()}
    response = requests.request("POST", url, headers=headers, params=querystring,files=files)
    if(response.status_code == 200):
        result = re.sub(r"<meta.*</script>", "", response.text, flags=re.S)
        image_result = json.loads(result)
        image_id = image_result.get('data').get('pics').get('pic_1').get('pid')
        return 'https://ww1.sinaimg.cn/large/{0}.{1}'.format(image_id,fileExt)

  如果你现在访问我的博客,大概就会发现,之前那些无法显示的图片,现在基本上都可以显示啦,而我所做的事情,就是执行这些 Python 脚本,让它帮我完成从图片下载、上传再到替换链接的所有事情。感觉配合 Typora 在插入图片时可以拷贝到指定目录的功能,完全可以支持本地图片链接自动替换的功能,这样子以后写博客的时候,只要插入准备后的本地图片就好了,真是想想都觉得美好呢?我和一位朋友分享了这个想法,他觉得**“微博图床”**并不靠谱,这样说起来,它最不好的地方大概就是没有办法保留原有的文件名,所以,万一将来有一天它挂了,你要恢复这些图片会比较麻烦,一个好的建议是维护一个数据库,譬如 SQLite 足矣,把本地文件名和远程文件名对应起来,甚至你可以把图片的 Base64 编码存储到数据库里呢,对吧?

  好了,以上就这 2019 年第一篇碎碎念啦,为了证明我的思维的确是跳跃的,最后的最后,强烈地向大家安利两个图床工具:WeiBoxPicGo,它们都支持微博图床,所以,你猜我是用哪个工具上传这篇文章里地图片的呢?当然是脚本啊,那样不就不那么极客了嘛,我们是一生追求做极客的人好伐!:v: