惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

月光博客
月光博客
IT之家
IT之家
Hugging Face - Blog
Hugging Face - Blog
J
Java Code Geeks
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
博客园 - 叶小钗
MyScale Blog
MyScale Blog
G
Google Developers Blog
Microsoft Azure Blog
Microsoft Azure Blog
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
大猫的无限游戏
大猫的无限游戏
博客园 - 三生石上(FineUI控件)
Google DeepMind News
Google DeepMind News
Engineering at Meta
Engineering at Meta
The Cloudflare Blog
Martin Fowler
Martin Fowler
酷 壳 – CoolShell
酷 壳 – CoolShell
N
Netflix TechBlog - Medium
MongoDB | Blog
MongoDB | Blog
I
InfoQ
WordPress大学
WordPress大学
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
H
Help Net Security

博客园 - 雨V幕

使用chromedp 来做人工模拟操作爬取数据方法 遍历redis按照前缀给未设置过期时间的数据添加过期时间 使用rabbitmq 进行任务调度 使用trace进行排查网络瓶颈 使用vscode 调试 Python 使用power shell 拆分 csv文件 将大文件拆分成小文件。 使用postman 添加预处理验签。 go 使用pprof 进行问题排查 Mysql无主键删除重复数据的快速方法 解决mysql 事务死锁的方法 AnalyticDB 创建db go 序列化反序列化之后时区信息丢失 clickhouse 进行建表期间的一些优化 kraots2.0 在windows 环境搭建开发环境 Sql Server使用函数获取拼音码 关于async 和await关键字 使用kubespray 一键部署 containerd 的安装和熟悉 VMware 配置双网卡实现上网和固定ip
go在处理批量下载时候出现fatal error: runtime: out of memory
雨V幕 · 2024-04-02 · via 博客园 - 雨V幕
  • 状况,测试环境8g内存程序运行之后还剩1g多空闲内存测试环境下载二十集MP4文件就会抛出oom  同时检测不到任何panic 貌似是被liunx 直接给干掉了
  • 本地环境16g内存同样的请求能够正常请求并且返回 。 postman 也因为运行内存不够而闪退 。 使用powershell 执行请求能正常返回二进制乱码内容
  • 分析。测试环境内存资源紧张,在使用并发二十MP4文件下载的时候首先都是将这些资源加载到内存中最终打包成zip文件,所以导致内存疯涨,系统运行内存不够(大约到93%左右)go服务直接崩溃。
  • 解决方案,使用分批下载。比如5 10 集为一批。拆分成多个请求来下载。每次执行请求完成之后内存得到释放。最终能维持一个平衡不会猛涨
  • 所以所有的编写代码都需要考虑到极值问题。并给出解决方案。

stay hungry stay foolish!

posted @ 2024-04-02 15:32  雨V幕  阅读(146)  评论(0)    收藏  举报

刷新页面返回顶部