惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

C
Check Point Blog
IT之家
IT之家
V
Visual Studio Blog
The Cloudflare Blog
博客园 - 司徒正美
Jina AI
Jina AI
博客园_首页
阮一峰的网络日志
阮一峰的网络日志
美团技术团队
S
SegmentFault 最新的问题
博客园 - 聂微东
人人都是产品经理
人人都是产品经理
T
Tailwind CSS Blog
罗磊的独立博客
酷 壳 – CoolShell
酷 壳 – CoolShell
量子位
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
Hugging Face - Blog
Hugging Face - Blog
博客园 - 【当耐特】
博客园 - 三生石上(FineUI控件)
爱范儿
爱范儿
博客园 - Franky
Last Week in AI
Last Week in AI
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知

I'm OWenT

国产大模型(GLM 5.1、Kimi K2.6)真实场景效果和 Coding Plan 额度测试 新版本libatapp的连接管理——从etcd服务发现到拓扑驱动的自动重连 新版本libatbus的设计变更——从树形路由到拓扑驱动 Protobuf又一坑 - C++标准和ABI兼容性 AI真好用-给Blog主题统一加mermaid,chart.js,excalidraw,draw.io的多种引入方式支持 给内网部署Squid-通用HTTP下载缓存 UE使用CodeChecker和clang-tidy生成静态分析报告 找出UE的循环依赖 C++小协程栈和临时变量及作用域的栈溢出问题分析 游戏服务的可观测性能力建设(C++生态) 指标上报的多线程优化和多拉取源点优化 协程(libcopp)的Channel功能和CPU命中率优化 通用RPC代码生成器 实现strong_rc_ptr(比shared_ptr更快的引用计数智能指针) 手夯一个STL allocator和对象内存分析组件 std::condition_variable 的信号丢失问题 踩坑一处(GCC)STL std::async 实现BUG导致的crash问题 GCC 14的一个warning to error BUG 给xresloader(Excel导表工具)增强UE读表支持(包含蓝图,Blueprint) Opentelemetry社区在gRPC的几个链接问题(静态库和动态库混用,musl工具链,符号裁剪) Excel转表工具(xresloader)的新验证器(验证外部Excel和文本数据,唯一性和自定义规则) protobuf v22和gRPC v1.55版本升级的依赖变化和upb适配 关于protobuf近期版本(v20/v3.20+)和 gRPC v1.54版本在某些编译环境下的一些链接和编译问题 xresloader-Excel导表工具链的近期变更汇总 打通游戏服务端框架的C++20协程改造的最后一环 Opentelemetry-cpp的Logs模块标准更新(涉及近期版本:1.8-1.9的BREAK CHANGES) 给cmake-toolset和工具链(curl等)加HTTP/2和HTTP/3支持 又开新坑之 coredns 插件: nftables和filter 关于opentelemetry-cpp社区对于C++ Head Only组件单例和符号可见性的讨论小记 填个转表工具 xresloader 去年的坑(数组尾部裁剪)
可执行文件压缩
owent · 2018-04-24 · via I'm OWenT

blog-website

前言

最近看Rust相关东西的时候看到一篇关于压缩可执行文件的文章。压缩可执行文件对嵌入式开发特别有用,但是延伸一下用来减少我们游戏行业里预编译的工具二进制包大小和Android/iOS的库也是蛮有用的。

原文见这里: https://jamesmunns.com/blog/tinyrocket/

基本流程

  1. Release编译,移除调试符号文件,开启最小化size优化(-Oz)
  2. 使用LLVM的全量LTO
  3. 使用xargo重新编译标准库(std)和核心库(core)(这个C/C++不容易模仿,而且编译选项十分难搞)
  4. 移除jemalloc(服务器程序还是留着比较好,内置的malloc实现一般碎片比较厉害。虽然C/C++默认也不是jemalloc,很多项目为了新能还是会用它)
  5. 移除panic的详情信息(这个仅适用于Rust
  6. strip(由GNU的binutils提供),参考命令: strip [二进制]
  7. UPX进一步压缩加壳

尝试改造优化

然后尝试使用上面的流程改造我们的 gmtools-cli 。原先我是直接开LTO+Release编译的,编出的文件大小为4.4MB(4520728字节)。

  1. Release编译只要构建命令用 cargo build --release 就可以了,开size优化需要加个配置选项
[profile.release]
opt-level = "z"

[profile.dev]
opt-level = "z"
  1. LTO加几个配置选项就行了
[profile.release]
lto = true
codegen-units = 1
incremental = false

[profile.dev]
lto = true
codegen-units = 1
incremental = false
  1. 重新编译标准库(std)和核心库(core)比较麻烦,而且我本地的环境报could not find native static library `c`, perhaps an -L flag is missing?。原文里自己编译这两个库反而体积变大了,我就先忽略这个了
  2. 这个要改源码和配置文件 首先是 Cargo.toml 里要增加:
[features]
system-alloc = []

然后代码增加:

#![feature(global_allocator)]
#![feature(allocator_api)]
// When the `system-alloc` feature is used, use the System Allocator
#[cfg(feature = "system-alloc")]
mod allocator {
    use std::heap::System;

    #[global_allocator]
    pub static mut THE_ALLOC: System = System;
}

// When the `system-alloc` feature is not used, do nothing,
// retaining the default functionality (using jemalloc)
#[cfg(not(feature = "system-alloc"))]
mod allocator {
    #[allow(dead_code)]
    pub static THE_ALLOC: () = ();
}

#[allow(unused_imports)]
use allocator::THE_ALLOC;

最后构建命令加 --features system-alloc

  1. 这个就是移除调试信息,把 [profile.release] 的配置 panic = “abort” 就可以了
[profile.release]
panic = "abort"

[profile.dev]
panic = "abort"
  1. 直接执行 strip 二进制 即可
  2. 参考命令 upx --ultra-brute 二进制

最后执行完,成果很惊人。压缩完后的大小是274K(280264字节)。

来个更直观的对比。

对比项 压缩前 压缩后  
编译选项 release,opt-level=3,lto=true,codegen-units=3,panic=”unwind” release,opt-level=”z”,lto=true,codegen-units=1,panic=”abort”,strip  
原始编译结果 4.4MB(4520728字节) 2.1MB(2187784字节) – 减少51.6%  
仅执行strip 4.4MB(4520728字节) 844K(863312字节) – 减少80.9%  
执行strip和upx 4.4MB(4520728字节) 274K(280264字节) – 减少93.8%  

其他C/C++的压缩

其实上面效果最大的是Release编译移除调试符号、strip和upx,这三项都可以直接用再C/C++项目里的。唯一不同的就是可以编译的时候保留调试符号,然后用 objcopy 来代替 strip 把调试符号导出来并且移除了。

关于UPX和WSL和Android

UPX的原理是压缩代码,然后加入一些初始化函数再运行时解压,以前被一些病毒拿来做加壳处理,所以可能有些杀毒软件会报。其实不用UPXstrip也有不错的压缩率了。

在WSL环境下,现在的版本不支持UPX压缩后的可执行程序,会报 exec format error ,但是马上要发布的春季更新后就支持了。 这里有个Issue说这个问题的 https://github.com/Microsoft/WSL/issues/330 。

Android下用UPX看到说需要几个小patch(我没试,这里只是记录一下):

  • UPX需要二进制文件大于40K,如果不够大可以加个全局变量搞大这个.so。
  • 在native代码中需要声明 extern "C" {void _init(void){}} 函数,用于在编译时生成 _init 段。(UPX要求二进制文件必须存在init段,但是android的.so可能没有)
    • 或者也可以自定义初始化代码, extern "C" {void my_init(void){}} ,然后编译时在 Android.mk 里加入 LOCAL_LDFLAGS += -Wl,-init=my_init 。来指定自己的初始化加载函数