惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

WordPress大学
WordPress大学
The Register - Security
The Register - Security
Hugging Face - Blog
Hugging Face - Blog
博客园 - 聂微东
GbyAI
GbyAI
Recent Commits to openclaw:main
Recent Commits to openclaw:main
博客园_首页
D
Docker
S
Security @ Cisco Blogs
K
Kaspersky official blog
爱范儿
爱范儿
Simon Willison's Weblog
Simon Willison's Weblog
TaoSecurity Blog
TaoSecurity Blog
V
V2EX
C
CXSECURITY Database RSS Feed - CXSecurity.com
T
Troy Hunt's Blog
Cloudbric
Cloudbric
博客园 - 三生石上(FineUI控件)
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
The Hacker News
The Hacker News
美团技术团队
S
SegmentFault 最新的问题
L
Lohrmann on Cybersecurity
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
宝玉的分享
宝玉的分享
The Last Watchdog
The Last Watchdog
Y
Y Combinator Blog
M
MIT News - Artificial intelligence
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
Martin Fowler
Martin Fowler
Google Online Security Blog
Google Online Security Blog
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
C
Cybersecurity and Infrastructure Security Agency CISA
T
Tor Project blog
Vercel News
Vercel News
The Cloudflare Blog
G
Google Developers Blog
T
Threat Research - Cisco Blogs
AI
AI
Stack Overflow Blog
Stack Overflow Blog
I
InfoQ
Scott Helme
Scott Helme
S
Schneier on Security
大猫的无限游戏
大猫的无限游戏
The GitHub Blog
The GitHub Blog
S
Securelist
IT之家
IT之家
Microsoft Azure Blog
Microsoft Azure Blog

I'm OWenT

国产大模型(GLM 5.1、Kimi K2.6)真实场景效果和 Coding Plan 额度测试 新版本libatapp的连接管理——从etcd服务发现到拓扑驱动的自动重连 新版本libatbus的设计变更——从树形路由到拓扑驱动 Protobuf又一坑 - C++标准和ABI兼容性 AI真好用-给Blog主题统一加mermaid,chart.js,excalidraw,draw.io的多种引入方式支持 给内网部署Squid-通用HTTP下载缓存 UE使用CodeChecker和clang-tidy生成静态分析报告 找出UE的循环依赖 C++小协程栈和临时变量及作用域的栈溢出问题分析 游戏服务的可观测性能力建设(C++生态) 指标上报的多线程优化和多拉取源点优化 协程(libcopp)的Channel功能和CPU命中率优化 通用RPC代码生成器 实现strong_rc_ptr(比shared_ptr更快的引用计数智能指针) 手夯一个STL allocator和对象内存分析组件 std::condition_variable 的信号丢失问题 踩坑一处(GCC)STL std::async 实现BUG导致的crash问题 GCC 14的一个warning to error BUG 给xresloader(Excel导表工具)增强UE读表支持(包含蓝图,Blueprint) Opentelemetry社区在gRPC的几个链接问题(静态库和动态库混用,musl工具链,符号裁剪) Excel转表工具(xresloader)的新验证器(验证外部Excel和文本数据,唯一性和自定义规则) protobuf v22和gRPC v1.55版本升级的依赖变化和upb适配 关于protobuf近期版本(v20/v3.20+)和 gRPC v1.54版本在某些编译环境下的一些链接和编译问题 xresloader-Excel导表工具链的近期变更汇总 打通游戏服务端框架的C++20协程改造的最后一环 Opentelemetry-cpp的Logs模块标准更新(涉及近期版本:1.8-1.9的BREAK CHANGES) 给cmake-toolset和工具链(curl等)加HTTP/2和HTTP/3支持 又开新坑之 coredns 插件: nftables和filter 关于opentelemetry-cpp社区对于C++ Head Only组件单例和符号可见性的讨论小记 填个转表工具 xresloader 去年的坑(数组尾部裁剪) 集成 upb 和 lua binding 的踩坑小记 libcopp对C++20协程的接入和接口设计 再度优化GCC、LLVM、Clang、libc++、libc++abi等套件的构建脚本 游戏服务的分布式事务优化(二)- 事务管理 游戏服务的分布式事务优化(一)- Write Ahead Log(WAL) 模块 记录一些bazel适配用编译选项 测试现代化硬件C++浮点数性能和一致性 适配Boringssl和OpenSSL 3.0 近期cmake-toolset的一些适配问题 C++20 Text Formatting/fmtlib 适配问题小记 再次重构LLVM+Clang+libcxx+libc++abi+其他相关工具的构建流程 重构基于CMake的构建工具链 新版GCC和LLVM+Clang终于Release啦 折腾一下nftables下的双拨 [C++20] Module partitions和符号交叉引用(声明和实现分离) [Rust] 实现一个线程安全且迭代器可以保存的链表 基于protobuf的代码生成 几个使用protobuf中C++接口的Arena的坑 Amazon Aurora DB存储引擎论文阅读小记 近期对libatapp的一些优化调整(增加服务发现和连接管理,支持yaml等) xresloader转表工具链增加了一些新功能(map,oneof支持,输出矩阵,基于模板引擎的加载代码生成等) 在游戏服务器中使用分布式事务 libcopp接入C++20 Coroutine和一些过渡期的设计 libatbus 的大幅优化 nftables初体验 容器配置开发环境小计 PALM Tree - 适合多核并发架构的B+树 - 论文阅读小记 跨平台协程库 - libcopp 简介 C++20 Coroutine 性能测试 (附带和libcopp/libco/libgo/goroutine/linux ucontext对比) 尝鲜Github Action 一些xresloader(转表工具)的改进 protobuf、flatbuffer、msgpack 针对小数据包的简单对比 协程框架(libcopp) 小幅优化 Excel转表工具(xresloader) 增加protobuf插件功能和集成 UnrealEngine 支持 Anna(支持任意扩展和超高性能的KV数据库系统)阅读笔记 C++20 Coroutine libcopp merge boost.context 1.69.0 Google去中心化分布式系统论文三件套(Percolator、Spanner、F1)读后感 Rust玩具-企业微信机器人通用服务 使用ELK辅助监控开发测试环境服务质量和问题定位 2018年的新通用伪随机数算法(xoshiro / xoroshiro)的C++(head only)实现 Webpack+vue+boostrap+ejs构建Web版GM工具 Rust的第二次接触-写个小服务器程序 理解和适配AEAD加密套件 atsf4g-co的进化:协程框架v2、对象路由系统和一些其他细节优化 协程框架(libcopp)v2优化、自适应栈池和同类库的Benchmark对比 可执行文件压缩 初识Rust 使用restructedtext编写xresloader文档 atframework的etcd模块化重构 C++的backtrace ECDH椭圆双曲线(比DH快10倍的密钥交换)算法简介和封装 protobuf-net的动态Message实现 pbc的proto3接入 atgateway内置协议流程优化-加密、算法协商和ECDH 整理一波软件源镜像同步工具+DevOps工具 Blog切换到Hugo libcopp v2的第一波优化完成 libcopp(v2) vs goroutine性能测试 libcopp的线程安全、栈池和merge boost.context 1.64.0 GCC 7和LLVM+Clang+libc++abi 4.0的构建脚本 libatbus的几个藏得很深的bug 用cmake交叉编译到iOS和Android 开源项目得一些小维护 atapp的c binding和c#适配 对象路由系统设计 2016年总结 近期的一个协程流程BUG atsf4g完整游戏工程示例|I'm OWenT atframework基本框架已经完成|I'm OWenT
重写了llvm+clang+libc++和libc++abi的构建脚本
2016-11-19 · via I'm OWenT

blog-website

由于之前整理的服务器框架已经完成了,就需要用各种静态分析工具跑一遍。原来的llvm+clang的编译脚本是从GCC那个脚本copy过来然后改的,使用的时候各种问题。所以干醋重新折腾一遍,重写了。

之前的脚本,每次升级版本都要折腾下,一开始是编译的默认静态库巨大无比,后来改成动态库后一会儿好一会儿不好。 目测3.9.0版本的问题是开启动态库的编译模式以后有些子工程还是静态库,并且会漏掉加-fPIC,即便我在cmake的选项里加了也没用。 而且有时候是用gcc编译正常,用clang自举编译的时候失败。 然后每次测试一次都要花费巨量的时间,巨慢无比。我只是编译出来玩+当某些工具使用啊喂。要不要这么折腾我啊喂。

所以索性重写了,然后这回干脆不适用原来的动态库命令了,llvm的文档里说那个命令仅供llvm的developer。然后有新的选项是把编译出来的各种.a都动态链接到一起(我试了下保留Debug信息的话这个libLLVM.so有900MB)。所以干脆不保留Debug信息了。 然而之前发现的make install的时候的python目录的bug依然存在,所以就还是保留了那个bug的处理。

也是醉,现在的脚本终于第一次编译个自举编译又都OK了,然后建议的额外的编译flags也改成了使用llvm-config来显示。并且新的脚本的编译速度也比以前大幅提升了。

写这个脚本的时候发现过一些问题,llvm套件编译的时候要耗费巨量的内存。一开始我是用CPU核心数除2的多进程编译的,后来发现内存扛不住。加交换区的话有很慢,所以现在的策略是先4进程编译,失败了再2进程,再失败1进程,再失败就真的是失败了。 之前观测得是2进程的时候要消耗大约12GB内存。

另外一开始我是RelWithDebInfo编译的,也就是带了调试符号。后来发现,这么编译的话编出来的各种静态库和动态库都巨大无比,大约一起十多个GB。 然后用这个带调试信息的clang自举编译的时候又巨慢无比,而且内存有彪上去了。我编译跑了一下午也没跑完。所以索性改成Release编译了,去除了调试符号。 现在编译速度比较正常了,编译出的文件大小已比较正常了。

再就是一些组件的细节调整了下,编译lldb的时候会检查下依赖的库有没有,没有就跳过。默认都睡编译lldb和lld了。 openmp我不用所以没加进去,反正加一下也不麻烦。dragonegg的依赖过于奇葩,我也没加进去了,这也是个折腾的主儿,而且真的需要用gcc的前端+llvm的后端吗?有需要的人自己加吧。

希望不要下次版本有各种问题吧,唉。次版本的编译脚本位于: https://github.com/owent-utils/bash-shell/tree/master/LLVM%26Clang%20Installer/3.9

NOTICE

  1. 第二次自举编译完成后,不再依赖libstdc++,转而依赖编译出来的libc++和libc++abi,但是仍然会依赖libgcc_s.so
  2. llvm内部分组件没有使用LIBCXX_LIBCXXABI_INCLUDE_PATHS来查找c++abi的头文件,故而编译的时候直接把这个目录加到了C_INCLUDE_PATH里
  3. 使用动态库,原先使用静态库会导致编译出来的二进制非常大,现在全部使用动态库
  4. CentOS 7下测试默认包+lld通过, 本地测试过的编译命令如下

clang -O0 -g -ggdb -std=c++11 -stdlib=libstdc++ -lstdc++ [源文件…]

clang++ -O0 -g -ggdb -std=c++11 -stdlib=libstdc++ [源文件…]

clang -O0 -g -ggdb -std=c++11 -stdlib=libc++ -lc++ -lc++abi [源文件…]

clang -O0 -g -ggdb -std=c++14 -stdlib=libc++ -lc++ -lc++abi [源文件…]

clang++ -O0 -g -ggdb -std=c++11 -stdlib=libc++ -lc++abi [源文件…]

clang++ -O0 -g -ggdb -std=c++14 -stdlib=libc++ -lc++abi [源文件…]

其他选项参见: llvm-config –cflags ; llvm-config –cxxflags ; llvm-config –ldflags

  • 如果使用clang -stdlib=libc++则需要加上-lc++ -lc++abi的链接选项,或者使用clang++ -stdlib=libc++ -lc++abi。(无论如何-lc++abi都要手动加链接符号)
  • 如果使用clang -stdlib=libstdc++则需要加上-lstdc++的链接选项,或者使用clang++ -stdlib=libstdc++
  • 建议使用llvm-config –cflags,llvm-config –cxxflagsllvm-config –ldflags来查看需要附加的编译选项

编译安装 LLVM + Clang 3.9

准备环境及依赖项

  1. cmake
  2. Python
  3. python-devel/python-dev(lldb依赖项)
  4. swig(lldb依赖项)
  5. libedit/libedit-devel/libedit-dev(lldb依赖项)
  6. libxml2-devel(lldb依赖项)
  7. ncurses-devel(lldb依赖项)
  8. GCC 4.7 or higher

我编译的环境

系统:

CentOS 7.1

系统库:

详情参见 llvm官网

编译的依赖库:

  • libc++ 3.9.0
  • libc++abi 3.9.0
  • libunwind 3.9.0(这个库不会install)

默认编译目标:

  • llvm 3.9.0
  • clang 3.9.0
  • compiler_rt 3.9.0
  • clang_tools_extra 3.9.0
  • lldb 3.9.0
  • lld 3.9.0

注:

  • (所有的库都会被安装在$PREFEX_DIR里)

额外建议:

  • 如果增加编译组件,比如已装有gtest要编译lld,使用命令./install.sh -t +openmp

History:

  • 2016-11-14 Created

参考文献

  1. llvm官网