惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

雷峰网
雷峰网
D
Darknet – Hacking Tools, Hacker News & Cyber Security
P
Proofpoint News Feed
Spread Privacy
Spread Privacy
C
Cisco Blogs
L
Lohrmann on Cybersecurity
宝玉的分享
宝玉的分享
I
Intezer
aimingoo的专栏
aimingoo的专栏
Cisco Talos Blog
Cisco Talos Blog
The Register - Security
The Register - Security
GbyAI
GbyAI
C
CERT Recently Published Vulnerability Notes
Apple Machine Learning Research
Apple Machine Learning Research
U
Unit 42
Cyberwarzone
Cyberwarzone
爱范儿
爱范儿
I
InfoQ
博客园_首页
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
量子位
P
Palo Alto Networks Blog
Microsoft Azure Blog
Microsoft Azure Blog
H
Hackread – Cybersecurity News, Data Breaches, AI and More
有赞技术团队
有赞技术团队
T
Tailwind CSS Blog
腾讯CDC
阮一峰的网络日志
阮一峰的网络日志
NISL@THU
NISL@THU
T
Threatpost
T
The Blog of Author Tim Ferriss
云风的 BLOG
云风的 BLOG
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
S
Schneier on Security
Security Latest
Security Latest
Martin Fowler
Martin Fowler
H
Help Net Security
小众软件
小众软件
The Hacker News
The Hacker News
Know Your Adversary
Know Your Adversary
博客园 - 司徒正美
人人都是产品经理
人人都是产品经理
T
The Exploit Database - CXSecurity.com
Jina AI
Jina AI
Engineering at Meta
Engineering at Meta
The GitHub Blog
The GitHub Blog
P
Proofpoint News Feed
IT之家
IT之家
WordPress大学
WordPress大学
S
Securelist

I'm OWenT

国产大模型(GLM 5.1、Kimi K2.6)真实场景效果和 Coding Plan 额度测试 新版本libatapp的连接管理——从etcd服务发现到拓扑驱动的自动重连 新版本libatbus的设计变更——从树形路由到拓扑驱动 Protobuf又一坑 - C++标准和ABI兼容性 AI真好用-给Blog主题统一加mermaid,chart.js,excalidraw,draw.io的多种引入方式支持 给内网部署Squid-通用HTTP下载缓存 UE使用CodeChecker和clang-tidy生成静态分析报告 找出UE的循环依赖 C++小协程栈和临时变量及作用域的栈溢出问题分析 游戏服务的可观测性能力建设(C++生态) 指标上报的多线程优化和多拉取源点优化 协程(libcopp)的Channel功能和CPU命中率优化 通用RPC代码生成器 实现strong_rc_ptr(比shared_ptr更快的引用计数智能指针) 手夯一个STL allocator和对象内存分析组件 std::condition_variable 的信号丢失问题 踩坑一处(GCC)STL std::async 实现BUG导致的crash问题 GCC 14的一个warning to error BUG 给xresloader(Excel导表工具)增强UE读表支持(包含蓝图,Blueprint) Opentelemetry社区在gRPC的几个链接问题(静态库和动态库混用,musl工具链,符号裁剪) Excel转表工具(xresloader)的新验证器(验证外部Excel和文本数据,唯一性和自定义规则) protobuf v22和gRPC v1.55版本升级的依赖变化和upb适配 关于protobuf近期版本(v20/v3.20+)和 gRPC v1.54版本在某些编译环境下的一些链接和编译问题 xresloader-Excel导表工具链的近期变更汇总 打通游戏服务端框架的C++20协程改造的最后一环 Opentelemetry-cpp的Logs模块标准更新(涉及近期版本:1.8-1.9的BREAK CHANGES) 又开新坑之 coredns 插件: nftables和filter 关于opentelemetry-cpp社区对于C++ Head Only组件单例和符号可见性的讨论小记 填个转表工具 xresloader 去年的坑(数组尾部裁剪) 集成 upb 和 lua binding 的踩坑小记 libcopp对C++20协程的接入和接口设计 再度优化GCC、LLVM、Clang、libc++、libc++abi等套件的构建脚本 游戏服务的分布式事务优化(二)- 事务管理 游戏服务的分布式事务优化(一)- Write Ahead Log(WAL) 模块 记录一些bazel适配用编译选项 测试现代化硬件C++浮点数性能和一致性 适配Boringssl和OpenSSL 3.0 近期cmake-toolset的一些适配问题 C++20 Text Formatting/fmtlib 适配问题小记 再次重构LLVM+Clang+libcxx+libc++abi+其他相关工具的构建流程 重构基于CMake的构建工具链 新版GCC和LLVM+Clang终于Release啦 折腾一下nftables下的双拨 [C++20] Module partitions和符号交叉引用(声明和实现分离) [Rust] 实现一个线程安全且迭代器可以保存的链表 基于protobuf的代码生成 几个使用protobuf中C++接口的Arena的坑 Amazon Aurora DB存储引擎论文阅读小记 近期对libatapp的一些优化调整(增加服务发现和连接管理,支持yaml等) xresloader转表工具链增加了一些新功能(map,oneof支持,输出矩阵,基于模板引擎的加载代码生成等) 在游戏服务器中使用分布式事务 libcopp接入C++20 Coroutine和一些过渡期的设计 libatbus 的大幅优化 nftables初体验 容器配置开发环境小计 PALM Tree - 适合多核并发架构的B+树 - 论文阅读小记 跨平台协程库 - libcopp 简介 C++20 Coroutine 性能测试 (附带和libcopp/libco/libgo/goroutine/linux ucontext对比) 尝鲜Github Action 一些xresloader(转表工具)的改进 protobuf、flatbuffer、msgpack 针对小数据包的简单对比 协程框架(libcopp) 小幅优化 Excel转表工具(xresloader) 增加protobuf插件功能和集成 UnrealEngine 支持 Anna(支持任意扩展和超高性能的KV数据库系统)阅读笔记 C++20 Coroutine libcopp merge boost.context 1.69.0 Google去中心化分布式系统论文三件套(Percolator、Spanner、F1)读后感 Rust玩具-企业微信机器人通用服务 使用ELK辅助监控开发测试环境服务质量和问题定位 2018年的新通用伪随机数算法(xoshiro / xoroshiro)的C++(head only)实现 Webpack+vue+boostrap+ejs构建Web版GM工具 Rust的第二次接触-写个小服务器程序 理解和适配AEAD加密套件 atsf4g-co的进化:协程框架v2、对象路由系统和一些其他细节优化 协程框架(libcopp)v2优化、自适应栈池和同类库的Benchmark对比 可执行文件压缩 初识Rust 使用restructedtext编写xresloader文档 atframework的etcd模块化重构 C++的backtrace ECDH椭圆双曲线(比DH快10倍的密钥交换)算法简介和封装 protobuf-net的动态Message实现 pbc的proto3接入 atgateway内置协议流程优化-加密、算法协商和ECDH 整理一波软件源镜像同步工具+DevOps工具 Blog切换到Hugo libcopp v2的第一波优化完成 libcopp(v2) vs goroutine性能测试 libcopp的线程安全、栈池和merge boost.context 1.64.0 GCC 7和LLVM+Clang+libc++abi 4.0的构建脚本 libatbus的几个藏得很深的bug 用cmake交叉编译到iOS和Android 开源项目得一些小维护 atapp的c binding和c#适配 对象路由系统设计 2016年总结 近期的一个协程流程BUG 重写了llvm+clang+libc++和libc++abi的构建脚本 atsf4g完整游戏工程示例|I'm OWenT atframework基本框架已经完成|I'm OWenT
给cmake-toolset和工具链(curl等)加HTTP/2和HTTP/3支持
owent · 2023-01-30 · via I'm OWenT

blog-website

前言

前段时间集成一些公司内组件的时候发现它依赖 nghttp2 。正好之前一直有给我的构建工具(cmake-toolset)里的构建 curl 的流程加 HTTP/2 和 HTTP/3 的计划。 所以这波一次性搞定了。

首先,curl 是支持多种第三方库作为 HTTP/2 和 HTTP/3(QUIC)算法库的。比如 nghttp3+ngtcp2,或者微软家 msquic,或者Google家 quiche。 其中HTTP/3只能选一个,互相是冲突的。而Google的quiche官方仅有对bazel构建系统的支持,而我的cmake-toolset是cmake生态的。 这里选用 nghttp3+ngtcp2 的组合,主要是为了和其他的模块共享依赖。

另外无论选哪一个HTTP/2 和 HTTP/3(QUIC)算法库,都需要SSL层支持quic算法。那目前官方版本的 openssl 是不支持的。我们可以选用 quictls版本的openssl 或者 boringssl。 其中 quictls版本的openssl 对一些非Google系的开源库支持性更好一些。在 cmake-toolset 中两种都支持,但是我们首选 quictls版本的openssl

nghttp2,nghttp3ngtcp2的依赖关系是 ngtcp2依赖nghttp3nghttp2依赖ngtcp2。由于 cmake-toolset 中增加第三方库的流程已经比较成熟了,所以加这些组件的编译流程并不是什么难事。但是最后集成这个几个库组合起来的时候,还是碰到了一些问题。

nghttp2,nghttp3,ngtcp2构建流程的一些问题

nghttp2,nghttp3ngtcp2的工程结构很相似,所以问题点也很相似。

首先是我们需要让他们使用我们自己的 openssl 库。它们的构建脚本都可以让我们自己指定 openssl 的位置。在使用 boringssl 的时候,因为使用了非标准的老式引入方式(非cmake CONFIG模式),我们指定 -DBORINGSSL_LIBRARIES=<libraries> 的时候包含多个库文件。 我们的构建系统辅助接口传入到 cmake 的 cmake_parse_arguments 接口的时候始终会被拆成多个参数。比如我们设置 -DBORINGSSL_LIBRARIES=a;b ,传入到 cmake_parse_arguments 接口的时候一定会被拆分成 -DBORINGSSL_LIBRARIES=ab ,无论我用是否加转义。这里借鉴了官方 Moudle ExternalProject 的方式,加了一个类似 LIST_SEPARATOR 的选项,在接口里层做转换。

其次 nghttp2,nghttp3ngtcp2 的构建流程中,都是通过一个宏来控制他们是否是输出的静态库( NGHTTP2_STATICLIBNGHTTP3_STATICLIBNGTCP2_STATICLIB )。 这些宏和符号导出标记和可见性相关,我们是需要编译时和链接时保持一致的,否则可能会链接的时候符号找不到。 如果按照cmake CONFIG的标准模式来,这些宏应该在install的时候导出到CONFIG文件里,这样下游模块链接的时候就能自动加上这个宏。 但是这几个库的cmake构建脚本都没有根据当前构建的库的类型来处理宏的导出,所以这里我们也需要适配处理一下。而且这里要注意既要在编译时按需加上这些宏,也需要Patch install后的imported target来设置PUBLIC definition 。

另外 nghttp2的构建碰到了一个兼容性问题,它在输出的头文件里直接使用了 ssize_t 这个类型,但是有些平台中,这个类型是不存在的,所以也需要处理适配添加一下。

最后的构建脚本如下:

  • https://github.com/atframework/cmake-toolset/blob/main/ports/nghttp2/nghttp2.cmake
  • https://github.com/atframework/cmake-toolset/blob/main/ports/ngtcp2/nghttp3.cmake
  • https://github.com/atframework/cmake-toolset/blob/main/ports/ngtcp2/ngtcp2.cmake

curl 的Future检测问题

最后在接入到 curl 的时候也碰到了几个问题,基本上都是导致 curl 检测 nghttp2,nghttp3ngtcp2 失败而最终导致没开开启 HTTP/2 和 HTTP/3(QUIC) 。

一方面针对于上面提到的 nghttp2,nghttp3,ngtcp2 的静态库宏问题和 ssize_t 类型的问题,我也推了个PR到 curl ( https://github.com/curl/curl/pull/10364 )去适配,还需要等维护者进一步Review之后可能才会合入。目前我在 cmake-toolset 里写了 Patch 文件( https://github.com/atframework/cmake-toolset/blob/main/ports/libcurl/libcurl-7.87.patch )来适配。

另外还碰到在Windows平台上,curl 缺失链接了几个 openssl 依赖的系统库,导致检测依赖库的时候链接失败而检测失败,这些库也是补上就好了。整体来说 curl 的整个工程质量还是很高的。

最后

至此,整个适配接入就完成了,可能哪天有空了也我可以试着接入一下 msquic ,这样可选项就更多了。

也欢迎有兴趣的小伙伴互相交流研究。