惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

V
V2EX
P
Proofpoint News Feed
D
DataBreaches.Net
C
Check Point Blog
L
LangChain Blog
量子位
美团技术团队
Vercel News
Vercel News
人人都是产品经理
人人都是产品经理
N
Netflix TechBlog - Medium
V
Visual Studio Blog
Microsoft Security Blog
Microsoft Security Blog
博客园 - 【当耐特】
MongoDB | Blog
MongoDB | Blog
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
Last Week in AI
Last Week in AI
The GitHub Blog
The GitHub Blog
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
U
Unit 42
腾讯CDC
M
MIT News - Artificial intelligence
Microsoft Azure Blog
Microsoft Azure Blog
Blog — PlanetScale
Blog — PlanetScale

I'm OWenT

国产大模型(GLM 5.1、Kimi K2.6)真实场景效果和 Coding Plan 额度测试 新版本libatapp的连接管理——从etcd服务发现到拓扑驱动的自动重连 新版本libatbus的设计变更——从树形路由到拓扑驱动 Protobuf又一坑 - C++标准和ABI兼容性 AI真好用-给Blog主题统一加mermaid,chart.js,excalidraw,draw.io的多种引入方式支持 给内网部署Squid-通用HTTP下载缓存 UE使用CodeChecker和clang-tidy生成静态分析报告 找出UE的循环依赖 C++小协程栈和临时变量及作用域的栈溢出问题分析 游戏服务的可观测性能力建设(C++生态) 指标上报的多线程优化和多拉取源点优化 协程(libcopp)的Channel功能和CPU命中率优化 通用RPC代码生成器 实现strong_rc_ptr(比shared_ptr更快的引用计数智能指针) 手夯一个STL allocator和对象内存分析组件 std::condition_variable 的信号丢失问题 踩坑一处(GCC)STL std::async 实现BUG导致的crash问题 GCC 14的一个warning to error BUG 给xresloader(Excel导表工具)增强UE读表支持(包含蓝图,Blueprint) Opentelemetry社区在gRPC的几个链接问题(静态库和动态库混用,musl工具链,符号裁剪) Excel转表工具(xresloader)的新验证器(验证外部Excel和文本数据,唯一性和自定义规则) protobuf v22和gRPC v1.55版本升级的依赖变化和upb适配 关于protobuf近期版本(v20/v3.20+)和 gRPC v1.54版本在某些编译环境下的一些链接和编译问题 xresloader-Excel导表工具链的近期变更汇总 打通游戏服务端框架的C++20协程改造的最后一环 Opentelemetry-cpp的Logs模块标准更新(涉及近期版本:1.8-1.9的BREAK CHANGES) 又开新坑之 coredns 插件: nftables和filter 关于opentelemetry-cpp社区对于C++ Head Only组件单例和符号可见性的讨论小记 填个转表工具 xresloader 去年的坑(数组尾部裁剪) 集成 upb 和 lua binding 的踩坑小记
给cmake-toolset和工具链(curl等)加HTTP/2和HTTP/3支持
owent · 2023-01-30 · via I'm OWenT

blog-website

前言

前段时间集成一些公司内组件的时候发现它依赖 nghttp2 。正好之前一直有给我的构建工具(cmake-toolset)里的构建 curl 的流程加 HTTP/2 和 HTTP/3 的计划。 所以这波一次性搞定了。

首先,curl 是支持多种第三方库作为 HTTP/2 和 HTTP/3(QUIC)算法库的。比如 nghttp3+ngtcp2,或者微软家 msquic,或者Google家 quiche。 其中HTTP/3只能选一个,互相是冲突的。而Google的quiche官方仅有对bazel构建系统的支持,而我的cmake-toolset是cmake生态的。 这里选用 nghttp3+ngtcp2 的组合,主要是为了和其他的模块共享依赖。

另外无论选哪一个HTTP/2 和 HTTP/3(QUIC)算法库,都需要SSL层支持quic算法。那目前官方版本的 openssl 是不支持的。我们可以选用 quictls版本的openssl 或者 boringssl。 其中 quictls版本的openssl 对一些非Google系的开源库支持性更好一些。在 cmake-toolset 中两种都支持,但是我们首选 quictls版本的openssl

nghttp2,nghttp3ngtcp2的依赖关系是 ngtcp2依赖nghttp3nghttp2依赖ngtcp2。由于 cmake-toolset 中增加第三方库的流程已经比较成熟了,所以加这些组件的编译流程并不是什么难事。但是最后集成这个几个库组合起来的时候,还是碰到了一些问题。

nghttp2,nghttp3,ngtcp2构建流程的一些问题

nghttp2,nghttp3ngtcp2的工程结构很相似,所以问题点也很相似。

首先是我们需要让他们使用我们自己的 openssl 库。它们的构建脚本都可以让我们自己指定 openssl 的位置。在使用 boringssl 的时候,因为使用了非标准的老式引入方式(非cmake CONFIG模式),我们指定 -DBORINGSSL_LIBRARIES=<libraries> 的时候包含多个库文件。 我们的构建系统辅助接口传入到 cmake 的 cmake_parse_arguments 接口的时候始终会被拆成多个参数。比如我们设置 -DBORINGSSL_LIBRARIES=a;b ,传入到 cmake_parse_arguments 接口的时候一定会被拆分成 -DBORINGSSL_LIBRARIES=ab ,无论我用是否加转义。这里借鉴了官方 Moudle ExternalProject 的方式,加了一个类似 LIST_SEPARATOR 的选项,在接口里层做转换。

其次 nghttp2,nghttp3ngtcp2 的构建流程中,都是通过一个宏来控制他们是否是输出的静态库( NGHTTP2_STATICLIBNGHTTP3_STATICLIBNGTCP2_STATICLIB )。 这些宏和符号导出标记和可见性相关,我们是需要编译时和链接时保持一致的,否则可能会链接的时候符号找不到。 如果按照cmake CONFIG的标准模式来,这些宏应该在install的时候导出到CONFIG文件里,这样下游模块链接的时候就能自动加上这个宏。 但是这几个库的cmake构建脚本都没有根据当前构建的库的类型来处理宏的导出,所以这里我们也需要适配处理一下。而且这里要注意既要在编译时按需加上这些宏,也需要Patch install后的imported target来设置PUBLIC definition 。

另外 nghttp2的构建碰到了一个兼容性问题,它在输出的头文件里直接使用了 ssize_t 这个类型,但是有些平台中,这个类型是不存在的,所以也需要处理适配添加一下。

最后的构建脚本如下:

  • https://github.com/atframework/cmake-toolset/blob/main/ports/nghttp2/nghttp2.cmake
  • https://github.com/atframework/cmake-toolset/blob/main/ports/ngtcp2/nghttp3.cmake
  • https://github.com/atframework/cmake-toolset/blob/main/ports/ngtcp2/ngtcp2.cmake

curl 的Future检测问题

最后在接入到 curl 的时候也碰到了几个问题,基本上都是导致 curl 检测 nghttp2,nghttp3ngtcp2 失败而最终导致没开开启 HTTP/2 和 HTTP/3(QUIC) 。

一方面针对于上面提到的 nghttp2,nghttp3,ngtcp2 的静态库宏问题和 ssize_t 类型的问题,我也推了个PR到 curl ( https://github.com/curl/curl/pull/10364 )去适配,还需要等维护者进一步Review之后可能才会合入。目前我在 cmake-toolset 里写了 Patch 文件( https://github.com/atframework/cmake-toolset/blob/main/ports/libcurl/libcurl-7.87.patch )来适配。

另外还碰到在Windows平台上,curl 缺失链接了几个 openssl 依赖的系统库,导致检测依赖库的时候链接失败而检测失败,这些库也是补上就好了。整体来说 curl 的整个工程质量还是很高的。

最后

至此,整个适配接入就完成了,可能哪天有空了也我可以试着接入一下 msquic ,这样可选项就更多了。

也欢迎有兴趣的小伙伴互相交流研究。