惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
V
Visual Studio Blog
The GitHub Blog
The GitHub Blog
Apple Machine Learning Research
Apple Machine Learning Research
J
Java Code Geeks
T
Tailwind CSS Blog
大猫的无限游戏
大猫的无限游戏
Jina AI
Jina AI
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
Hugging Face - Blog
Hugging Face - Blog
WordPress大学
WordPress大学
宝玉的分享
宝玉的分享
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
罗磊的独立博客
人人都是产品经理
人人都是产品经理
H
Heimdal Security Blog
Last Week in AI
Last Week in AI
博客园 - 【当耐特】
Cyberwarzone
Cyberwarzone
Google DeepMind News
Google DeepMind News
雷峰网
雷峰网
Hacker News: Ask HN
Hacker News: Ask HN
Webroot Blog
Webroot Blog
Microsoft Azure Blog
Microsoft Azure Blog
MyScale Blog
MyScale Blog
A
About on SuperTechFans
V2EX - 技术
V2EX - 技术
小众软件
小众软件
博客园 - Franky
博客园 - 司徒正美
P
Privacy International News Feed
爱范儿
爱范儿
U
Unit 42
博客园 - 叶小钗
The Hacker News
The Hacker News
C
Check Point Blog
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
Simon Willison's Weblog
Simon Willison's Weblog
N
News and Events Feed by Topic
D
Docker
T
Threatpost
MongoDB | Blog
MongoDB | Blog
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
H
Help Net Security
L
LINUX DO - 最新话题
Security Latest
Security Latest
T
The Exploit Database - CXSecurity.com
S
SegmentFault 最新的问题
A
Arctic Wolf
Spread Privacy
Spread Privacy

美团技术团队

美团 · 技术团队 美团 · 技术团队 美团 · 技术团队 美团 · 技术团队 美团 · 技术团队 美团 · 技术团队 美团发布基于 N-gram 全新模型:嵌入扩展新范式,实现轻量化 MoE 高效进化 2025美团技术年货,「马」上到来 多维创新打造强泛化智能体模型,LongCat-Flash-Thinking-2601技术报告发布 美团 EvoCUA 刷新开源 SOTA,会用电脑还会持续进化的智能体! 美团 LongCat-Flash-Thinking-2601 发布,工具调用能力登顶开源 SOTA! KuiTest:基于大模型通识的 UI 交互遍历测试 AAAI 2026 | 美团技术团队学术论文精选 2025 | 美团技术团队热门技术文章汇总 美团 LongCat-Video-Avatar 正式发布,实现开源 SOTA 级拟真表现 大模型剪枝新范式:先浓缩,再剪枝——DenoiseRotator技术解读 LongCat 上线 AI 生图!精准高效,AI 创作不设限 美团发布 LongCat-Image 图像生成模型,编辑能力登顶开源 SOTA AI Coding与单元测试的协同进化:从验证到驱动 R-HORIZON:探索长程推理边界,复旦NLP&美团LongCat联合提出LRMs能力评测新框架 美团 LongCat 发布 AMO-Bench:突破 AIME 评测饱和困境,重新定义 LLM 数学上限 美团 LongCat Interaction 团队发布大模型交互系统技术报告 WOWService 美团 LongCat 团队发布全模态一站式评测基准 UNO-Bench 美团开源LongCat-Audio-Codec,高效语音编解码器助力实时交互落地 NeurIPS 2025 | 美团技术团队论文精选 LongCat-Flash-Omni正式发布并开源:开启全模态实时交互时代 美团 LongCat 团队发布 VitaBench:基于复杂生活场景的交互式 Agent 评测基准 LongCat-Video 视频生成模型正式发布,探索世界模型的第一步 ICCV 2025 | 美团论文精选及多模态推理竞赛冠军方法分享 从0到1建设美团数据库容量评估系统 可验证过程奖励在提升大模型推理效率中的探索与实践 LongCat-Flash-Thinking 正式发布,更强、更专业,保持极速! 开源 | InfiniteTalk:无限长虚拟人视频生成的新范式 美团正式发布并开源 LongCat-Flash-Chat,动态计算开启高效 AI 时代 美团 M17 团队开源 Meeseeks 评测集:揭秘大模型的“听话”能力 可信实验白皮书系列08:开放式分析引擎 | 附PDF合集 美团智能头盔研发实践系列02:软件功能篇 美团智能头盔研发实践系列01:硬件设计篇 ACL 2025 | 美团技术团队论文精选 美团开源OIBench与CoreCodeBench:揭示大模型编程能力的真实水平 可信实验白皮书系列07:高阶实验工具 开源 | MeiGen-MultiTalk:基于单张照片实现多人互动演绎 可信实验白皮书系列06:观察性研究 JDK高版本特性总结与ZGC实践 可信实验白皮书系列05:准实验 可信实验白皮书系列04:随机轮转实验 可信实验白皮书系列03:随机对照实验 可信实验白皮书系列02:AB实验基础 可信实验白皮书系列01:从0到1的方法论与实践指南 MTGR:美团外卖生成式推荐Scaling Law落地实践 OR算法+ML模型混合推理框架架构演进 ICLR&CVPR 2025美团技术团队论文精选 行为正则化与顺序策略优化结合的离线多智能体学习算法 预测技术在美团弹性伸缩场景的探索与应用 美团技术年货 | 600+页电子书,算法、工程、测试、数据、安全系列大合集 鸿蒙应用签名实操及机制探究 2024 | 美团技术团队热门技术文章汇总 AutoConsis:UI内容一致性智能检测 CIKM 2024 | 美团技术团队精选论文解读 大前端:如何突破动态化容器的天花板? KDD 2024 OAG-Challenge Cup赛道三项冠军技术方案解读 新一代实验分析引擎:驱动履约平台的数据决策 大众点评技术部包揽KDD 2024 OAG-Challenge Cup赛道全部3项冠军 ACL 2024 | 美团技术团队精选论文解读 KDD 2024 | 美团技术团队精选论文解读 基本功 | 一文讲清多线程和多线程同步 小程序可测性能力建设与实践 SIGIR 2024 | 美团技术团队精选论文解读 Spark向量化计算在美团生产环境的实践 CVPR 2024 | 美团技术团队精选论文解读 基于多模态信息抽取的菜品知识图谱构建 DDD在大众点评交易系统演进中的应用 美团外卖基于GPU的向量检索系统实践 美团大规模KV存储挑战与架构实践 基于接口数据变异的App健壮性测试实践 美团技术年货 | 600+页电子书,前端、后端、算法、测试、运维系列大合集 美团RASP大规模研发部署实践总结 2023 | 美团技术团队热门技术文章汇总 美团到店终端从标准化到数字化的演进之路 AIOps在美团的探索与实践——事件管理篇 美团技术博客十周年,感谢一路相伴 基于UI交互意图理解的异常检测方法 如何利用「深度上下文兴趣网络」提升点击率? 基于模式挖掘的可靠性治理探索 代码变更风险可视化系统建设与实践 美团多场景建模的探索与实践 MJDK 如何实现压缩速率的 5 倍提升? 如何提供一个可信的AB测试解决方案 KDD 2023 | 美团技术团队精选论文解读 美团前端研发框架Rome实践和演进趋势 斩获CVPR 2023竞赛2项冠军|美团街景理解中视觉分割技术的探索与应用 MySQL自治平台建设的内核原理及实践(下) CVPR 2023 | 美团技术团队精选论文解读 超大规模数据库集群保稳系列之三:美团数据库容灾体系建设实践 超大规模数据库集群保稳系列之二:数据库攻防演练建设实践 Robust 2.0:支持Android R8的升级版热修复框架 超大规模数据库集群保稳系列之一:高可用系统 一次「找回」TraceId的问题分析与过程思考 基于AI+数据驱动的慢查询索引推荐 SOTA!目标检测开源框架YOLOv6 3.0版本来啦
Docker系列之二:基于容器的自动构建
Puff · 2015-03-10 · via 美团技术团队

自动构建系统是从美团的自动部署系统发展出来的一个新功能。每当开发人员提交代码到仓库后,系统会自动根据开发人员定制的构建配置,启动新的Docker容器,在其中对源代码进行构建(build),包括编译(如Java、C++和Go)、预处理(如Javascript和CSS)、压缩(如图片)等操作,生成最终需要上线的程序包。

美团的代码发布系统有中央控制节点,负责代码的拉取、应用的构建和上传等任务。随着业务的迅速增长,应用发布项的数目和单个发布项的服务器数量也随之增长,中控节点的任务加重,几个问题也变得亟待解决:

  • 不同应用的构建环境在同一个虚拟机上,需要解决环境冲突和隔离的问题
  • 多个应用同时构建会竞争发布机的CPU和IO资源,让构建变慢
  • 应用的构建脚本运行在公共发布机上,脚本的bug可能会影响到发布机的正常运行

例如某次主站(PHP)的发布速度非常慢,调查后发现当时某些Java应用正在编译,占用了大量CPU资源,导致其它应用的发布变慢。

为解决上述问题,我们设计了把应用的构建过程从中央发布机分离出来的方案,并利用Docker作为构建的基础环境。关于Docker的介绍,可以参考《Docker系列之一:入门介绍》这篇文章。

自动构建原理图

首先,开发人员在Stash上配置自动构建,之后的代码提交就会通知自动构建系统。自动构建系统收到通知,找到所有配置了该仓库的发布项,生成构建任务,并把这些任务提交到Django-rq队列。任务的主要配置是YAML格式的自动构建配置文件,该文件类似Dockerfile,但是为了使用方便,只支持少量的关键字,因此比Dockerfile使用更简单。通过该配置文件可指定构建容器使用的镜像,一些环境变量,以及构建命令等。系统从私有的Docker registry获取镜像,并根据YAML配置生成Docker容器,在此容器中完成构建。

从Stash触发自动构建的功能,是从这个项目修改实现的,只需简单配置即可启用自动构建。 Stash上的配置

构建成功的结果会自动上传到美团存储服务(Meituan Storage Service)。当发布人员发布时,就直接从MSS拉取构建好的应用包进行发布,省去了在发布时才进行的编译环节。

为什么用Docker?

为了达到隔离构建环境的目的,应用的构建可以在分别的美团云虚拟机上实现。但是,应用构建有一些特点让Docker在此场景更合适。首先,构建环境都是临时的,每次构建结束后就销毁(也可选择保留)。而我们内部使用的美团云虚拟机是和运维用的配置管理数据库(Configuration Management Database)关联的,新虚拟机会自动部署一些基础环境、监控报警项等,并注册进CMDB,而这些东西对自动构建的系统是多余的。第二,自动构建的系统启停频繁,Docker这样的轻量级容器可以更好地满足快速生成和销毁的需求。因此,自动构建系统是在美团云虚拟机里面运行的Docker容器中进行的。

自动构建很好地解决了文章开头提到的发布系统的三个问题:

  • 自动隔离不同应用的构建环境,无需担忧环境冲突的问题
  • 不同应用的构建容器不必运行在同一台虚拟机,可以分布在多虚拟机的集群上,避免了构建之间的资源竞争,让构建过程更加迅速
  • 任一应用构建的错误不会影响其它应用的构建或者中央发布机的运行

此外,自动构建还有如下两个好处。

首先,预先的主动构建把冗长的构建时间从发布过程省去,让发布人员在发布时耗时更短,既让发布更敏捷迅速,又提升了用户体验。美团在工作日每天的代码发布要上千次,快速的发布过程才能更好地保证业务的迭代过程。

其次,自动构建让构建环境的定制更方便。原来在发布机上构建时,如果需要的依赖在发布机上还没有,就需要给运维人员提需求来进行配置,这个过程不够敏捷。使用自动构建后,开发人员可自行在YAML格式的配置文件指定构建环境。前端开发人员的构建环境往往比较新,需要频繁改变环境,因此支持自定义依赖的自动构建系统受到了前端开发人员的欢迎。

自动构建目前是发布项配置里面的一个可选项,这保持了和原有系统的兼容。自动构建是美团在线上业务中首次使用Docker。我们会持续推进该特性在自动部署系统的使用,最终成为所有发布项的默认配置。

自动构建使用Docker的方式,为我们后续更广泛地使用Docker提供了启发。

第一,将Docker用于开发环境。通过Dockerfile描述测试环境,并维护起测试环境的Docker镜像,可以让开发人员快速搭起来一个统一的开发环境;再结合Vagrant,可以很好地解决研发团队中普遍存在的测试环境搭建麻烦的问题。

第二,将Docker用于应用部署。完成自动构建后,容器中已经有了应用程序包,再加上运行时依赖,即可让这个容器直接提供服务。

未来可以在应用的开发测试,编译构建,和部署运行等三个环节,都使用Docker容器。关于Docker在上述场景的应用,请关注我们博客的后续更新。