惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

WordPress大学
WordPress大学
Cyberwarzone
Cyberwarzone
The GitHub Blog
The GitHub Blog
云风的 BLOG
云风的 BLOG
P
Proofpoint News Feed
小众软件
小众软件
Recent Announcements
Recent Announcements
博客园 - 三生石上(FineUI控件)
Security Archives - TechRepublic
Security Archives - TechRepublic
W
WeLiveSecurity
Cloudbric
Cloudbric
博客园 - 司徒正美
美团技术团队
N
News and Events Feed by Topic
Exploit-DB.com RSS Feed
Exploit-DB.com RSS Feed
PCI Perspectives
PCI Perspectives
宝玉的分享
宝玉的分享
H
Help Net Security
H
Hackread – Cybersecurity News, Data Breaches, AI and More
Google DeepMind News
Google DeepMind News
Help Net Security
Help Net Security
Last Week in AI
Last Week in AI
S
Schneier on Security
N
News | PayPal Newsroom
B
Blog RSS Feed
L
LINUX DO - 最新话题
T
Troy Hunt's Blog
S
Secure Thoughts
雷峰网
雷峰网
aimingoo的专栏
aimingoo的专栏
L
Lohrmann on Cybersecurity
G
Google Developers Blog
Microsoft Azure Blog
Microsoft Azure Blog
Hacker News - Newest:
Hacker News - Newest: "LLM"
T
Tenable Blog
S
Securelist
L
LangChain Blog
Recent Commits to openclaw:main
Recent Commits to openclaw:main
I
InfoQ
H
Heimdal Security Blog
Cisco Talos Blog
Cisco Talos Blog
F
Full Disclosure
Y
Y Combinator Blog
酷 壳 – CoolShell
酷 壳 – CoolShell
K
Kaspersky official blog
T
Tailwind CSS Blog
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
阮一峰的网络日志
阮一峰的网络日志
C
Cisco Blogs

博客园_首页

Linux实操--组管理、权限管理和定时任务 Java + EasyExcel 实现单个接口导出多个Excel Mem0 源码解析系列(二):提示词工程的深度剖析 Openclaw TaskFlow究竟是什么?和普通Skill技能有什么区别 博文阅读密码验证 - 博客园 嘉立创开源:应该是全网MicroPython教程最多的开发板 Hermes Agent 集成实践:从协议到生产 2026年AI编程工具横评:Cursor、Codex、Claude Code、Zed、Windsurf Java程序员必看的RAG入门教程 2026 AI效率神器:Superpowers + Claude Code 保姆级教程 本地大模型部署全攻略:从 0 到 1 玩转 Ollama 【从0到1构建一个ClaudeAgent】内存管理-上下文压缩 .NET 高级开发 | 设计、实现一个事件总线框架 电子小白入门之NE555 3. WorkBuddy:隐藏玩法,一键召唤专家,让 AI 以"专家身份"给你干活 和AI一起搞事情#3:Claude Teammate 游戏开发翻车实录 【OpenClaw】通过 Nanobot 源码学习架构---(7)Memory C# .NET 周刊|2026年3月3期 我在 Debian 11 上把 K8s 单机搭起来了,过程没你想的那么顺(/opt 目录版) 深度学习进阶(七)Data-efficient Image Transformer CLI+Skill搭建浏览器AI自动化框架,告别一切重复枯燥任务 告别Token账单无底洞:OpenClaw本地部署,重塑企业数据主权的唯一解 FastAPI+Vue:文件分片上传+秒传+断点续传,这坑我帮你踩平了! SBTI 爆火后,我做了个程序员版的 CBTI。。已开源 + 附开发过程 多模态检索开始进入工程期:用 Sentence Transformers 搭建可落地的 Multimodal RAG 100多行代码实现一个最简单的Agent(用ReAct) Claude Code 通关手册(八):推荐 5 个 Hooks,代码质量提升 3 倍 老板:“有人截图了!”。安全部门:“收到,马上查暗水印!” - why技术 技术之外,皆是人间 C#/.NET/.NET Core技术前沿周刊 | 第 69 期(2026年4.01-4.12) Snack JSONPath 项目架构分析 Claude Code Buddy 小析:一个非核心功能,如何体现产品的细节完成度 AI新时代下的图床管理方案-Cloudflare图床+MCP+Skills方案指南 化繁为简:顺丰速运App如何通过 HarmonyOS SDK实现专业级空间测量 从零实现富文本编辑器#13-React非编辑节点的内容渲染 AI开发-python-langchain框架(3-23-OpenAI Functions风格Tool Calling智能助手) .NET + AI 进阶实战:基于类的技能开发 - 打造可治理的 Agent 能力模块 【从0到1构建一个ClaudeAgent】规划与协调-技能 上周热点回顾(4.6-4.12) 电子小白的工具三件套:面包板、杜邦线、万能板 单表五亿数据的查询优化 | Mysql、StarRocks 2. WorkBuddy:从“我是谁”到“帮我干活” C# 如何减少代码运行时间:7 个实战技巧 基于HelixToolkit.SharpDX 渲染3D模型 - 笺上知微 从零开始的双臂具身VLA起源及现阶段发展综述 - SkyXZ 记对 xonsh shell 的使用, 脚本编写, 迁移及调优 - pluvium27 受够了Vibe Coding的失控?换个起点,让AI事半功倍 从开始配置漏洞环境到漏洞复现流程 - 難しい 关于10年工作经验的程序员对OpenClaw的实战经验分享以及看法 - 虚无境 Any metadata 的内存布局 C# .NET 周刊|2026年3月2期 - InCerry 我帮你测过了,测试圈排名第二的 Skill 依然很牛逼 Skill Discovery | 无监督技能发现的经典工作总结 - MoonOut PbootCMS 网站内容数量多导致访问慢?这些实用优化方案帮你提速! - 家兴网络技术工作室 上下文工程是什么?过时了么?一文讲明白! - 一枫说码 网站漏洞怎么发现并修复?一篇实用指南(附完整流程) - 家兴网络技术工作室 开了 TUN 模式还是直连?90% 的人都踩过这个坑 Github日报|2026年04月12日 - AI一族 AScript扩展多种脚本语言 - rockey627 AI 学习笔记:Agent 的记忆机制 你能被装进一个文件里吗?——7 万人把同事"蒸馏"成了 AI - 我没有三颗心脏 Claude Code 通关手册(七):给 AI 装上技能包——Skills 完全指南 - 暮色之狐 在浏览器中快速编辑代码:VSCode Web 集成实践 - Newbe36524 蒸馏自己 skill?基于 Deepseek 的蒸馏器,丐版蒸馏方式,简单便捷 - To_Carpe_Diem Spring AI Aliababa和AgentScope,哪个更好? - 苏三说技术 Etsy 把 1000 个 MySQL 分片迁进 Vitess:425TB 数据背后的真正问题不是性能,而是运维规模 MicroPython LVGL基础知识和概念:底层渲染与性能优化 - FreakStudio 数据库草图算法 Python 潮流周刊#146:CPython 引入 Rust 的进展 - 豌豆花下猫 最小生成树 - mofei1116 红日靶场七:从外网入口、容器逃逸到 AD 接管的完整利用链复盘 - YouDiscovered1t 分享四款开源且实用的 Kafka 管理工具 - 追逐时光者 vLLM 权重加载机制全解析:从挑战到理想架构 LCT 学习笔记 - ACehomoxue Avalonia UI 12.0.0 正式发布:架构演进和性能飞跃 - 张善友 当 AI Agent 把调用链拉长,延迟开始成为一门生意 conhost.exe 无法显示 U+2717 - 145a 太秀了,我把自己蒸馏成了 Skill!已开源 - 程序员鱼皮 ASP.NET Core 内存缓存实战:一篇搞懂该怎么配、怎么避坑 基于 Ghostty 带有分割标签页和为 Claude 编程设计的通知终端 - BugShare AI 焊死入口:教育的“操作系统级”重塑 - 郝hai 初级Java开发工程师使用sql脚本编写代码的过程是简单而且不糊涂 - CoderOilStation Claude Code通关手册(六):MCP协议完全指南 - 暮色之狐 边框灯光环绕动画特效实现指南 - Newbe36524 开源:子木蒸馏版的 SEO 审计工具 seo-audit-skill v1.0 我所理解的Python元模型 【从0到1构建一个ClaudeAgent】规划与协调-TodoWrite - 程序员Seven Claude 和 Codex 在审计 Skill 上性能差异探究 - ACai_sec AScript如何实现中文脚本引擎 - rockey627 【渗透测试】HTB Season10 Garfield 全过程wp - dynasty_chenzi Android 开发者为什么必须掌握 AI 能力?端侧视角下的技术变革 树状数组正确性证明 - AC-wyr 你的 AI 焦虑,可能比 AI 本身更危险——ATM 机没有消灭银行柜员,但恐慌消灭了你的判断力 - 我没有三颗心脏 一个拉胯的分库分表方案有多绝望?整个部门都在救火! - 冰河团队 动态规划入门必学之走方格问题 - Ofnoname PostgREST 与 PostgreSQL 角色权限配置全解析(生产级实践) - SheepDog1998 使用 UEFI 图形输出协议 GOP 在屏幕上显示图像的方法 - 阿源- Claude Code通关手册(五):组建你的AI专家团队,子代理系统 - 暮色之狐 一个程序员到架构师的催婚路之感悟(整整10年后的催婚相亲感悟) - MisterLip 用 Agent Skill 自动生成工作周报 - 赵康
ElasticSearch中的索引模板详解
huangSir-dev · 2026-04-23 · via 博客园_首页

概述

索引模板(Index Template)是Elasticsearch中预先定义的一组配置,在创建新索引时自动应用匹配规则的配置,无需每次手动指定。它可以帮助你统一管理索引的设置(settings)、映射(mappings)和别名(aliases)。

其核心作用如下:

  • 标准化配置:统一同一类索引的分片数、副本数、刷新间隔等设置
  • 自动映射:提前定义字段类型、分词器、是否索引等属性,避免动态映射产生错误
  • 简化操作:创建索引时自动应用配置,无需每次重复写参数
  • 生命周期管理:配合ILM(索引生命周期管理)实现索引的自动轮转、删除等操作

从Elasticsearch 7.8版本开始,引入了可组合索引模板(Composable Index Template) 和 组件模板(Component Template),同时兼容旧版模板(Legacy Index Template):

类型 版本支持 核心结构 优势 劣势
可组合模板(Composable) 7.8+(推荐) 组件模板 + 索引模板 配置复用、易维护、支持多租户、适配数据流 学习成本略高
旧版模板(Legacy) 7.x 兼容 单一配置结构 简单直接 无法复用、复杂场景难维护、8.x 逐步淘汰

⚠️ 注意:旧版模板在8.x版本中已经被移除,建议7.x版本开始使用新的可组合模板体系

为什么需要索引模板?
ES的索引创建默认会自动推断字段类型(动态mapping),但生产环境往往需要统一规范:

  • 所有日志类索引统一设置1分片1副本,不需要每次创建索引手动指定
  • 所有字符串类型字段默认同时创建text(全文检索)和keyword(精确匹配)两个类型
  • 所有时间字段统一用date类型,指定时间格式
  • 业务专有字段统一使用IK分词器如果不用模板,每次创建新索引都要手动写一遍配置,不仅麻烦还容易出错,尤其适合按时间滚动的索引场景(比如日志、监控指标,每天/每小时生成一个新索引:log-2026.04.20、metric-2026.04.20)。

旧版索引模板创建实战案例

旧版索引模板比较简单粗暴,它是直接为一类索引定义了一个模板,后续直接使用即可

创建一个日志场景的索引模板

# 请求
PUT _template/log_template_test
{
  "index_patterns": ["log-*"],
  "order": 1,
  "settings": {
    "number_of_shards": 3,
    "number_of_replicas": 1,
    "refresh_interval": "30s"
  },
  "mappings": {
    "properties": {
      "@timestamp": {
        "type": "date",
        "format": "yyyy-MM-dd HH:mm:ss||epoch_millis"
      },
      "message": {
        "type": "text",
        "analyzer": "ik_max_word",
        "search_analyzer": "ik_smart"
      },
      "level": { "type": "keyword" },
      "service_name": { "type": "keyword" }
    }
  },
  "aliases": {
    "logs_all": {}
  }
}

# 参数解析
log_template_test:索引模板名称
index_patterns:指定模板匹配规则,所有名字以 log- 开头的索引(比如 log-2025-01-01、log-app-123)自动应用这个模板
order:模板优先级,数字越大优先级越高。如果多个模板匹配同一个索引,order 大的覆盖小的
settings:指定索引设置
number_of_shards:索引主分片数量
number_of_replicas:索引副本分片数量
refresh_interval:数据写入后,30 秒后才可以被搜索到,调大提升写入性能,调小提升实时性
mappings:指定字段映射规则,定义每个字段的类型、分词、格式,相当于给数据建表结构
aliases:给所有匹配该模板的索引自动绑定别名,不用管索引是 log-2025-01 还是 log-2025-02,直接查询 logs_all 就能查所有日志

查看旧版本索引模板

# 查看索引的索引模板
GET _template

# 查看指定的索引模板
GET _template/log_template_test
# 响应
{
  "log_template_test" : {
    "order" : 1,
    "index_patterns" : [
      "log-*"
    ],
    "settings" : {
      "index" : {
        "number_of_shards" : "3",
        "number_of_replicas" : "1",
        "refresh_interval" : "30s"
      }
    },
    "mappings" : {
      "properties" : {
        "@timestamp" : {
          "format" : "yyyy-MM-dd HH:mm:ss||epoch_millis",
          "type" : "date"
        },
        "level" : {
          "type" : "keyword"
        },
        "service_name" : {
          "type" : "keyword"
        },
        "message" : {
          "search_analyzer" : "ik_smart",
          "analyzer" : "ik_max_word",
          "type" : "text"
        }
      }
    },
    "aliases" : {
      "logs_all" : { }
    }
  }
}

旧版本索引模板的删除和更新

// 更新模板:和创建语法一样,覆盖原有配置即可
PUT _template/log_template_test
{
  // 新的配置
}
// 删除模板
DELETE _template/log_template_test

创建索引测试

# 创建一个符合规则的索引测试
PUT log-2026.04.20

# 查看索引结构
GET log-2026.04.20
# 响应,能够看到符合我们的索引模板结构
{
  "log-2026.04.20" : {
    "aliases" : {
      "logs_all" : { }
    },
    "mappings" : {
      "properties" : {
        "@timestamp" : {
          "type" : "date",
          "format" : "yyyy-MM-dd HH:mm:ss||epoch_millis"
        },
        "level" : {
          "type" : "keyword"
        },
        "message" : {
          "type" : "text",
          "analyzer" : "ik_max_word",
          "search_analyzer" : "ik_smart"
        },
        "service_name" : {
          "type" : "keyword"
        }
      }
    },
    "settings" : {
      "index" : {
        "routing" : {
          "allocation" : {
            "include" : {
              "_tier_preference" : "data_content"
            }
          }
        },
        "refresh_interval" : "30s",
        "number_of_shards" : "3",
        "provided_name" : "log-2026.04.20",
        "creation_date" : "1776751447902",
        "number_of_replicas" : "1",
        "uuid" : "DPR1wHFMRJuOUdHs-ZI-Hw",
        "version" : {
          "created" : "7172699"
        }
      }
    }
  }
}

新版本索引模板实战案例

新版本索引模板是在ES7.8版本开始引入的,新版本索引模板又称为可组合索引模板,其主要有以下部分组成:

  • 组件模板
  • 可组合索引模板
  • 优先级规则

接下来我们一个一个讲解

组件模板

组件模板是可复用的配置单元,通常按功能拆分,比如:

  • 通用设置组件:配置分片数、副本数
  • 通用映射组件:配置的类型和分词器
  • 别名组件:配置统一的查询别名

创建各类型组件模板

  • 通用设置组件
PUT _component_template/settings-component-test
{
  "template": {
    "settings": {
      "number_of_shards": 3,
      "number_of_replicas": 1,
      "refresh_interval": "30s"
    }
  }
}

# 参数解析
settings-component-test:组件模板名称
number_of_shards:主分片数量
number_of_replicas:副本分片数量
refresh_interval:数据写入后,30 秒后才可以被搜索到,调大提升写入性能,调小提升实时性
  • 通用映射组件
PUT _component_template/mappings-component-test
{
  "template": {
    "mappings": {
      "properties": {
        "@timestamp": { "type": "date" },
        "message": { "type": "text", "analyzer": "standard" },
        "host": { "type": "keyword" },
        "level": { "type": "keyword", "index": false }
      }
    }
  }
}
  • 通用别名组件
PUT _component_template/aliases-component-test
{
  "template": {
    "aliases": {
      "all_logs": {}
    }
  }
}

组件模板其它运维操作

  • 查询组件模板
# 查询所有组件模板
GET _component_template

# 查询指定的组件模板
GET _component_template/settings-component-test
# 响应结果
{
  "component_templates" : [
    {
      "name" : "settings-component-test",
      "component_template" : {
        "template" : {
          "settings" : {
            "index" : {
              "number_of_shards" : "3",
              "number_of_replicas" : "1",
              "refresh_interval" : "30s"
            }
          }
        }
      }
    }
  ]
}
  • 删除组件模板
# 删除组件模板
DELETE _component_template/settings-component-test
  • 修改组件模板
# 修改组件模板
PUT _component_template/settings-component-test
{
  "template": {
    "settings": {
      "number_of_shards": 3,
      "number_of_replicas": 1,
      "refresh_interval": "20s"
    }
  }
}

可组合索引模板

可组合索引模板是真正给创建索引时使用的,其由三部分组成:

  • 匹配规则:index_patterns 定义哪些索引会匹配这个模板,支持通配符,比如"logs-*"
  • 优先级:priority 数值越大优先级越高,当多个模板匹配同一个索引时,高优先级的模板生效
  • 配置来源:
    • composed_of:引用的组件模板列表,按顺序叠加配置
    • template:直接在索引模板中定义的配置,优先级高于引用的组件模板

创建一个可组合索引模板

创建日志索引模板,匹配 logs-* 索引,组合上述组件模板,并补充个性化配置。

PUT _index_template/logs-template-test
{
  "index_patterns": ["logs-*"],
  "priority": 200,
  "composed_of": ["settings-component-test", "mappings-component-test", "aliases-component-test"],
  "template": {
    "mappings": {
      "properties": {
        "error_code": { "type": "integer" }
      }
    }
  },
  "version": 1,
  "_meta": {
    "description": "日志索引模板,组合通用组件模板,补充错误码字段"
  }
}

# 参数解析
index_patterns:匹配索引名称的通配符规则
priority:类似旧版本的order字段,模板优先级,数字越大优先级越高。如果多个模板匹配同一个索引,priority 大的覆盖小的,默认值100.
composed_of:引用的组件模板名称列表。
template:直接定义索引模板里的配置,与组件模板互为补充,但是其优先级比引用的组件模板高。
version:定义索引模板的版本
_meta:索引模板的元数据信息

查看新版本索引模板

# 查看所有的
GET _index_template

# 查看指定的
GET _index_template/logs-template-test
# 响应
{
  "index_templates" : [
    {
      "name" : "logs-template-test",
      "index_template" : {
        "index_patterns" : [
          "logs-*"
        ],
        "template" : {
          "mappings" : {
            "properties" : {
              "error_code" : {
                "type" : "integer"
              }
            }
          }
        },
        "composed_of" : [
          "settings-component-test",
          "mappings-component-test",
          "aliases-component-test"
        ],
        "priority" : 200,
        "version" : 1,
        "_meta" : {
          "description" : "日志索引模板,组合通用组件模板,补充错误码字段"
        }
      }
    }
  ]
}

新版本索引模板的删除和更新

// 更新模板:和创建语法一样,覆盖原有配置即可
PUT _index_template/logs-template-test
{
  // 新的配置
}
// 删除模板
DELETE _index_template/logs-template-test

创建一个索引测试

# 创建索引
PUT logs-20260423

# 查看索引
GET logs-20260423
# 响应
{
  "logs-20260423" : {
    "aliases" : {
      "all_logs" : { }
    },
    "mappings" : {
      "properties" : {
        "@timestamp" : {
          "type" : "date"
        },
        "error_code" : {
          "type" : "integer"
        },
        "host" : {
          "type" : "keyword"
        },
        "level" : {
          "type" : "keyword",
          "index" : false
        },
        "message" : {
          "type" : "text",
          "analyzer" : "standard"
        }
      }
    },
    "settings" : {
      "index" : {
        "routing" : {
          "allocation" : {
            "include" : {
              "_tier_preference" : "data_content"
            }
          }
        },
        "refresh_interval" : "20s",
        "number_of_shards" : "3",
        "provided_name" : "logs-20260423",
        "creation_date" : "1776913760315",
        "number_of_replicas" : "1",
        "uuid" : "x8sk4JoCQ4C4QFcQe0YnkQ",
        "version" : {
          "created" : "7172699"
        }
      }
    }
  }
}

动态模板

动态模板是自定义未知字段的映射规则,解决默认动态映射的不确定性(如字符串被自动设为 text + keyword,浪费资源)

创建动态模板示例

所有字符串字段自动映射为 keyword,以 env_ 开头的字段不索引,减少存储开销。

# 在索引模板的 mappings 中定义动态模板

PUT _index_template/dynamic-logs-template-test
{
  "index_patterns": ["logs-*"],
  "template": {
    "mappings": {
      "dynamic_templates": [
        {
          "string_as_keyword": {
            "match_mapping_type": "string",
            "mapping": { "type": "keyword" }
          }
        },
        {
          "env_fields": {
            "match": "env_*",
            "mapping": { "type": "keyword", "index": false }
          }
        }
      ],
      "properties": {
        "@timestamp": { "type": "date" }
      }
    }
  }
}

匹配规则说明:

匹配规则 说明 示例
match_mapping_type 匹配字段类型 match_mapping_type: "string"
match 匹配字段名前缀 / 后缀 match: "env_*"(匹配 env_name、env_type)
unmatch 排除字段名 unmatch: "env_desc"
path_match 匹配对象路径 path_match: "user.*"(匹配 user.name、user.age)
match_pattern 匹配模式(regex/wildcard) match_pattern: "regex", match: "user_[0-9]+"

索引模板与索引生命周期管理(ILM)集成

索引生命周期管理(ILM)详解

ILM(Index Lifecycle Management) 是 ES 7.x 用于自动管理时序类索引(日志、指标、事件) 从创建、写入、查询、归档到删除全流程的核心功能,核心价值是自动实现热温冷架构、节省存储成本、优化性能、免人工运维。

ILM 通过定义 生命周期策略(Policy),让 ES 自动判断索引 “年龄、大小、文档数”,驱动索引在不同阶段流转,并执行滚动、收缩、合并、迁移、删除等操作

适用于日志(logs-)、监控指标(metrics-)、事件(events-*)等只追加、少更新、查询热度随时间递减的数据。

ILM核心三要素:

  • 生命周期策略(Policy):ILM 的 “规则手册”,定义阶段、触发条件、执行动作。
  • 索引模板(Index Template):将 Policy 绑定到索引,新创建的匹配索引自动应用。
  • 索引 / 数据流(Data Stream):被管理的对象,数据流更适合时序场景(7.x 推荐)

ILM 五大生命周期阶段(Phases)详解

ILM把索引的生命周期分为五个阶段: Hot → Warm → Cold → Frozen → Delete 顺序流转,每个阶段有明确定位、触发条件和允许动作

每个阶段之间的流转是有固定规则的:

  • 流转依据:min_age(最小年龄),从 索引创建时间 或 Rollover 时间 计算。
  • 流转条件:当前阶段所有动作执行完成 + 达到下一阶段 min_age。
  • 顺序固定:只能按 Hot→Warm→Cold→Frozen→Delete 单向流转,不可回退

Hot阶段(热阶段)—— 核心写入 + 高频查询

这个阶段是索引刚创建完成且数据正在写入、实时高频查询,数据最活跃

  • 定位:索引正在写入、实时高频查询,数据最活跃。
  • 硬件:高性能 SSD 节点、高内存、高 CPU。
  • 默认触发:索引创建即进入(min_age: 0ms)。
  • 核心目标:保障写入性能、稳定查询、触发滚动(Rollover)。
  • 常用动作:
    • rollover(核心):索引达阈值自动切新索引
    • set_priority:设高优先级(如 100)
    • unfollow:跨集群复制场景取消跟随

Warm 阶段(温阶段)—— 只读 + 中频查询

这个阶段索引中数据不再写入,仅用于查询

  • 定位:停止写入、仍频繁查询,数据不再更新。
  • 硬件:普通 SATA/HDD 节点、中等配置。
  • 触发:Rollover 后或达到指定时长(如 7 天)。
  • 核心目标:优化存储、提升查询效率、降资源占用。
  • 常用动作:
    • readonly:设为只读,防误写
    • forcemerge:合并段文件,删删除标记
    • shrink:收缩主分片(如 5→1)
    • allocate:迁移到温节点、降副本数
    • set_priority:降优先级(如 50)

Cold 阶段(冷阶段)—— 极少查询 + 归档

这个阶段查询很少,但是数据仍需保留一段时间

  • 定位:不写、极少查询,需保留但允许慢查询。
  • 硬件:廉价大容量存储、低配置节点。
  • 触发:进入 Warm 后 N 天(如 30 天)。
  • 核心目标:极致省存储、最小化资源占用。
  • 常用动作:
    • allocate:迁冷节点、副本数设 0
    • freeze:冻结索引(卸载内存、只读)
    • searchable_snapshot:转为可搜索快照(7.10+)
    • set_priority:最低优先级(如 0)

Frozen 阶段(冻结阶段,7.7+)—— 超冷归档

  • 定位:几乎不查询、必须留存,查询极慢也可接受。
  • 硬件:对象存储 / 远程仓库,几乎不占本地资源。
  • 触发:进入 Cold 后 N 天(如 60 天)。
  • 核心动作:searchable_snapshot(基于快照搜索,本地几乎不占资源)

Delete 阶段(删除阶段)—— 数据销毁

  • 定位:数据过期、无需留存,安全删除。
  • 触发:进入前一阶段后 N 天(如 90 天)。
  • 核心动作:delete:永久删除索引 + 数据。
  • 可选:wait_for_snapshot:先备份快照再删

实战案例

创建ILM策略

描述:
Hot:50GB 或 7 天 Rollover
Warm:Rollover 后 1 天进入,缩分片、合并段
Cold:Warm 后 30 天进入,降副本、迁冷节点
Delete:Cold 后 60 天删除(总留存 90 天)

PUT _ilm/policy/logs_ilm_policy
{
  "policy": {
    "phases": {
      // 1. Hot 阶段:写入+滚动
      "hot": {
        "min_age": "0ms",
        "actions": {
          "set_priority": { "priority": 100 }, // 高优先级
          "rollover": {
            "max_primary_shard_size": "50gb", // 主分片达50GB滚动
            "max_age": "7d"                   // 或7天滚动
          }
        }
      },
      // 2. Warm 阶段:只读+优化
      "warm": {
        "min_age": "1d", // Rollover后1天进入
        "actions": {
          "set_priority": { "priority": 50 },
          "readonly": {}, // 设为只读
          "shrink": { "number_of_shards": 1 }, // 主分片缩为1
          "forcemerge": { "max_num_segments": 1 }, // 合并为1段
          "allocate": {
            "require": { "node_type": "warm" } // 迁到温节点
          }
        }
      },
      // 3. Cold 阶段:归档
      "cold": {
        "min_age": "30d", // 进入Warm后30天
        "actions": {
          "set_priority": { "priority": 0 },
          "allocate": {
            "require": { "node_type": "cold" },
            "number_of_replicas": 0 // 冷数据无副本
          },
          "freeze": {} // 冻结索引
        }
      },
      // 4. Delete 阶段:删除
      "delete": {
        "min_age": "60d", // 进入Cold后60天
        "actions": {
          "delete": {}
        }
      }
    }
  }
}

创建可组合索引模板

  • 创建组件模板
// 组件模板1:Settings(含ILM)
PUT _component_template/logs_settings
{
  "template": {
    "settings": {
      "number_of_shards": 3,
      "number_of_replicas": 1,
      "index.lifecycle.name": "logs_ilm_policy", // 绑定ILM策略
      "index.lifecycle.rollover_alias": "logs-app-write" // 写入别名
    }
  }
}

// 组件模板2:Mappings
PUT _component_template/logs_mappings
{
  "template": {
    "mappings": {
      "properties": {
        "@timestamp": { "type": "date" },
        "message": { "type": "text" },
        "app": { "type": "keyword" },
        "level": { "type": "keyword" }
      }
    }
  }
}
  • 创建可组合索引模板
// 可组合索引模板
PUT _index_template/logs_app_template
{
  "index_patterns": ["logs-app-*"],
  "composed_of": ["logs_settings", "logs_mappings"],
  "priority": 200,
  "version": 1,
  "_meta": { "description": "应用日志索引模板,绑定ILM策略" }
}

ILM常用管理命令

  • 查看ILM
# 查看指定策略
GET _ilm/policy/logs_ilm_policy

# 查看所有策略
GET _ilm/policy
  • 查看索引 ILM 状态
# 查看单个索引ILM详情
GET logs-app-000001/_ilm/explain

# 查看所有索引ILM状态
GET /*/_ilm/explain?human=true
  • 手动触发 Rollover
# 手动触发滚动
POST logs-app-write/_rollover
  • 删除 ILM 策略
DELETE _ilm/policy/logs_ilm_policy