惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

SecWiki News
SecWiki News
量子位
The Cloudflare Blog
美团技术团队
T
The Exploit Database - CXSecurity.com
博客园 - 【当耐特】
Spread Privacy
Spread Privacy
P
Proofpoint News Feed
C
CXSECURITY Database RSS Feed - CXSecurity.com
博客园 - 三生石上(FineUI控件)
T
Tor Project blog
博客园 - 司徒正美
宝玉的分享
宝玉的分享
T
Threatpost
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
S
Secure Thoughts
T
Threat Research - Cisco Blogs
Hacker News: Ask HN
Hacker News: Ask HN
Jina AI
Jina AI
博客园 - 聂微东
A
Arctic Wolf
I
Intezer
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
Know Your Adversary
Know Your Adversary
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
爱范儿
爱范儿
Hugging Face - Blog
Hugging Face - Blog
C
Cyber Attacks, Cyber Crime and Cyber Security
小众软件
小众软件
T
Tailwind CSS Blog
The Hacker News
The Hacker News
L
LINUX DO - 最新话题
Hacker News - Newest:
Hacker News - Newest: "LLM"
WordPress大学
WordPress大学
S
SegmentFault 最新的问题
TaoSecurity Blog
TaoSecurity Blog
Project Zero
Project Zero
博客园 - 叶小钗
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
Cloudbric
Cloudbric
雷峰网
雷峰网
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
大猫的无限游戏
大猫的无限游戏
D
Darknet – Hacking Tools, Hacker News & Cyber Security
T
Troy Hunt's Blog
酷 壳 – CoolShell
酷 壳 – CoolShell
V2EX - 技术
V2EX - 技术
The GitHub Blog
The GitHub Blog
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
P
Privacy & Cybersecurity Law Blog

博客园_首页

Linux实操--组管理、权限管理和定时任务 Java + EasyExcel 实现单个接口导出多个Excel Mem0 源码解析系列(二):提示词工程的深度剖析 Openclaw TaskFlow究竟是什么?和普通Skill技能有什么区别 博文阅读密码验证 - 博客园 嘉立创开源:应该是全网MicroPython教程最多的开发板 Hermes Agent 集成实践:从协议到生产 2026年AI编程工具横评:Cursor、Codex、Claude Code、Zed、Windsurf Java程序员必看的RAG入门教程 2026 AI效率神器:Superpowers + Claude Code 保姆级教程 本地大模型部署全攻略:从 0 到 1 玩转 Ollama 【从0到1构建一个ClaudeAgent】内存管理-上下文压缩 .NET 高级开发 | 设计、实现一个事件总线框架 电子小白入门之NE555 3. WorkBuddy:隐藏玩法,一键召唤专家,让 AI 以"专家身份"给你干活 和AI一起搞事情#3:Claude Teammate 游戏开发翻车实录 【OpenClaw】通过 Nanobot 源码学习架构---(7)Memory C# .NET 周刊|2026年3月3期 我在 Debian 11 上把 K8s 单机搭起来了,过程没你想的那么顺(/opt 目录版) 深度学习进阶(七)Data-efficient Image Transformer CLI+Skill搭建浏览器AI自动化框架,告别一切重复枯燥任务 告别Token账单无底洞:OpenClaw本地部署,重塑企业数据主权的唯一解 FastAPI+Vue:文件分片上传+秒传+断点续传,这坑我帮你踩平了! SBTI 爆火后,我做了个程序员版的 CBTI。。已开源 + 附开发过程 多模态检索开始进入工程期:用 Sentence Transformers 搭建可落地的 Multimodal RAG 100多行代码实现一个最简单的Agent(用ReAct) Claude Code 通关手册(八):推荐 5 个 Hooks,代码质量提升 3 倍 老板:“有人截图了!”。安全部门:“收到,马上查暗水印!” - why技术 技术之外,皆是人间 C#/.NET/.NET Core技术前沿周刊 | 第 69 期(2026年4.01-4.12) Snack JSONPath 项目架构分析 Claude Code Buddy 小析:一个非核心功能,如何体现产品的细节完成度 AI新时代下的图床管理方案-Cloudflare图床+MCP+Skills方案指南 化繁为简:顺丰速运App如何通过 HarmonyOS SDK实现专业级空间测量 从零实现富文本编辑器#13-React非编辑节点的内容渲染 AI开发-python-langchain框架(3-23-OpenAI Functions风格Tool Calling智能助手) .NET + AI 进阶实战:基于类的技能开发 - 打造可治理的 Agent 能力模块 【从0到1构建一个ClaudeAgent】规划与协调-技能 上周热点回顾(4.6-4.12) 电子小白的工具三件套:面包板、杜邦线、万能板 单表五亿数据的查询优化 | Mysql、StarRocks 2. WorkBuddy:从“我是谁”到“帮我干活” C# 如何减少代码运行时间:7 个实战技巧 基于HelixToolkit.SharpDX 渲染3D模型 - 笺上知微 从零开始的双臂具身VLA起源及现阶段发展综述 - SkyXZ 记对 xonsh shell 的使用, 脚本编写, 迁移及调优 - pluvium27 受够了Vibe Coding的失控?换个起点,让AI事半功倍 从开始配置漏洞环境到漏洞复现流程 - 難しい 关于10年工作经验的程序员对OpenClaw的实战经验分享以及看法 - 虚无境 Any metadata 的内存布局 C# .NET 周刊|2026年3月2期 - InCerry 我帮你测过了,测试圈排名第二的 Skill 依然很牛逼 Skill Discovery | 无监督技能发现的经典工作总结 - MoonOut PbootCMS 网站内容数量多导致访问慢?这些实用优化方案帮你提速! - 家兴网络技术工作室 上下文工程是什么?过时了么?一文讲明白! - 一枫说码 网站漏洞怎么发现并修复?一篇实用指南(附完整流程) - 家兴网络技术工作室 开了 TUN 模式还是直连?90% 的人都踩过这个坑 Github日报|2026年04月12日 - AI一族 AScript扩展多种脚本语言 - rockey627 AI 学习笔记:Agent 的记忆机制 你能被装进一个文件里吗?——7 万人把同事"蒸馏"成了 AI - 我没有三颗心脏 Claude Code 通关手册(七):给 AI 装上技能包——Skills 完全指南 - 暮色之狐 在浏览器中快速编辑代码:VSCode Web 集成实践 - Newbe36524 蒸馏自己 skill?基于 Deepseek 的蒸馏器,丐版蒸馏方式,简单便捷 - To_Carpe_Diem Spring AI Aliababa和AgentScope,哪个更好? - 苏三说技术 Etsy 把 1000 个 MySQL 分片迁进 Vitess:425TB 数据背后的真正问题不是性能,而是运维规模 MicroPython LVGL基础知识和概念:底层渲染与性能优化 - FreakStudio 数据库草图算法 Python 潮流周刊#146:CPython 引入 Rust 的进展 - 豌豆花下猫 最小生成树 - mofei1116 红日靶场七:从外网入口、容器逃逸到 AD 接管的完整利用链复盘 - YouDiscovered1t 分享四款开源且实用的 Kafka 管理工具 - 追逐时光者 vLLM 权重加载机制全解析:从挑战到理想架构 LCT 学习笔记 - ACehomoxue Avalonia UI 12.0.0 正式发布:架构演进和性能飞跃 - 张善友 当 AI Agent 把调用链拉长,延迟开始成为一门生意 conhost.exe 无法显示 U+2717 - 145a 太秀了,我把自己蒸馏成了 Skill!已开源 - 程序员鱼皮 ASP.NET Core 内存缓存实战:一篇搞懂该怎么配、怎么避坑 基于 Ghostty 带有分割标签页和为 Claude 编程设计的通知终端 - BugShare AI 焊死入口:教育的“操作系统级”重塑 - 郝hai 初级Java开发工程师使用sql脚本编写代码的过程是简单而且不糊涂 - CoderOilStation Claude Code通关手册(六):MCP协议完全指南 - 暮色之狐 边框灯光环绕动画特效实现指南 - Newbe36524 开源:子木蒸馏版的 SEO 审计工具 seo-audit-skill v1.0 我所理解的Python元模型 【从0到1构建一个ClaudeAgent】规划与协调-TodoWrite - 程序员Seven Claude 和 Codex 在审计 Skill 上性能差异探究 - ACai_sec AScript如何实现中文脚本引擎 - rockey627 【渗透测试】HTB Season10 Garfield 全过程wp - dynasty_chenzi Android 开发者为什么必须掌握 AI 能力?端侧视角下的技术变革 树状数组正确性证明 - AC-wyr 你的 AI 焦虑,可能比 AI 本身更危险——ATM 机没有消灭银行柜员,但恐慌消灭了你的判断力 - 我没有三颗心脏 一个拉胯的分库分表方案有多绝望?整个部门都在救火! - 冰河团队 动态规划入门必学之走方格问题 - Ofnoname PostgREST 与 PostgreSQL 角色权限配置全解析(生产级实践) - SheepDog1998 使用 UEFI 图形输出协议 GOP 在屏幕上显示图像的方法 - 阿源- Claude Code通关手册(五):组建你的AI专家团队,子代理系统 - 暮色之狐 一个程序员到架构师的催婚路之感悟(整整10年后的催婚相亲感悟) - MisterLip 用 Agent Skill 自动生成工作周报 - 赵康
用ANTLR实现表达式词法和语法分析器
良村 · 2026-05-14 · via 博客园_首页

需求

易元平台的很多地方都需要表达式,如:字段公式、验证条款、动作的先决条件、视图表的表达式字段、高级查询条件等等。表达式需要支持算术表达式、逻辑表达式、函数表达式以及括号。

旧方案:正则表达式词法分析

在上一代平台采用正则表达式来进行词法分析,词法分析器代码如下:

/// <summary>
/// 文本格式表达式语法分析器
/// </summary>
/// <remarks>
/// @${XXX} - 参变量
/// @XXX - 参数
/// </remarks>
public sealed class LexicalAnalyzer
{
	private static readonly Regex REGEX =
		new Regex( @"\(|\)|/|[\+\-\=]{1,2}|\*|[<>!]=?|('([^']|'')*')|(@\$\{([^\}])*\})|(\$\{([^\}])*\})|[^,\u0000-\u0020'!<>=\-\*\+/\(\)]+",
				  RegexOptions.Compiled | RegexOptions.IgnoreCase );

	private Match match;
	private Match previousMatch;
	private string expression;

	/// <summary>
	/// 初始化 <see cref="LexicalAnalyzer"/> 对象的新实例。
	/// </summary>
	/// <param name="expression">表达式</param>
	public LexicalAnalyzer( string expression )
	{
		this.expression = expression;
	}

	/// <summary>
	/// 当前符号
	/// </summary>
	public string Current
	{
		get { return match.Value; }
	}

	/// <summary>
	/// 上一个符号
	/// </summary>
	public string Previous
	{
		get
		{
			if ( previousMatch != null )
			{
				return previousMatch.Value;
			}
			return String.Empty;
		}
	}

	/// <summary>
	/// 上一个表达式段
	/// </summary>
	public Match PreviousMatch
	{
		get { return previousMatch; }
	}

	/// <summary>
	/// 移动到下一标识
	/// </summary>
	/// <returns></returns>
	public string MoveNext()
	{
		previousMatch = match;
		if ( match == null )
		{
			match = REGEX.Match( expression );
		}
		else
		{
			match = match.NextMatch();
		}

		if ( match.Success )
		{
			return Current;
		}

		return String.Empty;
	}
}

然后将词法分析器切分出的表达式片段进行语法分析处理,得到逆波兰表达式。再根据逆波兰表达式构建出表达式对象。

旧方案的不足

  1. 正则表达式本身的解析效率低。
  2. 无法处理一些高级语法(也许只是我写正则表达式的能力问题),如:字符串的转义字符,负号的处理等等。

新方案:采用ANTLR(语法分析器生成工具)

ANTLR是一款强大的语法分析器生成工具,可用于读取、处理、执行和翻译结构化的文本或二进制文件。它被广泛应用于学术领域和工业生产实践,是众多语言、工具和框架的基石。ANTLR使得语法和语言类应用程序的开发更加容易,只要写好语法规则,ANTLR就可以根据语法规则生成C#语言编写的词法分析器和语法分析器。

ANTLR的最新版是4.13.2,易元平台用的是3.1版本,据官方的说法,4比3更易于使用,语法规则编写更简单。

LL(*)文法

LL(*)可以算是形式语言中介绍的上下文无关文法的子集,具体理论笔者也没有深入研究过,这里直接给出已经写好的语法文件,有兴趣读者可以自行研究。因为是3.1版本,支持语法的友好度不如4版,有些表达写起来比较绕,来来回回摸索了好久。

grammar AntlrExpression;

options{ output=AST; language=CSharp2; ASTLabelType=CommonTree; }

tokens{
	MINUS;
}

expression
	: or_expr
    	;	

or_expr
	: and_expr ( OROR^ and_expr )*
	;
	
and_expr
	: not_expr ( ANDAND^ not_expr )*
	;
	
not_expr
	: NOT^ not_expr | NOT^? logical_expr 
	;
	
logical_expr
	: NOT^? compare_expr
	;

compare_expr
	: like_expr ( ( LT | GT | EQEQ | LE | GE | NE )^ like_expr )?
	;

like_expr
	: in_expr ( LIKE^ in_expr )?
	;
	
in_expr
	: add_expr ( IN^ ( LPAREN! add_expr ( COMMA! add_expr )* RPAREN! | LPAREN! RPAREN!) )?
	;

add_expr  
    	: mul_expr ( ( ADD | SUB )^ mul_expr )*
   	;  
    
mul_expr  
   	: minus_expr ( ( MUL | DIV | MOD )^ minus_expr )*  
   	;

minus_expr
	: atom
	| '-' atom -> ^(MINUS atom)
	;

func_expr
	: ID^ LPAREN! or_expr (COMMA! or_expr)* RPAREN!
	| ID^ LPAREN! RPAREN!
	;
	
atom  
    	: BOOL_TRUE
    	| BOOL_FALSE
    	| NULLNULL
    	| EMPTY
    	| func_expr
    	| INT
    	| UINT
    	| LONG
    	| ULONG 
    	| FLOAT
    	| DOUBLE 
    	| DECIMAL
    	| P
    	| STRING
    	| VAR
    	| LPAREN! expression RPAREN!   
    	;

LPAREN  :   '('  
    ;  
  
RPAREN  :   ')'  
    ; 

COMMA   :   ','
    ;

ADD :   '+'  
    ;  
  
SUB :   '-'  
    ;  
  
MUL :   '*'  
    ;  
  
DIV :   '/'
    ;
    
MOD :   '%'
    ;
    
EQEQ    :   '=='  
    ;  
  
NE  :   '!='  
    ;  
  
LT  :   '<'  
    ;  
  
LE  :   '<='  
    ;  
  
GT  :   '>'  
    ;  
  
GE  :   '>='  
    ;  
  
NOT :   '!'  
    ;  
  
ANDAND  :   '&&'  
    ;  
  
OROR    :   '||'  
    ;  	

P	:	'@' (ID':')? NID;

VAR
	: '${' ('[' JOIN_SEQUENCE ']' | ID'[' JOIN_SEQUENCE ']' | ID':')? ID '}';

fragment
JOIN_SEQUENCE : ( '+' (('f'|'i'|'l'|'r')'!')? ID ('#' ID?)? | '-' (('f'|'i'|'l'|'r')'!')? ID ('#' ID?)? '(' ID ')')+;
    
BOOL_TRUE	: 'true'
		;
		
BOOL_FALSE	: 'false'
		;
		
NULLNULL	: 'null'
		;
		
EMPTY	: 'empty'
		;
		
IN	:	('i'|'I')('n'|'N')
	;

LIKE	:	('l'|'L')('i'|'I')('k'|'K')('e'|'E')
	;
	
ID  :	('a'..'z'|'A'..'Z'|'_') ('a'..'z'|'A'..'Z'|'0'..'9'|'_')*
    ;

INT :	('0'..'9')+
    ;
    
UINT :	'0'..'9'+('U'|'u')
    ;

LONG :	'0'..'9'+('L'|'l')
    ;
    
ULONG :	'0'..'9'+('U'|'u')('L'|'l')
    ;
    
DECIMAL
    :   (('0'..'9')+ '.' ('0'..'9')* EXPONENT? 
    |   '.' ('0'..'9')+ EXPONENT? 
    |   ('0'..'9')+ EXPONENT) ('M'|'m')?
    |   ('0' | '1'..'9' '0'..'9'*)('M'|'m')
    ;

FLOAT
    :   (('0'..'9')+ '.' ('0'..'9')* EXPONENT? 
    |   '.' ('0'..'9')+ EXPONENT? 
    |   ('0'..'9')+ EXPONENT
    |   ('0' | '1'..'9' '0'..'9'*)) ('F'|'f')
    ;

DOUBLE
    :   (('0'..'9')+ '.' ('0'..'9')* EXPONENT? 
    |   '.' ('0'..'9')+ EXPONENT? 
    |   ('0'..'9')+ EXPONENT
    |   ('0' | '1'..'9' '0'..'9'*)) ('D'|'d')
    ;

NID  :	('a'..'z'|'A'..'Z'|'0'..'9'|'_')+
    ;
    
STRING
    :  '"' ( ESC_SEQ | ~('\\'|'"') )* '"'
    ;

fragment
EXPONENT : ('e'|'E') ('+'|'-')? ('0'..'9')+ ;

fragment
HEX_DIGIT : ('0'..'9'|'a'..'f'|'A'..'F') ;

fragment
ESC_SEQ
    :   '\\' ('b'|'t'|'n'|'f'|'r'|'\"'|'\\')
    |   UNICODE_ESC
    |   OCTAL_ESC
    ;

fragment
OCTAL_ESC
    :   '\\' ('0'..'3') ('0'..'7') ('0'..'7')
    |   '\\' ('0'..'7') ('0'..'7')
    |   '\\' ('0'..'7')
    ;

fragment
UNICODE_ESC
    :   '\\' 'u' HEX_DIGIT HEX_DIGIT HEX_DIGIT HEX_DIGIT
    ;

WS  :   (' '|'\t'|'\r'|'\n')+ { Skip(); }     
    ;

ERROR_CHAR : . ; 

生成C#的解析器

ANTLR是用Java编写的,所以要运行ANTLR需要Java运行时。上面的语法文件中已经指明language=CSharp2语言为C#,所以生成时会自动生成AntlrExpressionLexer.cs(词法分析器)和AntlrExpressionParser.cs(语法分析器)两个类。

使用解析器

利用解析器可以把表达式文本分析称表达式Token树,再遍历Token树生成易元平台中的表达式,代码如下图所示:

// 分析表达式文本
private static Expression InnerParse(Kernel kernel, string expressionString)
{
	try
	{
		ICharStream charStream = new ANTLRStringStream(expressionString);
		AntlrExpressionLexer lexer = new AntlrExpressionLexer(charStream);

		CommonTokenStream tokens = new CommonTokenStream(lexer);
		AntlrExpressionParser parser = new AntlrExpressionParser(tokens);
		parser.TreeAdaptor = new CommonTreeAdaptor();
		AstParserRuleReturnScope<CommonTree, IToken> expressionReturn = parser.expression();

		CommonTree tree = expressionReturn.Tree;
		return Create(kernel, null, tree);
	}
	catch(Expression.ExpressionParsePositionException ex)
	{
		// 分析详细错误
		throw new ExpressiveParseException(ex.Message, ex) { Markdown = BuildExceptionMessage(expressionString, ex) };
	}
	catch(Exception ex)
	{
		throw new ExpressiveException(Formatter.String(Resources.Ex_Ea_Expressive_ExpressionParser_ParseError, expressionString), ex);
	}
}

// 创建易元平台的表达式
private static Expression Create(Kernel kernel, Expression parent, CommonTree tree)
{
	try
	{
		Expression expression = TokenMapping.Create(kernel, tree.Token, tree);
		expression.ParseChildren(kernel, parent, tree, Create);
		return expression;
	}
	catch (ExpressiveParseException ex)
	{
		Expression.ExpressionParsePositionException eppe;
		if (TrySyntaxError(tree, Resources.Ex_Ea_Expressive_ExpressionParser_SyntaxError, ex, out eppe))
		{
			// 可以分析细节信息,然后封装后抛出
			throw eppe;
		}
		throw new ExpressiveParseException(Resources.Ex_Ea_Expressive_ExpressionParser_SyntaxError);
	}
}

上面仅列出部分关键代码,代码已在Gitee上开源,查看完整的代码点击这里:ExpressionParser.cs

常规函数和中缀函数

常规函数的形式是:

FunctionName(arg1, arg2, ..., argN)

常规函数可以任意增加,只要函数名符合语法要求即可。

中缀函数是把首个操作数放前面,函数名在中间,形式如下:

arg1 FunctionName(arg2, ..., argN)
// 比如
arg1 In (1, 2, 3)

中缀函数目前只有In和Like,是在语法文件中限定的,不改语法规则文件的话,不能增加中缀函数。后期考虑调整语法规则,增加扩展中缀函数支持。

效果展示

任意表达式计算

表达式计算1

表达式计算2

条件表达式友好配置

条件配置