版本:lucene-2.0.0
现象:半角日文片假名（ｶﾀｶﾅ）无法正确建立索引
模块:CJKAnalyzer
问题定位:CJKTokenizer.java 148行附近
if (ub == Character.UnicodeBlock.HALFWIDTH_AND_FULLWIDTH_FORMS) {
/** convert HALFWIDTH_AND_FULLWIDTH_FORMS to BASIC_LATIN */
int i = (int) c;
i = i - 65248;
c = (char) i;
}
在该行代码中，执行了全角/半角转换
判断条件为ub == Character.UnicodeBlock.HALFWIDTH_AND_FULLWIDTH_FORMS
转换方式为i = i - 65248;
其中，在Character.UnicodeBlock.HALFWIDTH_AND_FULLWIDTH_FORMS的定义中
全角英文/数字以及半角日文片假名均属于其中
但，实际上只有65281-65374的字符可以通过减去65248来进行转换
半角日文片假名这样做就错了
呵呵，呵呵
lucene.net是否有此问题我尚未检查
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。