惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

N
Netflix TechBlog - Medium
Blog — PlanetScale
Blog — PlanetScale
Google DeepMind News
Google DeepMind News
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
F
Fortinet All Blogs
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
Stack Overflow Blog
Stack Overflow Blog
人人都是产品经理
人人都是产品经理
H
Hackread – Cybersecurity News, Data Breaches, AI and More
L
LangChain Blog
Microsoft Security Blog
Microsoft Security Blog
Apple Machine Learning Research
Apple Machine Learning Research
Y
Y Combinator Blog
阮一峰的网络日志
阮一峰的网络日志
博客园_首页
IT之家
IT之家
V
V2EX
C
Check Point Blog
MongoDB | Blog
MongoDB | Blog
Last Week in AI
Last Week in AI
B
Blog
J
Java Code Geeks
大猫的无限游戏
大猫的无限游戏
雷峰网
雷峰网

博客园 - amber lee zhao

(武义检察院)sqlplus执行sql脚本 windows下squid安装与配置 缓存服务器 System.Data.OracleClient requires Oracle client software version 8.1.7 or greater. Oracle Listener crash in Windows 【转】Session丢失原因分析 【转】Session丢失问题二 【转】Session丢失问题解决方法一 OracleMembershipProvider、OracleRoleProvider源代码 使用EnterpriseLibrary插入Oracle CLOB数据 使用System.Net.Mail发送邮件 - amber lee zhao 【转】oracle SQL性能优化 DataGridView导出为Excel文件 - amber lee zhao 使用HtmlAgilityPack批量抓取网页数据 OracleMembershipProvider与登录控件使用的技巧 - amber lee zhao 在ASP.NET中使用Quartz.net进行工作调度 结合OracleMembershipProvider开发简单的asp.net应用程序----配置web.config文件 C#版本的OracleMembershipProvider Double-Array Trie分词词典简述 [转] sharpICTCLAS 中在找出所有词组组合时的优化
.net下ICTCLAS原子分词和lucene的Token比较
amber lee zhao · 2007-08-15 · via 博客园 - amber lee zhao

sharpICTCLAS  参考:http://www.cnblogs.com/zhenyulu/archive/2007/04/18/718383.html
Lucene.net 参考:http://incubator.apache.org/lucene.net/

原子分词效率:短句,sharpICTCLAS快;超过1M的数据,Lucene.net快。
Lucene的优势:英文句子处理的好。
sharpICTCLAS的优势:只关注中文。

测试代码:
Lucene.net

static void Main(string[] args)
        
{
            
string sSentence = @"三星SHX-132型号的(手机)1元钱256.89元12.14%百分比12%。";
            StringBuilder sb 
= new StringBuilder();
            
for (int i = 0; i < 10000;i++ )
            
{
                sb.Append(sSentence);
            }


            DateTime start 
= DateTime.Now;
            TestToken(sb.ToString());
            DateTime finished 
= DateTime.Now;
            TimeSpan span 
= finished-start;
            Console.WriteLine(
"耗时:{0}毫秒",span.TotalMilliseconds);
            Console.ReadLine();
        }


        
public static void TestToken(string sSentence)
        
{

            StandardTokenizer tokenizer 
= new StandardTokenizer(new System.IO.StringReader(sSentence));
            Lucene.Net.Analysis.Token next 
= null;


            
while ((next = tokenizer.Next()) != null)
            
{
                
string str = next.TermText();
            }


        }

下一步考虑使用lucene的Token代替ICTCLAS的原子分词函数。

posted on 2007-08-15 12:15  amber lee zhao  阅读(1081)  评论(4)    收藏  举报

刷新页面返回顶部