惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

D
Docker
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
Last Week in AI
Last Week in AI
博客园_首页
Microsoft Security Blog
Microsoft Security Blog
Blog — PlanetScale
Blog — PlanetScale
M
MIT News - Artificial intelligence
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
A
About on SuperTechFans
aimingoo的专栏
aimingoo的专栏
V
Visual Studio Blog
Jina AI
Jina AI
N
Netflix TechBlog - Medium
量子位
博客园 - 三生石上(FineUI控件)
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
I
InfoQ
J
Java Code Geeks
T
Tailwind CSS Blog
博客园 - 司徒正美
Stack Overflow Blog
Stack Overflow Blog
阮一峰的网络日志
阮一峰的网络日志
Engineering at Meta
Engineering at Meta
腾讯CDC

博客园 - 田野的羽毛

重新捡起手中的笔 又回来了,南京! 一切还算顺利,远方的你还好吗? 好累,真的好累! A new world, a new life! 还在深圳! 明天就要走了... 毕业典礼7.1 想离去? 未登录词识别方法研究--公布硕士论文最新进展五(2007.4.26) 盖茨VS.乔布斯:左脑和右脑模式的PK(转) 2006中国大学生最佳雇主TOP50排行榜(转) 公布硕士论文最新进展三(2007.3.26) 突然让我想起了以前的面试(转http://blog.163.com/lzy_1920116/blog/) 公布硕士论文最新进展二(2007.3.19) 公布硕士论文最新进展一(2007.3.6) 千万不要死于无知—几条健康忠告(二) 千万不要死于无知—几条健康忠告(一) Google China, Baidu or MSRA STC?(zz:http://bbs.telreading.com/)
对于切分歧义以及识别未登录词的随想--公布硕士论文最新进展...
田野的羽毛 · 2007-04-13 · via 博客园 - 田野的羽毛

我作的论文主要是信息检索用汉语分词算法研究以及实现汉语分词系统。
    最近几天主要工作及进展:
        浏览大量的期刊论文以及硕博士论文   80%
        对自适应汉语分词算法进行相关的改进 95%
        分词系统的整体设计                 90%
        硕士论文撰写                       60% 

        总体进度                           70%

  最近一段时间, 主要忙于算法的改进,以及撰写论文。
  在算法的细节上,增加了数量词的处理,以及增加了部分统计模型以及规则库。
  我研究的自适应算法,在某种程度上是一种仿人的算法,可是仿人的过程中仍需要其他资源、知识的辅助。
词性以及统计模型对分词中识别歧义字段还是有很大帮助的,但是对于未登录词的识别却不能够达到稳定的状态,这还是可以归结于统计学中的大样本并不能对单个个体样本起作用。
  虽然说歧义识别与未登录词识别仍然是一对共生体,一个矛盾体,可是寻求突破的点还是未登录词,现在输入法的词汇在线更新倒是给了我们一个灵感,就是我们对词表的不断更新维护,会使得未登录词识别大大改进,同时的歧义问题也会达到一个比较理想的稳定状态。
  也许,在保证分词效率的同时,对词表的更新维护,以及对系统算法的一个迭代调整,也许是一个我们可赖以解决那对矛盾体的利器。
  当然,一个稳定的分词系统,必须在很多细节上下很多功夫,这个问题的确是不可回避的。