惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

P
Privacy International News Feed
T
The Exploit Database - CXSecurity.com
Cisco Talos Blog
Cisco Talos Blog
Schneier on Security
Schneier on Security
C
CXSECURITY Database RSS Feed - CXSecurity.com
Simon Willison's Weblog
Simon Willison's Weblog
P
Privacy & Cybersecurity Law Blog
Know Your Adversary
Know Your Adversary
NISL@THU
NISL@THU
Scott Helme
Scott Helme
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
Latest news
Latest news
P
Proofpoint News Feed
P
Palo Alto Networks Blog
K
Kaspersky official blog
I
Intezer
The Last Watchdog
The Last Watchdog
Google DeepMind News
Google DeepMind News
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
小众软件
小众软件
G
GRAHAM CLULEY
Last Week in AI
Last Week in AI
量子位
IT之家
IT之家
F
Full Disclosure
T
Threatpost
Hacker News: Ask HN
Hacker News: Ask HN
W
WeLiveSecurity
Y
Y Combinator Blog
V
V2EX
L
LINUX DO - 热门话题
Martin Fowler
Martin Fowler
月光博客
月光博客
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
D
Docker
Google DeepMind News
Google DeepMind News
博客园 - Franky
M
MIT News - Artificial intelligence
爱范儿
爱范儿
I
InfoQ
C
Cisco Blogs
L
LangChain Blog
J
Java Code Geeks
N
News | PayPal Newsroom
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
Vercel News
Vercel News
Hugging Face - Blog
Hugging Face - Blog
S
Secure Thoughts
A
About on SuperTechFans

博客园 - 网际大鱼

大鱼认为好的牛股排名 让所有的实体店成为网店的体验店 QQ机器人小P隆重发布,QQ号:792892125 带强名的.net程序反向工程后汇编中的问题总结 谁是股市上的最大受益者 利用搜索引擎技术抢注域名 推出网站大鱼搜索 网页生成缩略图程序在win2003下IE控件实例超过10个出现错误的问题 oracle 9i以上最有效率的if(exists)update else insert操作 爬虫如何抓取到Asp.Net中__doPostBack获取新页面的数据 goole CodeSearch 的分页bug 关键词与关键词之间的相关度计算 域名注册,抢注工具编写 超强的ORC控件Asprise OCR补丁发布 QQ存在重大漏洞,用户可以群发小广告,传播病毒 用开源Carrot2的后缀树算法做Web文本聚类 隆重推出PowerDesinger 12.1.0.1913破解补丁 用OCR技术识别验证码---tesseract 用sniffer技术盗取电话银行密码
数据挖掘之web文本自动分类
网际大鱼 · 2007-03-27 · via 博客园 - 网际大鱼

自动分类器利用机器学习原理对网页进行分类。分类器的工作步骤如下:
(1)利用搜狐分类目录的分类样本集进行训练,获得每个分类在特征空间上的聚类中心。
(2)采用用户选择的分类器对接收的文本进行自动分类,并输出结果。
分类器被应用在网页搜索的分类提示功能中。分类提示功能不是简单的关键字叠加。
分类器自动判断出文本所属的分类,然后按分类下结果多少给出提示,帮助用户有效缩小结果集,更精准地找到所需的信息。
百度新闻里有自动分类的新闻,据说准确率能到90%以上.

训练语料:搜狗实验室提供的分类语料精简版,另自己爬了些数据
训练词典:搜狗实验室提供的词典,包含IDF,词性等值

包含大类:房产,汽车,财经,IT,医疗,教育,旅游,体育,招聘,政治,军事

实现算法:

训练,解压搜狗分类语料,对各个类别分别训练,利用我自己变通的KNN算法,得到每种语料的学习结果
分类,给定一篇文本,分词,得到每一个词的权重,然后根学习结果比较,最相近的一类就是它所属的大类.

缺点:训练语料都是新闻类,所以测试最好用新闻语料.另IT类训练语料问题,IT类误差较大.

测试地址http://211.151.238.201:8080/bhvtemp/classifyTester.jsp