惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

人人都是产品经理
人人都是产品经理
MongoDB | Blog
MongoDB | Blog
Google DeepMind News
Google DeepMind News
L
LangChain Blog
J
Java Code Geeks
MyScale Blog
MyScale Blog
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
WordPress大学
WordPress大学
小众软件
小众软件
Microsoft Security Blog
Microsoft Security Blog
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
月光博客
月光博客
aimingoo的专栏
aimingoo的专栏
F
Fortinet All Blogs
I
InfoQ
博客园 - 聂微东
量子位
A
About on SuperTechFans
S
SegmentFault 最新的问题
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
Apple Machine Learning Research
Apple Machine Learning Research
Hugging Face - Blog
Hugging Face - Blog
云风的 BLOG
云风的 BLOG
H
Help Net Security

博客园 - 我要去桂林

C#:昨天,今天和明天:和 Anders Hejlsberg 座谈,第二部分 C#:昨天,今天和明天:和 Anders Hejlsberg 座谈,第一部分 一种快速的未登陆词识别方法(原理和实现) 什么是垂直搜索引擎(之二) ASP.NET 2.0 缓存翻译草稿 Boyer-moor 字符串搜索算法 多么乐alexa网站流量数据报告助手 关于 小叮咚中文分词 .net版本发布的变化 小叮咚 中文分词 发布 java 版本 , c# 版本 , c++ 版本 google排名影响因素大全(beta1) apache mod_rewrite 模块使用的几个例子 google,msn,百度,一搜------多么乐互联网索引量统计-----2004-04-19 多么乐互联网 google索引量统计 关于tail在unix和windows下的几种实现 多么乐发布 自动生成摘要测试版 CtrlC源代码搜索引擎---添加Asp.Net StartKit 系列搜索 发布:CtrlC源代码搜索引擎 MapReduce:Google的人间大炮 贝叶斯论坛垃圾广告屏蔽演示系统
一种面向搜索引擎的网页分块、切片的原理,实现和演示
我要去桂林 · 2005-11-28 · via 博客园 - 我要去桂林

一种面向搜索引擎的网页分块、切片的原理,实现和演示

最近看到 2005 年的 全国搜索引擎和网上信息挖掘学术研讨会 上 华南木棉信息检索的队长 欧健文 的 华南木棉信息检索 的ppt。很有启发。

于是自己也根据自己的理解准备做一个实现。
实现前提假设:
    1、网页分块切分的基本单位是html中的table , div 等标签(目前版本只支持:table ,div 标签)。
    2、网页分块切片识别依赖于相似url的对比。比如:我们认为一下两个url的网页html文本结构相似:
        http://news.soufun.com/2005-11-26/580107.htm
        http://news.soufun.com/2005-11-26/580175.htm
       而下面两个url的网页结构不相似:
        http://news.soufun.com/subject/weekly051121/index.html
        http://news.soufun.com/2005-11-26/580175.htm

用途:
    1、根据分析网页结构区分网页是 主题型网页 还是 目录型网页;
    2、根据分析网页结构 找出 网页的 主题内容,相关内容和噪音内容;

实现的3个阶段:
    1、对网页结构进行合理切片;
    2、比较相似网页的切片结构;
    3、分析切片数据,得出结论。
演示地址:
       http://www.domolo.com:8090/domoloWeb/html-page-slice.jsp