惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

博客园 - 叶小钗
Last Week in AI
Last Week in AI
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
V
V2EX
J
Java Code Geeks
The GitHub Blog
The GitHub Blog
博客园_首页
U
Unit 42
人人都是产品经理
人人都是产品经理
Engineering at Meta
Engineering at Meta
IT之家
IT之家
G
Google Developers Blog
L
LangChain Blog
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
爱范儿
爱范儿
罗磊的独立博客
博客园 - 三生石上(FineUI控件)
Martin Fowler
Martin Fowler
Jina AI
Jina AI
有赞技术团队
有赞技术团队
Apple Machine Learning Research
Apple Machine Learning Research
Vercel News
Vercel News
小众软件
小众软件
H
Help Net Security

博客园 - MikeCheers

《C# GDI+ 破境之道》:第一境 GDI+基础 —— 第三节:画圆形 《C# 爬虫 破境之道》:第二境 爬虫应用 — 第七节:并发控制与策略 《C# GDI+ 破境之道》:第一境 GDI+基础 —— 第二节:画矩形 《C# 爬虫 破境之道》:第二境 爬虫应用 — 第六节:反爬策略研究 《C# GDI+ 破境之道》:第一境 GDI+基础 —— 第一节:画直线 《C# 爬虫 破境之道》:第二境 爬虫应用 — 第五节:小总结带来的优化与重构 《C# 爬虫 破境之道》:第二境 爬虫应用 — 第四节:小说网站采集 终于决定做这件事了,立个Flag! 《C# 爬虫 破境之道》:第二境 爬虫应用 — 第三节:处理压缩数据 《C# 爬虫 破境之道》:第二境 爬虫应用 — 第二节:以事件驱动状态、数据处理 《C# 爬虫 破境之道》:第二境 爬虫应用 — 第一节:HTTP协议数据采集 《C# 爬虫 破境之道》:第一境 爬虫原理 — 第六节:第一境尾声 《C# 爬虫 破境之道》:第一境 爬虫原理 — 第五节:数据流处理的那些事儿 《C# 爬虫 破境之道》:第一境 爬虫原理 — 第四节:同步与异步请求方式 《C# 爬虫 破境之道》:第一境 爬虫原理 — 第三节:WebResponse 《C# 爬虫 破境之道》:第一境 爬虫原理 — 第二节:WebRequest 《C# 爬虫 破境之道》:概述 《ASP.NET MVC 5 破境之道》:第一境 ASP.Net MVC5项目初探 — 第三节:View层简单改造 《ASP.NET MVC 5 破境之道》:第一境 ASP.Net MVC5项目初探 — 第二节:MVC5项目结构
《C# 爬虫 破境之道》:第一境 爬虫原理 — 第一节:整体思路
MikeCheers · 2019-12-24 · via 博客园 - MikeCheers

  在构建本章节内容的时候,笔者也在想一个问题,究竟什么样的采集器框架,才能算得上是一个“全能”的呢?就我自己以往项目经历而言,可以归纳以下几个大的分类:

  1. 根据通讯协议:HTTP的、HTTPS的、TCP的、UDP的;
  2. 根据数据类型:纯文本的、json的、压缩包的、图片的、视频的;
  3. 根据更新周期:不定期更新的、定期更新的、增量更新的;
  4. 根据数据来源:单一数据源、多重数据源、多重数据源混合;
  5. 根据采集点分布:单机的,集群的;
  6. 根据反爬虫策略:控制频率的,使用代理的,使用特定UA的;
  7. 根据配置:可配置的,不可配置的;

  以上的分类,也有可能不够全面,不过应该可以涵盖主流数据采集的分类了。

  为了方便阐述一个爬虫的工作原理,我们从上面找到一条最简单路径,来进行阐述(偷奸耍滑?非也,大道化简,万变不离其宗:)

  OK,一个小目标,单机、单一数据源、定期更新、纯文本、HTTP的爬虫,来一只。

在第一境的后面各节中,我们就来逐步实现这个小目标,同时,也来探究一下其中的原理。只有掌握了这些,才能通过继续扩展,衍生出强大的爬虫:)

喜欢本系列丛书的朋友,可以点击链接加入QQ交流群(994761602)【C# 破境之道】
方便各位在有疑问的时候可以及时给我个反馈。同时,也算是给各位志同道合的朋友提供一个交流的平台。
需要源码的童鞋,也可以在群文件中获取最新源代码。