惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

云风的 BLOG
云风的 BLOG
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
IT之家
IT之家
Recent Announcements
Recent Announcements
B
Blog
D
Docker
V
V2EX
GbyAI
GbyAI
L
LangChain Blog
博客园 - Franky
U
Unit 42
T
The Blog of Author Tim Ferriss
A
About on SuperTechFans
博客园 - 【当耐特】
Google DeepMind News
Google DeepMind News
H
Hackread – Cybersecurity News, Data Breaches, AI and More
Vercel News
Vercel News
博客园_首页
D
DataBreaches.Net
人人都是产品经理
人人都是产品经理
Y
Y Combinator Blog
量子位
Blog — PlanetScale
Blog — PlanetScale
罗磊的独立博客

郭泽宇的博客 (@ZE3kr)

Hertz 租车被讨债总结,我起诉讨债公司的经历 | ZE3kr 在 iPad 上运行 macOS? (with Jump Desktop) Vision Pro 首发体验 | ZE3kr 低价冷数据存储方案 - Lightsail + S3 + Nextcloud 实现 $1/TB/月 谈一谈阿里云香港的宕机 | ZE3kr 云服务推荐及选择指南 | ZE3kr 从零开始建立自己的域名和企业邮箱 | ZE3kr 本站改版后的架构与优化——Hexo,分区解析,CDN,图像压缩等 | ZE3kr 毫米波 5G 有多快? 2000Mbps! 快来看看你的 iPhone 是否支持毫米波 Mac mini 有什么用?组建家庭服务器! | ZE3kr Magic Keyboard (妙控键盘) for iPad Pro 使用体验 自建 PowerDNS 进阶:分区解析,dnsdist,Lua 记录 | ZE3kr SSD U盘、Windows To Go 与 Mac WordPress 5.0 更新现已发布,全新编辑器,全新主题 | ZE3kr Azure DNS、NS1、Constellix,三家海外 GeoDNS 服务商对比 | ZE3kr Mac 上一些精致实用的软件推荐 | ZE3kr 谈谈数据备份 | ZE3kr DNSSEC 简介,签名的工作原理 | ZE3kr Cloudflare Argo 与 Railgun 对比测试,CDN 加速的黑科技 几个免费的服务器监控服务推荐 | ZE3kr 国内外几家全站 CDN 对比 | ZE3kr 2017 年,再看 SSL 和 HTTPS 关于建站和服务选购的一些建议 | ZE3kr DNS 域名解析系统详解——基础篇 | ZE3kr 修复 WordPress 2017 主题中奇怪字形的 Bug 使用 AMP 构建超快的移动页面 | ZE3kr 利用 GCE 建立一个 Anycast 网络,超快的香港节点,Google Cloud CDN Cloudflare 的全新功能体验——Load Balancing、Rate Limiting | ZE3kr Google Compute Engine 新手教程及使用体验 | ZE3kr 用回 WordPress 自带评论系统 | ZE3kr
好搜所做的恶心事 | ZE3kr
2015-08-18 · via 郭泽宇的博客 (@ZE3kr)

现在的搜索引擎都在尝试转码桌面站点,把网页内容重新排版。百度等搜索引擎都在尝试做这个,目的是让用户有 “一致化” 的体验。但是如果有一家商业公司将重新排版网页用作商业目的,这可就不好了。 我认为这种一致化有好有坏,不能下结论。但是你把网页内容重新排版后还加广告,那不就相当于是商业使用了么?好搜就是光明正大的做这个无视著作权的事情,在我创作的内容中加入它们的广告,于是它们便可以从中获利。但是它们官方的客服却说这样的话,我归纳的大意就是:

  1. 你可以去我们的平台修改这个设置
  2. 你们的网站没有适配移动端,展现比较差
  3. 我们这样做是为你好,提高你的转化率

但是,它们官方并没有明确的提出如何不让好搜给网站重新排版,说白了就是 “绑架” 站长,我好搜就给你的网站重新排版,就做无视著作权的事情,钻大陆法律空子。

截图证据

重新排版后去掉了网站名
重新排版后去掉了网站名
重新排版后加上了广告
重新排版后加上了广告

屏蔽好搜

首先能做的事情就是屏蔽它,我特意看了它们的文档 然后我发现了啥?好搜竟然不支持使用 robots.txt 文件协议单独屏蔽它,好搜跪着求我:“不要屏蔽我,我还想那你的内容赚钱,你要非要屏蔽就把所有的都屏蔽了吧!” 当然,我是不怕这些的,我直接屏蔽你的 User Agent 不就好了。于是我在 .htaccess 文件下加入了如下内容:

1
2
3
4
5
6
RewriteEngine on
SetEnvIfNoCase User-Agent "360Spider" bad_bot # 屏蔽垃圾搜索引擎
SetEnvIfNoCase User-Agent "HaoSouSpider" bad_bot # 屏蔽垃圾搜索引擎
SetEnvIfNoCase User-Agent "360Spider-Image" bad_bot # 屏蔽垃圾搜索引擎
SetEnvIfNoCase User-Agent "360Spider-Video" bad_bot # 屏蔽垃圾搜索引擎
Deny from env=bad_bot

然后我竟然发现了就算这样也依然没有效果!看来好搜为了不想让别的网站屏蔽可是下了功夫啊,没关系,我还有方法。

利用 Referer 屏蔽它加载图片

嗯,很成功,图片加载不了了,但是并没有完全屏蔽它。

利用 Referer 屏蔽
利用 Referer 屏蔽

利用好搜缺陷屏蔽它

于是,我发现好搜并不支持抓取 HTTPS 站点,那好,我强制 HTTPS。好搜终于怂了。