惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Attack and Defense Labs
Attack and Defense Labs
Y
Y Combinator Blog
阮一峰的网络日志
阮一峰的网络日志
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
博客园 - 聂微东
V
Visual Studio Blog
量子位
博客园 - 三生石上(FineUI控件)
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
Jina AI
Jina AI
宝玉的分享
宝玉的分享
Hacker News: Ask HN
Hacker News: Ask HN
小众软件
小众软件
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
Hacker News - Newest:
Hacker News - Newest: "LLM"
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
W
WeLiveSecurity
Google Online Security Blog
Google Online Security Blog
AI
AI
Schneier on Security
Schneier on Security
大猫的无限游戏
大猫的无限游戏
WordPress大学
WordPress大学
I
InfoQ
A
Arctic Wolf
月光博客
月光博客
Last Week in AI
Last Week in AI
Hugging Face - Blog
Hugging Face - Blog
Cloudbric
Cloudbric
Google DeepMind News
Google DeepMind News
Security Latest
Security Latest
GbyAI
GbyAI
N
Netflix TechBlog - Medium
TaoSecurity Blog
TaoSecurity Blog
Blog — PlanetScale
Blog — PlanetScale
Scott Helme
Scott Helme
www.infosecurity-magazine.com
www.infosecurity-magazine.com
T
The Exploit Database - CXSecurity.com
博客园 - 【当耐特】
博客园 - 司徒正美
The Hacker News
The Hacker News
Cisco Talos Blog
Cisco Talos Blog
I
Intezer
云风的 BLOG
云风的 BLOG
T
Threatpost
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
C
Cyber Attacks, Cyber Crime and Cyber Security
罗磊的独立博客
Security Archives - TechRepublic
Security Archives - TechRepublic
T
Tenable Blog

BAIYUN'S BLOG

AI Coding 从小工到专家 - BAI YUN 电信 IPTV 内网融合教程:在局域网任意设备观看 IPTV - BAI YUN 美国住宅 IP 提供商体验对比 - BAI YUN Node.js 程序以 Keyless 模式从 1Password 读取密钥 - BAI YUN 高效优雅的观影指南 - BAI YUN 基于 Surge 的 DNS 优化指南 - BAI YUN RIME 鼠须管输入法简明使用教程 - BAI YUN 自动给不同 Git 项目设置不同的用户名邮箱 - BAI YUN Web3 新手如何选择加密货币钱包 - BAI YUN Web3 到底是什么? - BAI YUN 谨慎开启 Safari 的阻止跨站跟踪功能 - BAI YUN iOS Surge 开启后无法使用部分国产 APP 或网络出错的解决办法 - BAI YUN 屏蔽 Telegram 垃圾私信的有效办法 - BAI YUN 每个人都应该读一遍《1984》和《动物庄园》 - BAI YUN iOS 给常见机构号码增加联系人头像 - BAI YUN 在国内如何购买比特币和投资加密货币 - BAI YUN WEB 性能优化:如何让你的网站页面秒开(方法论) - BAI YUN 加密货币投资这件事 - BAI YUN 国内手机号注册推特教程 - BAI YUN 国内注册币安账号并通过 KYC 教程 - BAI YUN 使用一套助记词创建多个以太坊钱包账户 - BAI YUN Apple Watch 的几个用途 - BAI YUN 钱包安全指南:如何保护你的 NFT 和加密资产不被盗 - BAI YUN 我在 macOS 上高频使用的应用 - BAI YUN Web3 时代:如何使用 MetaMask 钱包实现一键登录 - BAI YUN 2022 年了 Safari 无法渲染渐变文字的 BUG 依旧存在 - BAI YUN 境外手机卡:澳门电信大湾区预付卡使用体验 - BAI YUN 解决 iCloud Drive 上传文件卡住的问题 - BAI YUN Electron 应用如何获取系统代理配置 - BAI YUN 解决 iOS 上 Google 账号登录会卡在加载状态的问题 - BAI YUN 记录 Github Copilot 惊讶到我的时刻 - BAI YUN 解决 Xbox 在国内下载速度慢 - BAI YUN Surge iOS 和 AmpliFi 的兼容性问题 - BAI YUN 自建图床指南 - BAI YUN 使用 TypeScript 提升可维护性 - BAI YUN 在 JavaScript 应用中正确的实现时区切换 - BAI YUN 从 Loading 动画出发改进 React 应用的用户体验 - BAI YUN Node.js Tips - BAI YUN 使用 Dart Sass 代替 Node Sass - BAI YUN WSL 踩的坑和解决方法 - BAI YUN NPM & Yarn Tips - BAI YUN Git Tips - BAI YUN macOS 命令行 Tips - BAI YUN JavaScript 防劫持 - BAI YUN Dota2 - BAI YUN macOS 好用的系统维护工具 - BAI YUN 在 Linux 服务器上使用 Puppeteer 生成 PDF - BAI YUN The Golden Circle 黄金圆环法则 - BAI YUN CSS 写法进化史 - BAI YUN 一个 Web 开发者的 Windows10 开发环境设置心得 - BAI YUN Chrome DevTools Tips - BAI YUN React 设计模式和思想 - BAI YUN Linux & Unix 命令行环境的一些 Tips - BAI YUN 从传统 MVC 到同构:Web 发展历程 - BAI YUN Webpack 动态导入 - BAI YUN JavaScript 中的异步 - BAI YUN 关于我的博客 - BAI YUN
开始使用 IndexNow - BAI YUN
baiyun · 2021-10-20 · via BAIYUN'S BLOG

IndexNow 是一种让内容创作者在发布新内容后一键通知多家搜索引擎的标准和技术。

对于独立网站来说有一个很大的优点就是可以被各大搜索引擎收录,进而互联网上其他用户可以通过搜索引擎发现你的内容,所以对于独立网站的站长来说你需要确保网站上新发布的内容尽可能快的被搜索引擎的爬虫找到,而不是被动的等待爬虫找到你的内容,因为对于小站点来说这个过程可能会耗费很久。

为了让搜索引擎第一时间知道你发布了新内容,大部分搜索引擎都提供了站长后台和相关 API,站长可以将网站上新产生的内容链接第一时间提交给搜索引擎。这里有一个比较麻烦的点,站长需要去调用多个搜索引擎的 API,成本就略微比较高了,所以现在微软联合 Yandex 推出了 IndexNow,它提供了一种快速的方法让网站站长可以第一时间通知所有接入 IndexNow 的搜索引擎网站的内容发生了变化。

index-now-flow

如何接入 IndexNow

Step 1: 验证网站所有权

只有网站站长才允许调用 IndexNow API,所以当你调用 IndexNow API 的时候,它会先验证你是站长才会处理你的抓取请求。要通过验证,你需要按照如下步骤操作:

  • 首先,生成一个随机 Key,可以用 nanoid,最终生成一个类似这样的就可以:qaxfMzelYq5xKx4xhEDb5ZahikSevh
  • 使用上面生成的 Key,在网站根目录放置放置一个名为 qaxfMzelYq5xKx4xhEDb5ZahikSevh.txt 的文件,文件内容填写 qaxfMzelYq5xKx4xhEDb5ZahikSevh 即可
  • 最后确认一下访问 https://<your_domain>/qaxfMzelYq5xKx4xhEDb5ZahikSevh.txt 返回的是 qaxfMzelYq5xKx4xhEDb5ZahikSevh 即表示设置正确

除了在网站根目录放置 key 文件,也可以选择直接用 Nginx 来实现,在 Nginx 的 server 配置里增加下面的代码即可:

    location = /qaxfMzelYq5xKx4xhEDb5ZahikSevh.txt {
        return 200 'qaxfMzelYq5xKx4xhEDb5ZahikSevh';
    }

Step 2: 提交内容链接

所有权验证准备好之后,就可以调用 IndexNow API 通知搜索引擎抓取你的内容了,请求示例如下:

POST /IndexNow HTTP/1.1
Host: www.bing.com
Content-Type: application/json

{
  "host": "https://baiyun.me",
  "key": "qaxfMzelYq5xKx4xhEDb5ZahikSevh", // 这里的 key 需要和上面的保持一致
  "urlList": [
    "https://baiyun.me/using-indexnow",
    "https://baiyun.me/about"
  ]
}

API 调用成功会返回 200 响应码,响应主体为空:

Bing-IndexNow-Postman

调用成功后,你的抓取请求就通知到所有接入 IndexNow 的搜索引擎了,它们会尽快来抓取页面,需要注意的是,抓取页面并不代表它们会收录你的页面,只有收录成功之后你的内容才会出现在搜索结果中。具体要不要收录,各大搜索引擎都有自己的算法,网站站长能做的就是尽量让网站上的内容是『有价值』的。

Cloudflare 用户

Cloudflare 有一个 Crawler Hints 功能现在已经支持 IndexNow,如果你的网站使用了 Cloudflare,可以尝试开启 Crawler hints 开关,具体路径如下:登录并选择你的站点 -> 点击导航栏的"缓存" -> 点击配置 -> 下拉找到 Crawler Hints -> 打开开关即可

Crawler Hints 这个功能目前还是测试阶段,具体效果如何还有待商榷。

cloudflare-cache

cloudflare-crawler-hints

补充方案

IndexNow 目前只支持 Microsoft Bing 和 Yandex,目前官方说法是老大哥 Google 并没有计划支持 IndexNow,所以如果你想兼顾其他搜索引擎,可以考虑调用这些搜索引擎各自提供的 API 来实现,已经有人将这些 API 封装成公共模块,比如 submit-url 就支持百度、谷歌、必应。

收录速度

我观察了几天本站内容在各大搜索引擎的收录速度,一个新链接,从提交给搜索引擎,到最终在搜索结果中显示出来,Google 是最快的,通常只需要不到 1 天的时间,其次是 Yandex,需要 1-2 天左右,再其次是 Bing,时间不确定,至于百度,嗯。不说了。

经过长时间的观察,我发现 Google 的索引速度和数量都领先其他搜索引擎,对用户来说同样的关键字在 Google 可以更及时的搜索到更多的内容。

参考链接

本文原载于:baiyun.me

原文链接:https://baiyun.me/using-indexnow