博客上线快半年了，一直以来我以为只要写好文章、搭个 RSS 订阅，就够了。最近把博客提交到了 Bing Webmaster Tools 和 Google Search Console，才发现"让搜索引擎找到你的网站"这件事，远比想象中复杂。

记录一下这段时间学到的东西。

Sitemap：网站的目录页

Sitemap（站点地图）这个名字很直白，就是给搜索引擎看的网站目录。

我的博客用的是动态生成的方式，访问 sitemap.xml 会返回所有已发布的文章列表和标签列表。代码大概是这样：

public function index(): Response
{
    $posts = Post::publiclyVisible()->latest('updated_at')->get();
    $tags = Tag::query()->whereHas('posts', fn ($query) => $query->publiclyVisible())->get();

    return response()->view('front.sitemap', [
        'posts' => $posts,
        'tags' => $tags,
    ])->header('Content-Type', 'text/xml; charset=UTF-8');
}

只返回对外可见的文章，草稿和归档文章不会出现在里面。

然后在 robots.txt 里声明一下位置：

User-agent: *
Disallow:

Sitemap: https://blog.gankudadiz.com/sitemap.xml

这样搜索引擎爬虫来抓网站的时候，就能通过 robots.txt 知道 sitemap 在哪，顺着就能发现你所有的文章。

robots.txt：爬虫的入场须知

robots.txt 是一个简单的文本文件，放在网站根目录下。它告诉搜索引擎：哪些页面你可以抓，哪些你不可以。

我的配置很宽松，所有都允许：

User-agent: *
Disallow:

一个典型的小博客这么做没什么问题。但如果你的后台管理页面不想被索引（比如 /admin），就应该加一条：

User-agent: *
Disallow: /admin

这是最基础的理解：robots.txt 是一个"礼貌性"的协议，恶意爬虫不会遵守，但正常搜索引擎都会遵守。

IndexNow：让搜索引擎"即时"知道页面变了

这是让我觉得最有意思的东西。

传统的流程是：搜索引擎定期来抓你的网站，发现有新内容就收录。但这个"定期"可能是几天甚至几周。

IndexNow 是一种主动通知机制。当你的文章发布、修改或删除时，你的网站主动告诉搜索引擎："嘿，我这里有变化，过来看看。"

我用的是 ymigval/laravel-indexnow 这个包，配置好了以后，在 PostObserver 里自动触发：

public function created(Post $post): void
{
    if (! $post->isPubliclyVisible()) {
        return;
    }

    $this->submitIndexNowUrls([
        $this->currentPostUrl($post),
    ]);
}

规则写得比较细：

• 新建文章：提交新 URL
• 修改文章且 slug 没变：只提交当前 URL
• 修改文章且 slug 变了：同时提交旧 URL 和新 URL（因为内容迁移了）
• 删除文章：提交被删除的 URL

这个逻辑搞了好一会儿，主要是想清楚各种状态变化组合。

目前配置的是通用的 IndexNow 协议，Bing、Yandex 这些主流搜索引擎都支持。Google 虽然有自己的一套（Indexing API），但 IndexNow 提交一次能通知多个引擎，效率更高。

Search Console 和 Webmaster Tools：站长的仪表盘

这两个是搜索引擎提供的站长工具，听起来名字很唬人，其实功能挺朴实。

主要能做的事情：

• 提交 sitemap：让搜索引擎知道你的站点结构
• 查看索引状态：哪些页面被收录了，哪些没有被收录
• 检测爬虫错误：搜索引擎来抓的时候遇到了什么问题
• 性能数据：搜索结果中的点击率、曝光量

说实话我目前用得还比较浅，就是提交 sitemap、看看有没有报错。但光是"知道搜索引擎是怎么看我的站"这件事，就已经值了。

之前以为 RSS 就够了，太天真了

RSS 解决的是"让用户主动订阅内容"的问题。用户装一个 RSS 阅读器，订阅了我的博客，有新文章就会推过来。

但 RSS 不解决"让搜索引擎找到你"的问题。搜索引擎不知道你的 RSS 地址，它也不会去读你的 RSS 来更新搜索结果。

这是一个认知盲区：开发者习惯用技术手段解决问题（搭 RSS、做 API），但搜索引擎是另一套逻辑——它需要你主动告诉它你的站点结构、页面变化。

Sitemap、IndexNow、robots.txt 这些东西，本质上都是在"说搜索引擎能听懂的话"。

总结

这段时间折腾下来，最大的感受是：做网站不只是写代码。

域名解析、SSL 证书、SEO 优化、站长工具……这些都是开发之外的东西。好在都不算难，踩一遍就懂了。

---

写完感觉有点像笔记，但这就是我现在的理解水平。等过一年再回头看，大概会觉得幼稚吧——但那就是进步了。