robots.txt 配置：哪些页面该让爬虫抓取

Google 索引速度受多种因素影响：域名权重、内链结构、sitemap 提交、社交信号。新站点的页面可能要几天到几周才被索引。加速方法：提交 sitemap、用 URL 检查工具请求索引、在已索引页面中加内链指向新页面。

robots.txt 不是阻止索引的手段，而是控制抓取。要阻止索引用 noindex meta 标签或 X-Robots-Tag header。常见的 robots.txt 配置：允许所有页面、禁止 /admin、禁止 /api、指向 sitemap.xml。

Schema.org 类型选择：博客文章用 Article（必须有 author/datePublished），产品页用 Product + AggregateOffer（不要用 Offer + price:0），FAQ 用 FAQPage（必须有 Question/Answer 数组）。选错类型会导致 Rich Results 不显示。

Canonical URL 解决重复内容问题。多语言站点、分页页面、带查询参数的页面都需要正确设置 canonical。Next.js metadata 中 canonical 要用绝对 URL，通过 buildPageUrl 工具函数确保域名一致。