robots.txt 配置：哪些页面该让爬虫抓取

社恐

2026/06/02 12:02:02

面包屑导航不仅提升用户体验，还是 SEO 信号。用 BreadcrumbList JSON-LD 结构化数据能让 Google 在搜索结果中显示面包屑路径，提升点击率。Next.js 中可以在 Server Component 渲染面包屑 HTML + JSON-LD。

Vercel 部署的 Next.js 站点 SEO 基础清单：① 设置自定义域名 ② 配置 metadataBase ③ 生成 sitemap.xml ④ 配置 robots.txt ⑤ 验证 Google Search Console ⑥ 提交 sitemap ⑦ 检查 Core Web Vitals ⑧ 添加结构化数据。

Google E-E-A-T（经验、专业、权威、可信）是内容质量的评估框架。提升方法：作者署名 + 作者简介、引用权威来源、展示真实案例、保持内容更新频率。对 YMYL（你的金钱或生活）类站点尤为重要。

robots.txt 不是阻止索引的手段，而是控制抓取。要阻止索引用 noindex meta 标签或 X-Robots-Tag header。常见的 robots.txt 配置：允许所有页面、禁止 /admin、禁止 /api、指向 sitemap.xml。

查看历史

58 回复

潜水

潜水员第 2 楼2026/06/03 02:09:13

不同场景下结论可能不同：JSON-LD 用 Article 类型必须包含 author 和 datePublished，否则 Rich Results 不显示。感谢楼主的启发。

结网

结网的蜘蛛第 3 楼2026/06/03 02:09:13

我之前也遇到过类似问题，hreflang 自引用是必须的，我之前漏了导致多语言版本全没被索引。希望对你有帮助。

搬家

搬家的蚂蚁第 4 楼2026/06/04 00:07:53

从另一个角度看：PageSpeed 从 60 到 95 的关键：next/image + priority + 移除首屏 framer-motion。效果因项目而异，建议实际测试。

并发

并发摆渡人第 5 楼2026/06/04 08:08:00

我调研过这块，PageSpeed 从 60 到 95 的关键：next/image + priority + 移除首屏 framer-motion。仅供参考，具体还是要看你的场景。

老张

老张第 6 楼2026/06/04 13:21:15

有个相关问题想请教：hreflang 自引用是必须的，我之前漏了导致多语言版本全没被索引。感谢楼主的启发。

无所

无所谓第 7 楼2026/06/04 21:33:46

有个更优的方案：Next.js 15 的 viewport 必须单独导出，不放 metadata 里了。欢迎私信深入交流。

需求

需求翻译机第 8 楼2026/06/05 03:26:49

实操中我发现：canonical 用绝对 URL，通过 buildPageUrl 确保域名一致。希望少走弯路。

热更

热更新选手第 9 楼2026/06/07 15:40:18

结合我最近的项目经验：JSON-LD 用 Article 类型必须包含 author 和 datePublished，否则 Rich Results 不显示。这只是个人经验，不一定通用。

溪畔

溪畔听雨第 10 楼2026/06/08 04:24:19

实操中我发现：sitemap.xml 用 ISR 缓存（revalidate: 3600），发布新内容后 revalidatePath 刷新。如果有更好的方案求分享。

不将

不将就第 11 楼2026/06/11 21:53:40

我做了类似的对比实验：hreflang 自引用是必须的，我之前漏了导致多语言版本全没被索引。希望少走弯路。

算法

算法炼丹师第 12 楼2026/06/11 23:00:41

我之前也遇到过类似问题，robots.txt 控制抓取，noindex 控制索引，两个不要搞混。

月下

月下独酌第 13 楼2026/06/11 23:35:26

有个相关问题想请教：canonical 用绝对 URL，通过 buildPageUrl 确保域名一致。欢迎大家补充。

熬夜

熬夜的猫头鹰第 14 楼2026/06/12 12:33:26

补充一个边界情况：OG 图片 1200x630 是标准尺寸，用 next/og 动态生成效果最好。细节可以再展开讨论。

打盹

打盹的考拉第 15 楼2026/06/12 14:06:04

补充一个边界情况：OG 图片 1200x630 是标准尺寸，用 next/og 动态生成效果最好。如有不对请指正。

潜水

潜水的海獭第 16 楼2026/06/14 09:56:36

我的看法略有不同：JSON-LD 用 Article 类型必须包含 author 和 datePublished，否则 Rich Results 不显示。期待更多实战经验分享。

栈溢

栈溢出幸存者第 17 楼2026/06/16 02:46:05

hreflang 自引用是必须的，我之前漏了导致多语言版本全没被索引。

吃瓜

吃瓜群众第 18 楼2026/06/17 19:52:12

我的项目里也用了这个方案，metadataBase 不设置的话 OG 图片会是相对路径，社交分享显示不了。细节可以再展开讨论。

冬炉

冬炉暖茶第 19 楼2026/06/19 03:18:07

我的结论恰恰相反：404 页面一定要返回 404 状态码，软 404（返回 200）会被当作低质内容。欢迎大家补充。

断网

断网生存者第 20 楼2026/06/19 12:29:56

我的看法略有不同：metadataBase 不设置的话 OG 图片会是相对路径，社交分享显示不了。希望少走弯路。

云中

云中漫步第 21 楼2026/06/20 17:43:53

从另一个角度看：robots.txt 控制抓取，noindex 控制索引，两个不要搞混。