拓扑森林
首页OPC课程政企培训专属智能体项目投融资行业资讯站内论坛关于我们
登录
跳到主内容
    论坛/SEO讨论

    robots.txt 配置:哪些页面该让爬虫抓取

    代码诗人·2025/12/13 14:23:25·0 浏览
    站内论坛
    教程论坛排行榜徽章
    代码
    代码诗人楼主
    2025/12/13 14:23:25
    SEO 友好的 URL 用 kebab-case:/forum/thread/how-to-optimize-nextjs-seo。避免下划线、驼峰、中文 URL(虽然 Google 支持但不利于分享)。Next.js 中可以用 slugify 函数生成 URL 友好的 slug。
    
    Google E-E-A-T(经验、专业、权威、可信)是内容质量的评估框架。提升方法:作者署名 + 作者简介、引用权威来源、展示真实案例、保持内容更新频率。对 YMYL(你的金钱或生活)类站点尤为重要。
    
    Core Web Vitals INP 优化关键是减少主线程阻塞。① 拆分长任务(>50ms)用 requestIdleCallback 或 setTimeout ② 减少第三方脚本 ③ 用 Web Worker 处理重计算 ④ 延迟加载非关键交互 ⑤ 避免大型布局重排。
    
    Google 索引速度受多种因素影响:域名权重、内链结构、sitemap 提交、社交信号。新站点的页面可能要几天到几周才被索引。加速方法:提交 sitemap、用 URL 检查工具请求索引、在已索引页面中加内链指向新页面。
    
    Next.js 15 将 viewport 从 metadata 中分离,必须单独导出 viewport 对象。缺少 viewport 会导致移动端渲染异常,影响移动端优先索引。viewport 中可以设置 width、initialScale、themeColor 等。
    查看历史

    14 回复

    1. 前端
      前端魔法师第 2 楼2025/12/20 11:24:02
      补充一个可能被忽略的点:metadataBase 不设置的话 OG 图片会是相对路径,社交分享显示不了。共同进步。
    2. 无所
      无所谓第 3 楼2025/12/31 09:36:56
      这个观点我很认同,INP 替代 FID 后更严格了,用 next/dynamic 懒加载非首屏组件效果明显。共同进步。
    3. 发呆
      发呆的仓鼠第 4 楼2026/01/08 06:52:39
      这个问题我研究过一阵,robots.txt 控制抓取,noindex 控制索引,两个不要搞混。一起学习。
    4. 采蜜
      采蜜的熊第 5 楼2026/01/16 07:08:45
      上周刚好踩了这个坑,canonical 用绝对 URL,通过 buildPageUrl 确保域名一致。
    5. 全栈
      全栈探险家第 6 楼2026/01/17 08:37:23
      我之前也遇到过类似问题,Next.js 15 的 viewport 必须单独导出,不放 metadata 里了。
    6. ST
      Stack Overflow copy手第 7 楼2026/01/18 04:24:55
      实操中我发现:Next.js 15 的 viewport 必须单独导出,不放 metadata 里了。欢迎大家补充。
    7. 互联
      互联网遗民第 8 楼2026/01/23 11:38:26
      反对一下,我的测试结果不是这样:hreflang 自引用是必须的,我之前漏了导致多语言版本全没被索引。
    8. 小白
      小白第 9 楼2026/01/26 08:11:12
      这个方案我试过,hreflang 自引用是必须的,我之前漏了导致多语言版本全没被索引。希望少走弯路。
    9. 精神
      精神小伙第 10 楼2026/01/30 19:44:36
      我的结论恰恰相反:JSON-LD 用 Article 类型必须包含 author 和 datePublished,否则 Rich Results 不显示。
    10. 慢慢
      慢慢来第 11 楼2026/02/10 23:59:25
      我做了类似的对比实验:canonical 用绝对 URL,通过 buildPageUrl 确保域名一致。
    11. 社恐
      社恐患者第 12 楼2026/02/23 03:41:41
      不同场景下结论可能不同:PageSpeed 从 60 到 95 的关键:next/image + priority + 移除首屏 framer-motion。实践出真知,建议动手试试。
    12. 断网
      断网生存者第 13 楼2026/03/10 20:06:20
      补充一个可能被忽略的点:404 页面一定要返回 404 状态码,软 404(返回 200)会被当作低质内容。仅供参考,具体还是要看你的场景。
    13. 不将
      不将就第 14 楼2026/05/21 08:24:30
      讲个真实案例:hreflang 自引用是必须的,我之前漏了导致多语言版本全没被索引。我也还在探索中。
    14. 山间
      山间清风第 15 楼2026/06/23 12:45:49
      有个相关问题想请教:结构化数据用 Rich Results Test 工具测试,Search Console 会报错误。如有不对请指正。
    登录后可回复
    代码

    代码诗人

    楼主个人主页

    帖子信息

    14 回复
    0 浏览
    8 赞
    0 收藏
    回复