动态页面做收录查询时,不能只看搜索引擎返回了结果,而要确认“返回的内容”和“用户实际看到的内容”是否一致。核心判断是:把抓取工具或爬虫看到的 HTML 与浏览器渲染后的可见文本做对比,如果两者差异很大,收录查询的结果就不能直接代表页面真实可见内容。
多人协作时返工最多的地方,是不同角色对“可见”的理解不同。建议在交付文档里固定三个口径:
动态页面常见的情况是源码里只有空容器,内容由接口异步填充。此时源码可见几乎为空,渲染可见完整,收录可见取决于搜索引擎是否执行了脚本。三者不一致,就是需要标注的风险点。
下面这套流程不依赖特定工具,用浏览器和命令行即可完成,适合作为交付前的检查项。
curl -s 页面地址 保存服务器返回的 HTML,搜索目标文字是否存在。判断结果:如果第 1 步找不到、第 3 步能找到,说明内容依赖脚本渲染;如果第 4 步发现正文来自接口,那么收录查询能否反映可见内容,取决于搜索引擎对该接口的抓取与渲染能力,需要单独核查,不能默认成立。
是否要把动态内容改成源码可见,取决于页面类型和协作成本,而不是一律改造。
需要提醒的是,robots.txt 的抓取限制不等于可靠的索引移除,被限制抓取的地址仍可能因外部链接出现在结果中。站点地图也不保证收录,它只是提交候选地址的方式。HTTPS 同样不保证页面安全无漏洞或获得更好排名,它只解决传输加密问题。
为了减少返工,交付文档里不要只写“页面已收录”,而应写明:查询用的短语、查询时间、结果摘要是否包含正文、源码与渲染文本是否一致。如果发现不一致,标注为“收录可见内容待确认”,并附上异步接口地址和触发条件,方便后续核查。
下一步:挑一个动态页面,按上面的五步做一次对比,把源码文本、渲染文本和收录查询摘要并列记录,再决定是否需要调整渲染方式或补充静态内容。