公开内容站最基础的robots规则可以允许正常抓取，并提供Sitemap地址。只要不存在需要屏蔽的参数页或内部功能，就不必写复杂规则。

17c网站相关说明

robots.txt并不能保护敏感信息。真正不应公开的文件应该通过服务器权限、身份验证或从Web根目录移除来处理。

对于普通内容页面，也不应该根据搜索引擎User-Agent返回与真实用户不同的正文，这会破坏页面一致性。

继续浏览相关主题

可以返回一起草主题页，或进入在线视频观看索引，查看与当前内容相邻但信息重点不同的条目。