要查找包含嵌入视频或音频内容的页面，请为 Youtube 或网站上使用的任何其他媒体播放器的嵌入代码片段设置特殊过滤器。
元数据和指令
如何识别具有长页面标题、元描述或 URL 的页面
扫描完成后，转到“页面标题”选项卡并按“超过 65 个字符视频或 手机号码数据 音频内容的页面”进行筛选，以查看过长的页面标题。您可以在“元描述”视频或音频内容的页面选项卡或“URI”选项卡中执行相同操作。
如何查找重复的页面标题、元描述或 URL
SEO Spider 完成抓取后，转到“页面标题”选项卡，然后选择“复制”。您可视频或音频内容的页面以在元描述或 URI 选项卡中执行相同操作。
如何查找需要重写/重定向/规范化的重复内容或 URL
SEO Spider 完成抓取后，转到 URI 选项卡，然后按下划线、大写或非 ASCII 字符进行过滤，以查看可能重写为更标准结构的 URL。选择“复制”，您将看 鼓励人们多说点话 到视频或音频内容的页面所有具有多个 URL 版本的页面。按参数过滤，您将看到包含参数的 URL。
此外，如果您转到“内部”选项卡，按 HTML 进行过滤，然后向下滚动到最右侧的“Hash”列，您将看到每个页面的一系列唯一的字母和数字。如果单击“导出”，您可以使用 Excel 中的条件格式突出显示该列中的重复值，最终向您显示相同且需要处理的页面。
如何检查 robots.txt 文件是否正常工作
默认情况下，Screaming Frog 将遵守 robots.txt 要求。它将优先遵循专门为 Screaming Frog 用户代理制定的指令。如果没有针对 Screaming Frog 用户代理的指令，SEO Spider 将遵循针对 Googlebot 的任何指令；如果没有针对 Googlebot 的特定指令，它将遵循针对 阿根廷數據 所有用户代理的全局指令。
SEO Spider 只会遵循一组指令，因此如果有专门为 Screaming Frog 设置规则，它将只会遵循这些规则，而不会遵循 Googlebot 规则或任何全局规则。如果您想阻止 SEO Spider 访问您网站的某些部分，请使用常规 robots.txt 语法和 Screaming Frog SEO Spider 用户代理。如果您想忽略 robots.txt，只需在 Spider 配置设置中选择此选项。