blog

Screaming Frog和DeepCrawl中有9个容易错过的抓取报告,包含严重的SEO冲击

<p>我过去曾经写过大量关于使用各种抓取工具来帮助搜索引擎优化的原因很简单根据我完成的审计数量,我会说你从来没有真正知道大型复杂网站的情况,直到你爬行我爬行网站的两个最喜欢的工具是DeepCrawl(我在客户顾问委员会)和尖叫青蛙这两个都是非常好的工具,包含有价值的功能我通常使用DeepCrawl进行企业级爬行,而我使用Screaming Frog中小型网站我也同时使用它们,因为有时候企业爬行会产生需要更小的手术爬行的结果所以对我来说,DeepCrawl和Screaming Frog结合的总和大于它的部分:1 + 1 = 3这两个工具都提供了丰富的数据,但我发现有一些强大而重要的报告存在于阴影中</p><p>在这篇文章中,我将快速介绍九个容易错过的抓包报告SEO p unch其中两个报告是DeepCrawl 20的一部分,它应该很快发布(在接下来的几周内)让我们开始重定向链大多数SEO都知道你需要在重新设计网站或CMS时将旧URL重定向到新的URL迁移但是我看到有太多人检查最初的301重定向并停止他们的研究不要误以为301可以导致200头响应代码,这很好但是它也可以导致404,这不是' t或者它可以导致另一个301,或者另外五个301s或者它可能导致500(应用程序错误)仅仅因为URL 301重定向并不意味着它在重定向后正确解析这是重定向链在Screaming Frog中报告的位置shines请确保在设置中选中“Always Follow Redirects”框,然后抓取那些旧URL(需要重定向的URL)Screaming Frog将遵循重定向,然后提供从初始重定向到200,3的完整路径01,302,404,500等等要导出报告,必须单击主菜单中的“报告”,然后选择“重定向链”一旦进入Excel,您将看到重定向的原始URL以及您的URL如何重定向到解决方案如果第二个URL重定向,你可以按照重定向链再次,这一点非常重要,如果你的301s导致404s,那么你可能会失去排名和流量从以前排名很好的页面不好,到说最不安全的内容现在许多网站都在转向HTTPS,因为Google正在施加压力当您转向HTTPS时,有几个项目需要检查以确保正确处理迁移其中一项是确保您不运行内容不匹配问题当你通过安全URL提供不安全的元素时如果你这样做,你会看到这样的错误:许多人不知道这一点,但Screaming Frog有一个内置的报告显示不安全的内容再一次,头到“回购rts“在主菜单中下拉并选择”不安全内容“该报告将列出不安全内容的来源以及将其传递到的HTTPS URL</p><p>迁移到HTTPS后运行报告后,您可以将其导出并发送数据给您的开发人员规范错误规范URL标记是一种强大的方法,可确保搜索引擎了解您的首选网址(应编入索引的正确网页)这有助于减少重复内容,并且可以整合索引属性规范的多个URL虽然规范的URL标签也是用一行代码破坏搜索引擎优化的好方法我多年来看到了规范标签的许多拙劣的实现并且在最坏的情况下,它可能导致大量搜索引擎优化问题 - 例如,将整个网站规范化为主页或指向规范到404的页面,重定向到404s等等有很多方法可以实现规范,但问题是S EO是它位于表面之下标签是肉眼看不到的,这使得它非常非常危险所以尖叫青蛙提供了一个“规范错误”报告,可以帮助你快速解决这些问题只需前往“报告”菜单再次选择“Canonical Errors”导出报告后,您将看到Screaming Frog在爬行过程中拾取的每个规范错误您可能会对所发现的内容感到震惊 好消息是,您可以将报告发送给您的开发团队,以便他们可以查找错误发生的原因并进行必要的更改以解决核心问题分页:第一页分页在大型站点中很常见,尤其是电子包含许多产品的类别的商业网站但是对于许多SEO而言,分页也是一个令人困惑的主题,从技术SEO的角度来看,这通常会产生不正确的设置从无索引组件页面到将noindex和rel next / prev标签混合到其他有问题的组合,你通常可以向Google发送有关您的分页的非常奇怪的信号DeepCrawl 19(当前版本)包含一些非常有价值的报告,可以帮助您解决这些问题例如,当您爬行大而复杂的网站时,分页有时可能存在于一个站点(在明显区域之外)“第一页”报告将显示分页中的第一页(包含rel =“next”标记的URL) n帮助您在大型网站上追踪许多分页实例的起点您可以通过单击“内容”选项卡然后滚动到内容报告的底部,在DeepCrawl中找到一组分页报告</p><p>第一页报告的屏幕截图一旦您通过“第一页”报告找到分页,您可以深入挖掘并找出是否已正确设置分页组件页面是否链接在一起</p><p> rel next / prev是否正常使用</p><p> rel规范怎么样</p><p>组件页面是否未编入索引</p><p>它们是否被规范化为第一页</p><p>您可以找到所有这些问题的答案以及更多但是,您需要首先找到所有分页的实例</p><p>这是此报告帮助分页的地方:未链接的分页页面下一部分拼图是追踪包含在rel中的组件页面next / prev标签但在网站上没有链接在一起查找这些页面可以帮助解决表面技术SEO问题例如,包含rel next标签的URL应该链接到set pages中的下一个组件页面,并且rel =“next “和rel =”prev“应该链接到上一页和下一页所以依此类推如果你发现rel next / prev标签而没有将URL链接在一起,这可能表示更深层次的问题也许网站上有遗留代码应该被删除也许应该有组件页面的链接,但它们没有出现在代码或页面上也许没有“下一页”,但仍然有一个rel =“next”标签,它指向到了404再次,你永远不会知道你会发现什么,直到你深入挖掘Max Redirections我之前提到的一些重定向菊花链到更多的重定向当这种情况发生多次时,它可能会导致问题,SEO-wise请记住,如果可能,您应该重定向一次到目标网页正如Google的John Mueller解释的那样,如果Google看到超过五个重定向,它可能会停止关注,并且可能会在下一次抓取期间再次尝试DeepCrawl提供“Max Redirections”报告,提供重定向次数超过四次的所有URL这是轻松查看和分析这些URL的好方法当然,您可以快速修改这些重定向链您可以通过单击“验证”选项卡找到DeepCrawl中的Max Redirections报告,滚动到标有“其他”页面的部分带有hreflang标签(并且没有)Hreflang是将多个语言URL绑定在一起的好方法然后Google可以提供正确版本的页面i基于用户语言的SERP但是根据我的经验,我在审计过程中看到了大量的hreflang错误例如,你必须在集群中其他页面引用的页面上包含返回标签所以如果你的“en”页面引用您的“es”页面,然后“es”页面也必须引用“en”页面以下是Google Search Console中显示的“无返回标记”错误的示例此外,还有其他方法可以使用hreflang标记,比如提供错误的语言和国家代码,错误地使用x-default等等因此,你肯定想知道所有包含hreflang的页面,这样你就可以深入了解这些标签是否设置正确在DeepCrawl中,有几个用于分析hreflang的报告最基本但功能最强大的是“带有hreflang标签的页面”报告 它将列出包含hreflang标签的所有页面,提供在每个页面上找到的所有标签,并指示它们是通过页面的HTML提供,通过XML站点地图,还是通过响应标头提供您可以找到hreflang的集合通过单击“验证”选项卡并滚动到标记为“其他”的部分在DeepCrawl中进行报告请记住,页面上的标记更容易被提取,因为它们在代码中,但是当通过响应标头或站点地图传递hreflang时,你不会知道,只需查看页面,DeepCrawl的hreflang报告将为你展示这些信息,我之前提到过我是DeepCrawl客户顾问委员会的一员,我一直在测试最新版本的测试版,版本20,它即将推出作为第20版的一部分,有一些新的,非常有价值的报告,我将触及下面的两个记住,你不能在当前版本(19)中访问这些报告,但你将成为ABL e到20,应在未来几周内启动禁止JS / CSS为了让Googlebot准确呈现页面,它需要检索必要的资源(如CSS和JavaScript)如果这些资源被robotstxt阻止,那么谷歌无法准确呈现网页,就像典型的浏览器一样,谷歌正在记录中说明阻止资源会“损害您网页的索引”不好,至少可以说在Google Search Console中使用Google抓取并选择“抓取并渲染”是检查Googlebot如何呈现单个页面的好方法但是检查50,000页,500,000页,1,000,000页或更多页面呢</p><p>好吧,DeepCrawl 20中有一个新的报告,它表示不允许的资源,如JavaScript和CSS,这是快速查看站点上哪些资源被阻止的好方法然后你可以快速纠正这些问题HTTPS上的HTTP资源有很多站点采取行动并转向HTTPS但是也有许多网站通过HTTPS错误地提供HTTP内容(这将导致内容不匹配错误)DeepCrawl 20使您能够通过大规模爬网解决该问题一旦确定HTTP资源正在通过HTTPS提供,您可以与您的开发人员一起解决问题好了,现在您还有9个额外的报告可以分析您可能已经知道的内容(在Screaming Frog和DeepCrawl中)我在这篇文章中提到的报告提供了丰富的财富重要的数据,可以帮助你解决技术搜索引擎优化问题这些问题可能会抑制你在自然搜索中的表现所以爬行,然后检查那些端口!你永远不会知道你会发现什么在本文中表达的意见是客座作者的意见,

查看所有