谷歌SEO:什么是抓取预算(Crawl Budget)
抓取预算是搜索引擎想要在您的网站上抓取的速度和页面数量。它受爬网程序要在您的网站上使用的资源数量以及服务器支持的爬网数量的影响。更多的抓取并不意味着你的排名会更好,但如果你的页面没有被抓取和索引,它们根本就不会排名。大多数网站不需要担心抓取预算,但在少数情况下您可能需要查看一下。让我们来看看其中的一些案例。 1.您何时应该担心搜寻预算? 您通常不必担心热门页面上的抓取预算。通常是较新的页面、没有很好链接的页面,或者不经常抓取的页面变化不大。对于较新的网站,尤其是那些页面较多的网站,抓取预算可能是一个问题。您的服务器可能能够支持更多的爬网,但是由于您的网站是新的,并且可能还不太流行,因此搜索引擎可能不想太多地对您的网站进行爬网。 这主要是期望的脱节。您希望对您的网页进行抓取和编入索引,但Google不知道是否值得将您的网页编入索引,并且可能不想抓取您希望的网页数量。对于拥有数百万个页面或经常更新的网站的大型网站,抓取预算也可能是一个问题。通常,如果您有很多页面没有按需进行爬网或更新,则可能需要考虑加快爬网速度。我们将在本文后面讨论如何做到这一点。 2.如何查看爬虫活动… Read More »谷歌SEO:什么是抓取预算(Crawl Budget)