深度解析： Understanding the Mechanics of Google's Crawler Distribution 。 Spider Pool 是 Search Engines 为了 高效处理 Massive Web Pages 而 Designed Mechanism。它将 Pages 分配给 不同的爬虫 https://lewistmls582276.yomoblog.com/45480833/google-spider-pool