搜索引擎蜘蛛爬行规则 - 慧达站长工具

从广度优化抓取策略研究搜索引擎蜘蛛爬行规则

限制抓取深度会破坏死循环的条件，即使循环发生，也会在有限的次数后停止。评价：宽度优先、深度优先的遍历策略可以有效地保证爬行过程的紧密性，即在爬行过程（遍历路径）中，总是对同一域名下的网页进行爬行，而对...