抓取战略：那些网页是咱们需求去下载的，那些是无需下载的，那些网页是咱们优先下载的，界说分明以后，能俭省良多无谓的爬取。更新战略：监控列表页来发明新的页面；活期check 页面能否过时等等。抽取战略：咱们该当若何的从网页中抽取咱们想要的内容，不只仅包括终极的目的内容，另有下一步要抓取的url.抓取频次：咱们需求公道的去下载一个网站，却又没有生效率。

让我对于“若何以及爬虫对于话 ”这个课题有了一些考虑，上面归结的次要用于投合下面提到的爬虫“抓取战略”。

一、经过 robots.txt 以及爬虫对于话：搜刮引擎发明一个新站，准绳上第一个拜访的便是 robots.txt 文件，能够经过 allow/disallow 语法通知搜刮引擎那些文件目次能够被抓取以及不成以被抓取。

对于 robots.txt 的具体引见：about /robots.txt别的需求留意的是：allow/disallow 语法的挨次是有差别的

二、经过 meta tag 以及爬虫对于话：比方有的时分咱们但愿网站列表页没有被搜刮引擎收录可是又但愿搜刮引擎抓取，那末能够经过 ＜meta name=“robots” content=“noindex，follow”＞ 通知爬虫，其余罕见的另有 noarchive，nosnippet，noodp 等。

三、经过 rel=“nofollow” 以及爬虫对于话：对于 rel=“nofollow” 比来国平写了一篇文章《若何用好 nofollow》很值患上一读，置信读完以后你会有很年夜的启示。

四、经过 rel=“canonical” 以及爬虫对于话：对于 rel=“canonical” google网站站短工具协助有很具体的引见：深化理解 rel=“canonical”

五、经过网站舆图以及爬虫对于话：比拟罕见的是 xml 格局 sitemap 以及 html 格局 sitemap，xml 格局 sitemap 能够联系处置或许紧缩紧缩，别的，sitemap 的地点能够写入到 robots.txt 文件。

六、经过网站办理员东西以及搜刮引擎对于话：咱们打仗至多的便是google网站办理员东西，能够设定 谷歌bot 抓取的频次，屏障没有想被抓取的链接，把持 sitelinks 等，别的，Bing 以及 Yahoo 也都有办理员东西，baidu有一个baidu站长平台，内测一年多了依旧正在内测，不约请码没法注册。

别的，这外面还衍生出一个观点，便是我不断比拟注重的网站收录比，所谓网站收录比=网站正在搜刮引擎的收录数/网站实在数据量，网站收录比越高，阐明搜刮引擎对于网站的抓取越顺遂。

临时就想到这些，目标正在于测验考试性的讨论若何更无效的进步网站正在搜刮引擎的收录量。

权当举一反三，欢送列位弥补！

备注：

收集爬虫（web crawler）又称为收集蜘蛛（web spider）是一段较量争论机顺序，它从互联网上依照必定的逻辑以及算法抓取以及下载互联网的网页，是搜刮引擎的一个紧张构成局部。