而言，让网站内的页面能够趁早、各个方面地被搜引得擎引得、收录应当说是首要的担任的工作，这是实行其它SEO策略的最基本担保。——无非，这也是往往易被过高估计的一个环八节，譬如说我们时不时可以看见某些人声称自个儿的网站被Google收录了若干页面如几K甚至于几十K等以证实SEO办公的成功。但客观地说，网页仅只被搜引得擎引得、收录是没有太大的实际意义，往往只能沦为浩如烟海的Internet世界中的随葬品，更扼要的是怎么样让网页显露出来在针对特别指定搜索项的SERP(搜索最后结果页面)前几页。——人们置信，让网站内尽有可能多的页面被收录进搜引得擎引得数值库到底不是一件坏事，网页越多，曝光的机缘也便越大，虽则终极效果怎么样存在疑问。
　　Anyway，假如在对网站实行SEO时将重点施放在网页被引得、收录的速度与速率，当然也未可厚非，而要想使成为事实这一点儿，需要我们对搜引得擎怎么样收录、引得网页的机制有所理解。下边我们以Google为例，检举搜引得擎收录、引得网页的过程，冀望能对朋友们有后助益。——对其它搜引得擎如Yahoo!、Live搜索及百度而言，尽管有可能在具体细八节上存在区别，无非，基本策略应当是大致相似的。
　　1、使聚在一起待引得网页的url
　　Internet上存在的网页数目绝对是个极大的数字，见天新增的网页也数量极多，搜引得擎需要首先找到要引得收录的对象。
　　具体到Google而言，虽则对GoogleBot是否存在DeepBot与FreshBot的差别存在争议——至于是否叫恁地两个名称更是众说纷耘，当然，名称本身并不扼要——至少到到现在为止截止，主流的看法是，在Google的robots中，确实存在着相当局部专门为真正的引得收录页页准备“原始素材”的robots——在这搭我们暂且仍称之为FreshBot吧——他们的担任的工作便是见天不已地电子扫描Internet，以发觉并维护一个极大的url列表供DeepBot使唤，换句话说，当其过访、读取其一个网页时，目标并不在于引得这个网页，而是找出这个网页中的全部连接。——当然，如此仿佛好象在速率上存在矛盾，多少有点不太可信。无非，我们可以简单地通过以下方式判断：FreshBot在电子扫描网页时不具有“排它性”，也即是说，位于Google不同的数值核心的多个robots有可能在某个很短的时间周期，譬如说一天甚至于一钟头，过访同一个页面，而DeepBot在引得、缓存页面时则不会显露出来大致相似的情事，即Google会限止由某个数值核心的robots来完成这项办公的，而不会显露出来两个数值核心同时引得网页同一个版本的情事，假如这种讲法没有漏洞的话，则仿佛好象可以从服务器过访日记中时不时可以看见源自不同IP的GoogleBot在很短的时间内多次过访同一个网页证实FreshBot的存在。因为这个，有时发觉GoogleBot次数多过访网站也不要雀跃太早，或许其根本不是在引得网页而只是在电子扫描url。
　　FreshBot记录的信息涵盖网页的url、Time Stamp(网页开创或更新的时间戳)，以及网页的Head信息(注：这一点儿存在争议，也有不少人置信FreshBot不会去读取目的网页信息的，而是将这局部办公交由DeepBot完成。无非，作者倾向于前一种讲法，由于在FreshBot向DeepBot提交处理的url列表中，会将网站设置禁阻引得、收录的页面摈除在外，以增长速率，而网站举行此类设置时除使唤robots.txt外还有相当局部是通过mata标签中的“noindex”使成为事实的，不读取目的网页的head仿佛好象是没有办法使成为事实这一点儿的)，假如网页不可以过访，譬如说网络中断或服务器故障，FreshBot则会记下该url并择机重试，但在该url可过访之前，不会将其介入向DeepBot提交处理的url列表。
　　总的来说，FreshBot对服务器带宽、资源的占用仍然比较小的。最后，FreshBot对记录信息按不同的优先级举行分类，向DeepBot提交处理，依据优先级不同，主要有以下几种：
　　A：新建网页；B：旧网页/新的Time Stamp，即存在更新的网页；C：使唤301/302重定向的网页；D：复杂的动态url，如使唤多个参变量的动态url，Google有可能需要附带加上的办公才能不错剖析其内部实质意义。——随着Google对动态网页支保有经验的增长，这一分类有可能已经消除；E：其它类型的文件，如指向PDF、DOC文件的连接，对这些个文件的引得，也有可能需要附带加上的办公；F：旧网页/旧的Time Stamp，即未更新的网页，注意，这搭的时间戳不是以Google搜索最后结果中预示的日子为准，而是与Google引得数值库中的日子比对；G：不正确的url，即过访时回返404回答的页面；
　　优先级按由A至G的顺着次序排列，顺次减低。需要着重提出的是，这搭所言之优先级是相对的，譬如说同等是新建网页，依据指向其的连接质量、数目的不同，优先级也有着巨大的差别，具备源自相连的权威网站连接的网页具备较高的优先级。这个之外，这搭所指的优先级仅针对同一网站内里的页面，事情的真实情况上，不同网站也有有着不同的优先级，换句话说，对权威网站中的网页而言，纵然其最低优先级的404 url，也有可能比很多其它网站优先级无上的新建网页更具优势。
　　2、网页的引得与收录
　　接下来才进入了真正的引得与收录网页过程。从上头的检举可以看出，FreshBot提交处理的url列表是相当极大的，依据语言、网站位置等不同，对特别指定网站的引得办公将分配至不同的数值核心完成。整个儿引得过程，因为极大的数值量，有可能需要几周甚至于更长时间才能完成。
　　正如上所述文所言，DeepBot会头先引得优先级较高的网站/网页，优先级越高，显露出来在Google引得数值库及至终极显露出来在Google搜索最后结果页面中的速度便越快。对新建网页而言，只要进入了到这个阶段，纵然整个儿引得过程没有完成，相应的网页便已具有显露出来在Google引得库中的有可能，置信很多朋友在Google中使唤“site:somedomain.com”搜索时不时常看见示明为补给最后结果只预示网页url或只预示网页标题与url但没有描写的页面，此即是处于这一阶段网页的正常最后结果。当Google真正读取、剖析、缓存了这个页面后，其便会从补给最后结果中逃出而预示正常的信息。——当然，前提是该网页具备足够的连接，出奇是来自权威网站的连接，况且，引得库中没有与该网页内部实质意义相同或近是的记录(Duplicate Content过淋)。
　　对动态url而言，虽则方今Google声称在对其办理方面已不存在绊脚石，无非，可以仔细查看到的事情的真实情况毅然预示动态url显露出来在补给最后结果中的概率长远于使唤静态url的网页，往往需要更多、更有价值的连接才能从补给最后结果中逸出。
　　而对于上文中之“F”类，即未更新的网页，DeepBot会将其时间戳与Google引得数值库中的日子比对，明确承认尽管有可能搜索最后结果中相应页面信息未赶得及更新但只要引得了最新版本即可——思索问题网页多次更新、改正的情事——；至于“G”类即404 url，则会查寻引得库中是否存在相应的记录，假如有，将其删去。
　　3、数值核心间的同步
　　前文我们提到过，DeepBot引得某个网页特殊情况由特别指定的数值核心完成，而不会显露出来多个数值核心同时读取该网页，作别获致网页近来版本的情事，如此，在引得过程完成后，便需要一个数值同步过程，将网页的最新版本在多个数值中体会到更新。
　　这就是之前著称的Google Dance。无非，在BigDaddy更新后，数值核心间的同步不再象那样子集中在特别指定的时间段，而是以一种蝉联的、时间性更强的方式举行。尽管不同数值核心间仍存在一定的差别，但差别已经半大，并且，保持的时间也很短。
　　增长搜引得擎引得收录网页的速率，依据上头的检举，可以看出，要想让您的网页尽有可能快、尽有可能多地被搜引得擎收录，至少应从如下所述几方面举行优化：
　　增长网站反相连接的数目与质量，源自权威网站的连接可以让您的网站/网页在熬头时间内被搜引得擎“看见”。当然，这也是老生常谈了。从上头的检举可以看出，要增长网页被搜引得擎收录的速率，首先要让搜引得擎找到您的网页，连接是搜引得擎找到网页的惟一路径——“惟一”一词存在些须争议，见下边的SiteMaps局部——从这个角度看，向搜引得擎提交处理网站什么的的做法没有不可缺少且无谓，相对而言，要想让您的网站被收录，获致外部网站的连接才是根本，同时，高质量的连接也是让网页步出补给最后结果的关键因素。
　　网页预设要秉持“搜引得擎友善”的原则，从搜引得擎spider的视角预设与优化网页，保证网站的内里连接对搜引得擎“可见”，相对于获致外部网站连接的困难程度，合理规划的内里连接是增长搜引得擎引得与收录速率更经济、管用的路径——错非网站根本未被搜引得擎收录。
　　假如您的网站使唤动态url，或许导航点菜单使唤JavaScript，那末，当在网页收录方面碰到绊脚石时，应首先从这搭下手。
　　使唤SiteMaps。事情的真实情况上，人们觉得Google消除了FreshBot的一个主要缘故便是SiteMaps(xml)协议的广泛应用，觉得如此只需读取网站供给的SiteMaps便可达成网页更新信息，而不需FreshBot耗时费劲地电子扫描。这种讲法仍然有一定道理的，虽则到现在为止不中确定Google究竟直接使唤SiteMaps作为DeepBot的引得列表仍然用做FreshBot的电子扫描路标，但SiteMaps能够增长网站引得收录的速率则是无需争辩的事情的真实情况。譬如说，SEO考求曾做过如下所述的测试：
　　两个网页，获致的连接情事相同，一个介入SiteMaps而另一未介入，显露出来在SiteMaps中的网页很快被收录，而另一个页面则在过了多时后才被收录；
　　某个孤岛页面，没有不论什么指向其的连接，但将其介入SiteMaps时期后，同等被Google引得，只无非，显露出来在补给最后结果中。
　　当然，从尽管网页未显露出来在SiteMaps中但仍能被Google引得也可以看出，Google毅然使唤FreshBot或大致相似FreshBot的机制，当然这也容易了解，终究毅然有那末多未使唤SiteMaps的网站，Google没可能将其拒之门外。