匍匐指的是查找引擎蜘蛛從已知頁麵上解分出鏈接指向的URL，然後沿著鏈接發現新頁麵（也就是鏈接指向的URL）的進程。當然，蜘蛛並不是發現新URL立刻就爬曩昔抓取新頁麵，而是把發現的URL存放到待抓地址庫中，蜘蛛依照必定次序從地址庫中提取要抓取的URL。

　　抓取是什麽？

　　抓取是查找引擎蜘蛛從待抓地址庫中提取要抓的URL，拜訪這個URL，把讀取的HTML代碼存入數據庫。蜘蛛的抓取就是像瀏覽器相同翻開這個頁麵，和用戶瀏覽器拜訪相同，也會在服務器原始日誌中留下記載。

　　索引是什麽？

　　索引指的是將一個URL的信息進行收拾，存入數據庫，也就是索引庫，用戶查找時，查找引擎從索引庫中提取URL信息並排序展示出來。

　　錄入是什麽？

　　從查找引擎視點看，URL被錄入了，也就是這個URL的信息在索引庫中存在。

　　沒有被抓取的頁麵是能夠被索引的

　　也就是說，蜘蛛沒有拜訪和抓取這個頁麵（比方被robots文件製止抓取），這個頁麵卻有信息存在索引庫中，用戶查找時還能看到。

　　百度從網上那麽多鏈接知道淘寶主頁的存在，通過鏈接的錨文字也知道這個頁麵標題大概是淘寶之類的，當然更知道百度口碑裏的點評數。所以即便百度蜘蛛沒有抓取淘寶主頁，用戶仍是能搜到，而且顯現一些百度知道的信息。

　　要想百度不能回來淘寶主頁該怎麽辦呢？撤銷robots文件的製止抓取，頁麵上用noindex製止索引。

　　被抓取的頁麵是能夠不被索引的

　　常見的就是上麵說過的，頁麵頭信息運用noindex製止索引，頁麵被抓取，讀到noindex後，不被索引，不會在查找成果中回來。老頁麵新加noindex也不是立刻刪去索引，還會保存索引一段時刻，但不會回來在查找成果中。

　　鄭州漢獅網絡科技有限公司，是一家專注網站建設製作設計、網站開發、網站SEO排名營銷，致力於幫助更多優秀企業拓寬業務渠道及精簡業務模式。8年隻專研SEO算法，大數據模型化分析，平台係統化操作，3-15天優化排名到百度大众娱乐，新站、整站。快速提升排名，先優化排名後付費，全方位解決企業SEO難題。