平特心水报图
新網絡營銷基礎與實踐

你的位置:首頁 >網絡營銷 >robot

robot

一、robot的定義

Robot英文直譯是機器人,在搜索引擎優化SEO中,我們經常翻譯為:探測器。

有時,你會碰到crawler(爬行器),spider(蜘蛛),都是探測器之一,只是叫法不同。

二、SEO中常說的這個探測器(Robot)是什么?

搜索引擎用來抓取網頁的工具。它是一個軟件或者說一系列自動程序(顯然,不是一部機器)。

不同的搜索引擎給他們自己的探測器(Robot)起不同的名字。

谷歌:googlebot

百度:baiduspider

MSN:MSNbot

Yahoo:Slurp (yahoo家的這位比較特殊,沒有帶“姓”,并且用的是一個擬聲詞。Slurp,中文理解是機器人吃東西時發出的嘖嘖的聲音)

關于Robot,需要關心的主要是Robots.txt,以及網站日志中包含的以上幾個名字。

三、Robot基本語法  

      當一個搜索蜘蛛訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜索機器人就會按照該文件中的內容來確定訪問的范圍;如果該文件不存在,所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。

  robots.txt必須放置在一個站點的根目錄下,而且文件名必須全部小寫。

  User-agent:描述搜索引擎robot的名字

  即 : 你可以指定該規則只對baidu 或者google 或者其它指定搜索引擎有效 可用通配符 *表示全部

  Disallow: 描述不希望被訪問的一組URL

  設定禁止訪問的部分,可以用完整url , 也可以用相對路徑,可以是單個目文件,也可以是整個文件夾,也可以用通配符限定指定類型

  Allow: 描述希望被訪問的一組URL

  設定允許訪問的部分,不過因為默認是全部允許的,這個語法通常是配合disallow使用的,用它來完成 如“除了xxx.html該目錄下全部不能訪問”這樣的設定。 要注意的是allow和disallow的順序是有講究的,搜索引擎會以它先看到的規則為判斷標準。

  關于通配符:"$" 匹配行結束符;"*"匹配0或多個任意字符。

網絡營銷詞典內容均由網友提供,僅供參考。

平特心水报图 万科a股票 极速快3试玩 北京pk10是国家彩票吗 加拿大快乐8预测 双色球红号尾数分布图 老k棋牌为什么提不了现 明天七星彩号码查询 吉林十一选五开奖推荐 如何判断股票涨跌 中国时时彩泳坛夺金