Robots文件在網(wǎng)站優(yōu)化中是一個很重要的文件，搜索引擎爬行網(wǎng)站第一個抓取的文件就是Robots文件。robots.txt是你對搜索引擎制定的一個如何索引你的網(wǎng)站的規(guī)則。通過該文件，搜索引擎就可以知道在你的網(wǎng)站中哪些文件是可以被索引的，哪些文件是被拒絕索引的。那么關(guān)于Robots文件的知識你又知道多少呢？今天微勤廣州網(wǎng)站建設(shè)就帶大家了解一下。

一、robots.txt 文件的定義 

Robots是站點與spider溝通的重要渠道，站點通過robots文件聲明本網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。

二、robots.txt文件的作用

robots.txt文件主要用來告訴搜索引擎蜘蛛網(wǎng)站哪些內(nèi)容是可以爬行和抓取的，哪些頁面是被屏蔽的，不能爬行和抓取，例如我們可以通過robots.txt文件屏蔽網(wǎng)站的死鏈接、屏蔽搜索引擎蜘蛛抓取站點內(nèi)重復(fù)內(nèi)容和頁面和阻止搜索引擎索引網(wǎng)站隱私性的內(nèi)容

三、robots.txt文件注意事項

1、必須放置在一個站點的根目錄下;

2、文件名必須全部小寫;

3、最好是UTF-8編碼。

四、robots.txt文件的基本語法

1、User-agent，搜索引擎蜘蛛的名稱;常見蜘蛛名稱見文末。

2、Disallow，要攔截的部分，禁止蜘蛛訪問的部分。

3、Allow，放行的部分，允許蜘蛛訪問的部分。

4、Sitemap，網(wǎng)站地圖索引文件。

五、robots.txt文件常見的用法舉例

例子1：禁止所有搜索引擎訪問網(wǎng)站的任何部分

User-agent: *

Disallow:/

例子2：允許所有搜索引擎訪問網(wǎng)站任何部分

User-agent: *

allow:/

或者創(chuàng)建一個空白的robots.txt文件放在根目錄

本文由廣州網(wǎng)站建設(shè)團隊微勤網(wǎng)絡(luò)整編而成，如需了解更多網(wǎng)站建設(shè)資訊、案例、各種網(wǎng)站建設(shè)知識可以聯(lián)系廣州網(wǎng)站建設(shè)公司微勤網(wǎng)絡(luò)專業(yè)項目經(jīng)理進行一對一問答

本文地址：廣州網(wǎng)站建設(shè)告訴你Robots文件的相關(guān)知識：http://m.changfengjd.com/xcx/99.html