rotbots.txt文件的制作

1.robots.txt文件的作用

robots.txt文件是一個文本文件，這個文件用來告訴搜索引擎蜘蛛網(wǎng)站的哪些部分應(yīng)該被抓取，哪些部分不用抓取。比如說，如果有很多網(wǎng)站源文件，抓取可能會增加服務(wù)器的負(fù)載，且會耗費搜索引擎爬蟲的時間來索引網(wǎng)站文件。站長可以使用文本編輯器創(chuàng)建一個名為robots.txt的文件，比如NotePad++或記事本等工具。

注意：robots.txt實際上是搜索引擎訪問網(wǎng)站的時侯要查看的第1個文件，當(dāng)一個搜索蜘蛛訪問一個網(wǎng)站時，它會首先檢查該站點根目錄下是否存在robots.txt文件，如果存在就會按照該文件中的內(nèi)容來確定訪問的范圍。

2.robots.txt文件制作與上傳

打開Windows的記事本工具，在記事本中添加如下代碼，然后將其保存為robots.xt文件。

在記事本中編寫robots.txt文件效果

保存好robots.txt文件后，將其上傳到網(wǎng)站的根目錄下，就可以控制搜索引擎蜘蛛的爬行軌跡了。

鑒于robots.txt中包含了很多指令，互聯(lián)網(wǎng)上也有很多在線的工具用來生成這個文件，比如Chinaz的站長工具，網(wǎng)址為http://tool.chinaz.com/robots/，因此上面的示例可以用這個工具輕松實現(xiàn)。

使用站長工具編寫robots.txt文件

在編寫完成后，單擊下面的“生成”按鈕，將會在頁面底部的文本框控件中生成robots.txt文件內(nèi)容，將其復(fù)制到文本文件中并保存，即可創(chuàng)建robots.xt文件。