單項(xiàng)選擇題

robots.txt的作用是（）。

A.禁止搜索引擎蜘蛛抓取特定URL
B.給搜索引擎蜘蛛提供網(wǎng)站地圖文件
C.以上都對

你可能感興趣的試題

單項(xiàng)選擇題

Robots.txt文件是搜索引擎抓取網(wǎng)站第一個(gè)需要查看的文件，網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。在www.domain.com中，如禁止所有搜索引擎程序抓取www.domain.com/A下所有內(nèi)容，Robots文件應(yīng)如何設(shè)置？（）

A."User-agent：*Disallow：/A"
B."User-agent：Allow：/A"
C."User-agent：Disallow：/"
D."User-agent：*Allow：/"

多項(xiàng)選擇題

robots.txt支持的代碼為（）。

A.Allow
B.Disallow
C.sitemap
D.nofollow

<table id="lwomz"><wbr id="lwomz"><nobr id="lwomz"></nobr></wbr></table>