單項(xiàng)選擇題

某網(wǎng)站禁止百度蜘蛛索引所有網(wǎng)頁(yè)，以下robots.txt文件正確的是：（）

A.{User-agent：BaiduspiderDisallow：}
B.{User-agent：BaiduspiderAllow：*}
C.{User-agent：BaiduspiderAllow：/}
D.{User-agent：BaiduspiderDisallow：/}

你可能感興趣的試題

單項(xiàng)選擇題

某網(wǎng)頁(yè)不允許搜索引擎抓取，以下代碼正確的是：（）

A. <meta name="robots" content="nosnippet"/>
B. <meta name="robots" content="noarchive"/>
C. <meta name="robots" content="nofollow"/>
D. <meta name="robots" content="noindex"/>

單項(xiàng)選擇題

通常在網(wǎng)絡(luò)蜘蛛爬行的過(guò)程中，第一個(gè)獲取的網(wǎng)頁(yè)文字內(nèi)容是：（）

A. <title>標(biāo)簽中的內(nèi)容
B. <meta>標(biāo)簽中的內(nèi)容
C. <body>標(biāo)簽中的內(nèi)容
D. <h1>標(biāo)簽中的內(nèi)容

某網(wǎng)站禁止百度蜘蛛索引所有網(wǎng)頁(yè)，以下robots.txt文件正確的是：（）

你可能感興趣的試題

某網(wǎng)頁(yè)不允許搜索引擎抓取，以下代碼正確的是：（）

通常在網(wǎng)絡(luò)蜘蛛爬行的過(guò)程中，第一個(gè)獲取的網(wǎng)頁(yè)文字內(nèi)容是：（）

某網(wǎng)站禁止百度蜘蛛索引所有網(wǎng)頁(yè)，以下robots.txt文件正確的是：（）

某網(wǎng)頁(yè)不允許搜索引擎抓取，以下代碼正確的是：（）