單項(xiàng)選擇題下列選項(xiàng)中，用于在robots.txt 文件中描述搜索引擎名字的是（）
A.Disallow
B.Allow
C.accept
D.User-agent
您可能感興趣的試卷
你可能感興趣的試題
1.單項(xiàng)選擇題用于robots.txt 文件中，標(biāo)記不允許的是（）
A.disallow
B.User-agent
C.allow
2.單項(xiàng)選擇題下列選項(xiàng)中，被稱為主題網(wǎng)絡(luò)爬蟲的是（）
A.聚焦網(wǎng)絡(luò)爬蟲
B.深層網(wǎng)絡(luò)爬蟲
C.通用網(wǎng)絡(luò)爬蟲
D.增量式網(wǎng)絡(luò)爬蟲
