單項(xiàng)選擇題用于robots.txt 文件中，標(biāo)記不允許的是（）
A.disallow
B.User-agent
C.allow
您可能感興趣的試卷
你可能感興趣的試題
1.單項(xiàng)選擇題下列選項(xiàng)中，被稱為主題網(wǎng)絡(luò)爬蟲的是（）
A.聚焦網(wǎng)絡(luò)爬蟲
B.深層網(wǎng)絡(luò)爬蟲
C.通用網(wǎng)絡(luò)爬蟲
D.增量式網(wǎng)絡(luò)爬蟲
2.單項(xiàng)選擇題下列數(shù)據(jù)中，能夠被網(wǎng)絡(luò)爬蟲抓取的是（）
A.互聯(lián)網(wǎng)非公開信息
B.網(wǎng)站后臺(tái)信息
C.互聯(lián)網(wǎng)公開的且可訪問到的信息
D.用戶的注冊(cè)信息
