多項(xiàng)選擇題

下列選項(xiàng)中，關(guān)于robots.txt文件的說法正確的是（）

A.robots.txt文件存放于空間根目錄下
B.robots.txt是搜索引擎蜘蛛訪問網(wǎng)站的時(shí)候要查看的第一個(gè)文件
C.如果robots.txt不存在，搜索引擎蜘蛛將能夠訪問網(wǎng)站上所有未被口令保護(hù)的頁面
D.robots.txt文件只需要存放在空間任意位置就行

微信掃碼免費(fèi)搜題