（三）對(duì)谷歌的處理
　　總體評(píng)價(jià)，谷歌對(duì)這種惡意泛解析的處理無(wú)能為力，谷歌站長(zhǎng)管理員工具雖然有刪除死鏈的功能，但卻只能刪除主域名下的死鏈，如yourdomain.com/xxx.html，無(wú)法刪除三級(jí)、四級(jí)如x.h.yourdomain.com這種垃圾地址，除非你將x.h.yourdomain.com這個(gè)網(wǎng)站進(jìn)行驗(yàn)證，面對(duì)成千上萬(wàn)的垃圾網(wǎng)址和google在國(guó)內(nèi)的市場(chǎng)份額，還是不要這么費(fèi)勁了。
　　然而，谷歌站長(zhǎng)管理員工具提示我們可以使用robots來(lái)屏蔽不要的地址，我們只要讓谷歌蜘蛛訪問(wèn)x.h.yourdomain.com/robots.txt 時(shí)返回disallow:/就行了。
具體代碼
if IsMatch(User_Agent,"Googlebot") and instr(User_Url,"robots.txt")>0 then’如果是google爬蟲(chóng)索引robots那就告訴它
response.write("User-Agent: Googlebot" & vbnewline)
response.write("Disallow: /")
response.end
else
response.Status="404 Not Found"
end if
　　為了證明有效，我們?cè)诠雀枵鹃L(zhǎng)工具建立了二級(jí)域名h.mydomain.com(驗(yàn)證方法參考后面的第四點(diǎn)。)用h.mydomain.com/1/ 這個(gè)垃圾地址進(jìn)行Fetch，圖12

 
結(jié)果顯示Denied by robots.txt，說(shuō)明設(shè)置成功。

本文地址:http://hxpgs.com.cn/news/n08/201403/15177.html,如要轉(zhuǎn)載，請(qǐng)注明轉(zhuǎn)載自5A農(nóng)業(yè)人才網(wǎng)

上一頁(yè)  [1] [2] [3] 下一頁(yè)