robot

搜尋器會每隔一段時間會對你的網站進行搜尋和抓取, 以更新搜尋器的資料. 但是如何限制它們對你的網頁進行抓取. 只要透過一