意高方案技術分享專欄

文章標籤為 ‘robots.txt’

1. 建立robots.txt文件,如果對搜索器沒有任何特別的規範,可設定內容為*。 2. HTML碼需符合W3C的HTML 4.0或XHTML 1.0要求。 3. 避免使用frame或iframe。 4. 建立一個結構清晰網站導航頁面。 5. 盡量避免不必要的跳轉(Redirect)。 6. 以<HTML>作為代碼的開始。 7. 保持HTML中<TITLE>標纖中的內容與文章內容的標題保持一致,而每一頁面的標題必須不同。 8. 使用<H1>和<H2>標纖來表示文章內容的標題和副標題,若有需要,可用CSS進行外觀上的調整。 9. <IMG>中的ALT屬性必須提供。 [...]

與搜尋器溝通的機械人



十一月 24th, 2005

搜尋器會每隔一段時間會對你的網站進行搜尋和抓取, 以更新搜尋器的資料. 但是如何限制它們對你的網頁進行抓取. 只要透過一個機械人 "robots.txt". 這個檔案可以限制搜尋器對你的網站進行抓取. 為何需要"robots.txt"? 例如: 你建立了一些私人網頁不想外間可以搜尋. 又或你的公司網頁有一些是專門為公司內部員工使用. 另外, 你網站內那些專門用作儲存圖像的檔案夾.o expose the image folder too. 如何設置"robots.txt"? 只需將"robots.txt"上載至你網站的根目錄. 如何建立"robots.txt"? [...]