網站改版善用robots和404頁面降低影響

廣州網站改版善用robots和404頁面降低影響

設置robots禁止抓取錯誤頁面，對于一個功能完善和友好的新網站，404錯誤頁面是必須的，但是我現在的情況光制作了404還不夠。301定向太麻煩，后來想到了robots，這是網站與搜索引擎蜘蛛對話的一個重要文件，那我就在這個文件中告訴蜘蛛禁止抓取不存在的目錄和網頁。

查看空間訪問日志發現蜘蛛主要是抓取名為mynist目錄下的文件，這個目錄是以前舊網站的靜態網頁存放目錄，弄清楚就好辦了，在robots文件中添加如下語句Disallow:/mynist/，意思是禁止抓取此目錄下的任何文件，再仔細查看日志，將不存在的目錄和頁面一一添加在robots文件中。百度站長俱樂部lee提到過，robots新添加的語句并不會立即生效需要過程的，正常情況下一周內生效，所以在修改后幾天內蜘蛛仍然會抓取已禁止的頁面是正常的。

制作404頁面在醒目位置要明確注明“訪問的頁面已經不存在，您可以返回×××網站首頁進行瀏覽你所需要的內容”，并在這段說明中加入首頁地址鏈接來引導用戶，一方面可以降低用戶流失，另一方面可以和搜索引擎蜘蛛對話，告訴蜘蛛這是一個錯誤的的地址。許多朋友將404錯誤頁面跳轉到首頁，二老貓認為這是存在風險不可取的，會被搜索引擎誤認為做弊導致首頁降權。

404錯誤頁的測試

頁面制作好以后，命名為404.htm或者其它后輟傳入網站根目錄（由于個別虛擬空間要求不一樣可詳細查看空間說明和詢問主機商），上傳完成后在虛擬主機管理面板上設置自定義404錯誤頁路徑。傳上去后還沒有完事，有更重要的工作，那就是測試404錯誤頁面的有效性。

許多網站提供“http狀態查詢”，輸入一個不存在的頁面和或目錄然后檢測，當返回狀態碼為404說明是有效的，如果不存在的路徑返回狀態碼為200那就需要注意，說明你的設置無效或者你的主機自定義404錯誤頁面有問題，需要聯系主機商解決。下圖為正確設置了404錯誤頁面返回的狀態碼。

此文《網站改版善用robots和404頁面降低影響》由三行網絡公司原創，轉載請保留原文鏈接，謝謝！
關鍵詞標簽：廣州網站改版善用robots和404頁面降低影響    (PC+手機)響應式網站建設

• 白云區網站設計,企業建站的作用
• 天河區網站設計,url結構之Google..
• 天河區網頁設計公司,如何建設一個成功的網..
• 網站改版——如何掌握細節：不影響網站排名
• 校驗Flash網站設計3大告知，使之符合..
• 用水泵網站來分析做網站的優化過程
• 如何吸引蜘蛛抓取網頁,實現網站內容秒收錄
• 網站設計需知XML和HTML網站地圖區別
• 百度多次調整算法內容重要性比例飆升
• 建立一個有靈魂的企業網站,應該怎樣做
• 公司網頁視覺設計要達到用戶愉悅使用的目的
• 響應式網站優勢,做個響應式網站多少錢
• 網站banner圖片如何設計：突出重點信..
• 如何設計產品銷售類網站,從用戶角度看過來..
• 建筑鋼材/模具/不銹鋼網站建設-點滴制作..