如何處理掛掉的網頁?

how-dead-hanging-pages

死連就是服務器的地址已經改變了,無法找到當前地址位置。在網站日常運營,死連是難免會產生的,不僅影響了用戶體驗,也影響了搜尋效果和跳出率,長期下來會對網站形成負面的影響。壹時代SEO網路行銷教學網經過多年的研究總結出所以關於死連的常見問題,教你如何正確處理死連。

 

大量死連對搜尋引擎來講,有什麼影響?

1、死連率過高會影響搜尋引擎對網站的評分。
2、爬蟲每天對網站的抓取頻率都是有限的,如果我們網站上有大量的死連結,這樣就影響頁面的抓取和收錄。
3、過多死連對網站用戶來講也是體驗不好的表現。

 

死連結是如何產生的?

網站內部添加了錯誤的內部連結
編輯失誤或者程序員大意讓頁面產生了不存在的頁面。

網站短暫無法訪問
因為服務器、空間或程序問題導致網站短暫無法訪問,出現大量返回碼為5開頭的服務器錯誤頁面。

外部連結錯誤
用戶或者站長在站外發布了錯誤URL;別的網站複製或採集了你們含有錯誤連結的頁面。

爬蟲提取了不完整的URL
個別爬蟲在提取頁面URL的時候,因為URL中有不規則字符或者URL與後面的文字連結起來,導致URL失效。

網站改版
如果你的網站已經改版或者將要改版,一定要注意死連問題,很多網站改版後,之前的老頁面直接刪除,導致了大量的死連結。

管理員刪除頁面
網站管理員刪除被黑、廣告、過時、被灌水頁面導致很多死連結。

 

如何發現網站中存在的死連結?

1、站長工具中的抓取異常,工具可以查看最近一個月產生的各種死連,並支持導出功能。
2、使用相關的連結檢查外掛,然後site我們的收錄網址,進行去查詢。
3、在網站運營中,特別是論壇,經常需要刪除某些頁面,在刪除頁面時一定要記錄對應的Url以便後期提交死連。
通過上述兩種辦法提取的死連列表,一定要經過刪重和驗證,比如用wps表格進行刪除重複連結,然後再使用Http狀態批量查詢工具驗證下是否確實是死連結。

 

如何正確處理死連結?

網站改版最容易產生死連
改版之前的頁面如果有價值盡量不要刪除和修改Url,若需要更換域名或Url分配規則,那一定要將之前的Url進行301跳轉到對應的Url;若老的數據必須刪除,那刪除的所有頁面Url要進行整理和提交死連。

對發現的死連結如何處理
新建一個txt文檔,把所有的死連結複製到txt文檔中。
將txt文檔上傳到網站的根目錄。站長工具-網頁抓取-死連提交-新增數據-填寫死連文件地址
(如bbs.seo.com/xxx.txt)。
同時還需要將死連結用robots遮蔽掉。
這樣可以避免爬蟲抓取低品質的頁面,提升高品質頁面的抓取。這樣還可避免死連被刪了之後,快照還存在的現象。

ps.如果死連具有一定的規則,如某個目錄下全部為死連結,可以通過規則死連提交。
為了提升用戶體驗,減少跳出率,必須要去空間控制面板設定404頁面,將死連結頁面或者錯誤頁面引導到網站上,減少用戶流失。

 

注意事項
1、提交的死連中不能存在有活連結,必須返回的狀態碼是:404。在站長工具中提交死連前,一定要確保提交的死連數據不存在活連結。一旦存在活連,會顯示提交失敗導致無法刪除。
2、由於很多網站程序問題,很多打不開的頁面返回碼並非404,這是一個大問題,比如明明是打不開的頁面返回碼是301、200、500,如果是200的話會導致網站中出現不同URL獲取相同內容。比如某個站,文章刪除後,返回碼卻是500,之後發現了,立馬進行了處理。大家盡量找出所有錯誤URL格式,並設定HTTP狀態碼為404。
3、把所有的錯誤頁面找到後,一定要尋找此類頁面URL相同特徵,並且和正常頁面的特徵有區分,寫對應規則到robots文件中,禁止爬蟲抓取,就算你已經在站長工具中提交了死連,也建議robots封禁抓取。
4、robots只能解決爬蟲不再抓取此類頁面,但解決不了已經收錄頁面的快照刪除問題,若你的網站被黑,刪除了被黑頁面,除了robots封禁被黑頁面外,還應該將這些頁面提交死連。提交死連是刪除被黑頁面快照的最快辦法。