甘肃快3开奖结果
貴陽網絡推廣
您的當前位置: 貴陽網絡推廣 > 新聞資訊 > 公司新聞

貴陽網絡推廣教你如何避免不想收錄的URL不被收錄抓取

貴陽網絡推廣教你如何避免不想收錄的URL不被收錄抓取

如何來避免不想要的URL不被爬行和索引、收錄呢?

第一:不想收錄的URL保持為動態URL,甚至故意越動態越好,以阻止被爬行和收錄。但是,搜索引擎現在都能爬行、收錄動態URL,而且技術上越來越不是問題。雖然參數多到一定程度確實不利于收錄,但4、5個參數通常還可以收錄。我們無法確認需要多少參數才能阻止收錄,所以不能當作一個可靠的方法。而且這些URL接收內鏈,又沒有什么排名能力,還是會浪費一定權重。 

貴州網絡推廣

    

第二:robots禁止收錄。同樣,URL接收了內鏈也就接收了權重,robots文件禁止爬行這些URL,所以接收的權重不能傳遞出去,頁面成為權重只進不出的黑洞。連向這些URL的鏈接配合nofollow也不完美,和robots禁止類似,nofollow在Google的效果是這些URL沒有接收權重,權重卻也沒有被分配到其它鏈接上,所以權重同樣浪費了。百度據稱支持nofollow,但權重怎么處理未知。

貴陽網絡推廣建議將這些URL鏈接放在Flash、JS里也沒有用,搜索引擎已經可以爬行Flash、JS里的鏈接,而且估計以后越來越擅長爬。很多SEO忽略了的一點是,JS中的鏈接不僅能被爬,也能傳遞權重,和正常連接一樣。

也可以將過濾條件鏈接做成AJAX形式,用戶點擊后不會訪問一個新的URL,還是在原來URL上,URL后面加了#,不會被當成不同URL。和JS問題一樣,搜索引擎正在積極嘗試爬行、抓取AJAX里的內容,這個方法也不保險。

目前比較好的方法之一是iframe robots禁止。將過濾部分代碼放進iframe,等于調用其它文件內容,對搜索引擎來說,這部分內容不屬于當前頁面,也即隱藏了內容。但不屬于當前頁面不等于不存在,搜索引擎是可以發現iframe中的內容和鏈接的,還是可能爬行這些URL,所以加robots禁止爬行。iframe中的內容還是會有一些權重流失,但因為iframe里的鏈接不是從當前頁面分流權重,而只是從調用的那個文件分流,所以權重流失是比較少的。除了排版、瀏覽器兼容性之類的頭疼問題,iframe方法的一個潛在問題是被認為作弊的風險。

相關標簽:貴陽網絡推廣

貴公網安備 52010202001632號




分享
歡迎給我們留言
請在此輸入留言內容,我們會盡快與您聯系。
姓名
聯系人
電話
座機/手機號碼
郵箱
郵箱
地址
地址
驗證碼
甘肃快3开奖结果 必中腾讯分分彩计划下载 防连挂计划软件下载 扑克牌三公怎么玩 北京28压大小的方法 欢乐牛牛 多赢飞艇计划软件 蚂蚁pt 六稳 重庆时时数据统计 什么生意只赚不赔