如果我們從搜索引擎蜘蛛的角度去看待一個網站，在抓取、索引和排名時會遇到哪些問題呢？解決了這些問題的網站設計就是搜索引擎友好的。

1. 搜索引擎蜘蛛能不能找到網頁

要讓搜索引擎發現網站首頁，就必須要有外部鏈接練到首頁，找到目標后，蜘蛛沿著內部鏈接找到更深的內容頁。所以要求網站要有良好的結構，符合邏輯，并且所有頁面可以通過可爬行的普通HTML鏈接到達。JavaSricpt鏈接、Flash中的鏈接等搜索引擎蜘蛛一般不能跟蹤爬行，就會造成收錄問題。

網站所有頁面點擊距離不能太遠，最好是在四、五次點擊之內。要被搜索引擎收錄，頁面需要有最基本的權重，良好的網站鏈接結構可以適當傳遞權重，使盡可能多的網頁達到收錄門檻。

2.找到網頁后能不能抓取頁面類容

被發現的URL必須是可以被抓取的，數據庫動態生成、帶有過多參數的URL、SessionID、整個頁面是Flash、框架結構（frame）、可疑的轉向、大量復制內容等可以使搜索引擎敬而遠之。

 某些文件站站長可能不希望被收錄，除了不鏈接這些文件，更保險的方法是使用robots文件或meta robots標簽禁止收錄。

 3.抓取頁面后怎樣提煉有用信息

  關鍵詞在頁面重要位置合理分布、重要標簽的撰寫、HTML代碼精簡、起碼的兼容性等可以幫助搜索引擎理解頁面內容，提取有用信息。

 只有搜索引擎能順利找到所有網頁，抓取這些頁面并提取出其中真正有相關性的內容，網站才可以被視為搜索引擎友好的。

  網上搜索引擎不友好的網站比比皆是，尤其是一些中小企業網站。