搜索引擎利用網(wǎng)站地圖的建立蜘蛛在互聯(lián)網(wǎng)上爬行

網(wǎng)站地圖簡介

網(wǎng)站地圖是一個XML文件，它包含一個網(wǎng)址URL表和相關(guān)的屬性，詳細(xì)說明應(yīng)索引某個特定網(wǎng)站的哪些內(nèi)容。網(wǎng)站地圖必須為UTF-8編碼。下面是網(wǎng)站地圖文件需要的XML元素：

<urlset> -- 網(wǎng)站地圖文件以這個標(biāo)簽起始和結(jié)束，起始標(biāo)簽必須包括命名空間（xmlns）屬性。

<url> -- 文件中的每一個網(wǎng)頁包含在這個元素之中。

<loc> -- 文件中指定的網(wǎng)頁的實際地址。它是<url>元素的一個子元素。

文件中還有下列可選元素：

<lastmod> -- <url>元素的一個子元素。它指定最近一次更新網(wǎng)頁的時間。

<changefreq> -- <url>元素的一個子元素。它指定網(wǎng)頁更新的頻率（經(jīng)常、每小時、每天、每周、每月、每年及從未更新）。

<priority> -- <url>元素的一個子元素。它指定網(wǎng)站內(nèi)網(wǎng)頁相對于其它網(wǎng)頁的重要性，有效值為0.0-1.0，默認(rèn)值為0.5。

下面的網(wǎng)站地圖樣本說明如何在一個樣本網(wǎng)頁中應(yīng)用這些元素。它為一個假定的網(wǎng)站指定主頁，以及它的更新頻率，上次更新的時間和網(wǎng)站中的優(yōu)先權(quán)。

<?xml version="1.0" encoding="UTF-8"?>
<urlsetxmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>http://www.test.com/</loc>
<lastmod>2006-11-20</lastmod>
<changefreq>daily</changefreq>
<priority>0.3</priority>
</url>
</urlset>

網(wǎng)站地圖文件的位置由你自己決定，但它的位置決定了可能包含中文件中的URL集。例如，如果上面的樣本網(wǎng)站地圖文件位于http://www.test.com/sitemap.xml，那么網(wǎng)站地圖文件中可能包含任何以http://www.test.com/開頭的URL。因此，我們建議將網(wǎng)站地圖文件存放在網(wǎng)站的根目錄下。網(wǎng)站地圖文件的大小不得超過10MB。如果一個文件超出這個限制，就需要使用gzip進(jìn)行壓縮。

建立一個網(wǎng)站地圖

既然網(wǎng)站地圖以XML為基礎(chǔ)，就可以方便的使用任何文本編輯器建立并編輯它們，不過也可以應(yīng)用專門的工具。下面的列表提供了一些當(dāng)前的工具：

Node Map：一個生成并確認(rèn)網(wǎng)站地圖XML文件的工具。

Gsitemap：一個應(yīng)用.NET Framework建立的網(wǎng)站地圖生成工具。

GSiteCrawler：一個生成網(wǎng)站地圖文件的Windows工具。

phpSitemapNG：一個用PHP編寫的免費網(wǎng)站地圖生成器。

Google Sitemap Generator：一個可以用于生成網(wǎng)站地圖文件的Python腳本。

通告搜索引擎

建立一個網(wǎng)站地圖文件后，應(yīng)該將它提交給一個搜索引擎。每個搜索都擁有自己的網(wǎng)站地圖提交界面。Google的Webmaster工具集中包含了一個網(wǎng)站地圖提交頁面。在使用之前你必須注冊一個賬戶。雅虎也有一個免費的網(wǎng)站地圖提交頁面，但在使用之前同樣必須注冊一個賬戶。其它搜索引擎也會仿效Google、雅虎和MSN，提供相似的功能。

其它工具

搜索引擎收錄網(wǎng)頁的爬行過程緩慢而且需要大量資源。網(wǎng)站地圖為網(wǎng)站指定應(yīng)收錄哪些內(nèi)容而進(jìn)行搜索提供了一種方法。它們建立像XML一樣的簡單文本格式文件，但有許多工具可以幫助你建立網(wǎng)站地圖文件?，F(xiàn)在，它們只是對當(dāng)前的處理過程進(jìn)行補充。