500
用C#實現蜘蛛/爬蟲程序的多線程控製
在《爬蟲/蜘蛛程序的製作（C#語言）》一文中，已經介紹了爬蟲程序實現的基本方法，可以說，已經實現了爬蟲的功能。隻是它存在一個效率問題，下載速度可能很慢。這是兩方麵的原因造成的：
1.分析和下載不能同步進行。在《爬蟲/蜘蛛程序的製作（C#語言）》中已經介紹了爬蟲程序的兩個步驟：分析和下載。在單線程的程序中，兩者是無法同時進行的。也就是說，分析時會造成網絡空閑，分析的時間越長，下載的效率越低。反之也是一樣，下載時無法同時進行分析，隻有停下下載後才能進行下一步的分析。問題浮出水麵，我想大家都會想到：把分析和下載用不同的線程進行，問題不就解決了嗎？
2.隻是單線程下載。相信大家都有用過網際快車等下載資源的經曆，它裏麵是可以設置線程數的（近年版本默認是10，曾經默認是5）。它會將文件分成與線程數相同的部分，然後每個線程下載自己的那一部分，這樣下載效率就有可能提高。相信大家都有加多線程數，提升下載效率的經曆。但細心的用戶會發現，在帶寬一定的情況下，並不是線程越多，速度越快，而是在某一點達到峰值。爬蟲作為特殊的下載工具，不具備多線程的能力何以有效率可談？爬蟲在信息時代的目的，難道不是快速獲取信息嗎？所以，爬蟲需要有多線程（可控數量）同時下載網頁。
好了，認識、分析完問題，就是解決問題了：
多線程在C#中並不難實現。它有一個命名空間：System.Threading，提供了多線程的支持。
要開啟一個新線程，需要以下的初始化：
ThreadStart startDownload = new ThreadStart( DownLoad ); //線程起始設置：即每個線程都執行DownLoad()，注意：DownLoad()必須為不帶有參數的方法Thread downloadThread = new Thread( startDownload ); //實例化要開啟的新類downloadThread.Start();//開啟線程
由於線程起始時啟動的方法不能帶有參數，這就為多線程共享資源添加了麻煩。不過我們可以用類級變量（當然也可以使用其它方法，筆者認為此方法最簡單易用）來解決這個問題。知道開啟多線程下載的方法後，大家可能會產生幾個疑問：
1.如何控製線程的數量？
2.如何防止多線程下載同一網頁？
3.如何判斷線程結束？
4.如何控製線程結束？
下麵就這幾個問題提出解決方法：
1.線程數量我們可以通過for循環來實現，就如同當年初學編程的打點程序一樣。
比如已知用戶指定了n（它是一個int型變量）個線程吧，可以用如下方法開啟五個線程。
Thread[] downloadThread;//聲名下載線程，這是C#的優勢，即數組初始化時，不需要指定其長度，可以在使用時才指定。這個聲名應為類級，這樣也就為其它方法控件它們提供了可能ThreadStart startDownload = new ThreadStart( DownLoad );//線程起始設置：即每個線程都執行DownLoad()downloadThread = new Thread[ n ];//為線程申請資源，確定線程總數for( int i = 0; i < n; i++ )//開啟指定數量的線程數{downloadThread[i] = new Thread( startDownload );//指定線程起始設置downloadThread[i].Start();//逐個開啟線程}
好了，實現控製開啟線程數是不是很簡單啊？
2.下麵出現的一個問題：所有的線程都調用DonwLoad()方法，這樣如何避免它們同時下載同一個網頁呢？
這個問題也好解決，隻要建立一下Url地址表，表中的每個地址隻允許被一個線程申請即可。具體實現：
可以利用數據庫，建立一個表，表中有四列，其中一列專門用於存儲Url地址，另外兩列分別存放地址對應的線程以及該地址被申請的次數，最後一列存放下載的內容。（當然，對應線程一列不是必要的）。當有線程申請後，將對應線程一列設定為當前線程編號，並將是否申請過一列設置為申請一次，這樣，別的線程就無法申請該頁。如果下載成功，則將內容存入內容列。如果不成功，內容列仍為空，作為是否再次下載的依據之一，如果反複不成功，則進程將於達到重試次數（對應該地址被申請的次數，用戶可設）後，申請下一個Url地址。主要的代碼如下（以VFP為例）：
<建立表>Create TABLE (ctablename) ( curl M , ctext M , ldowned I , threadNum I ) &&建立一個表ctablename.dbf，含有地址、文本內容、已經嚐試下載次數、線程標誌（初值為-1，線程標誌是從0開始的整數）四個字段<提取Url地址>cfullname = (ctablename) + '.dbf'&&為表添加擴展名USE (cfullname) GO TOPLOCATE FOR (EMPTY( ALLTRIM( ctext ) ) AND ldowned < 2 AND ( threadNum = thisNum or threadNum = - 1) ) &&查找尚未下載成功且應下載的屬於本線程權限的Url地址，thisNum是當前線程的編號，可以通過參數傳遞得到gotUrl = curl recNum = RECNO()IF recNum <= RECCOUNT() THEN &&如果在列表中找到這樣的Url地址Update (cfullname) SET ldowned = ( ldowned + 1 ) , threadNum = thisNum Where RECNO() = recNum &&更新表，將此記錄更新為已申請，即下載次數加1，線程標誌列設為本線程的編號。<下載內容>cfulltablename = (ctablename) + '.dbf'USE (cfulltablename)SET EXACT ON LOCATE FOR curl = (csiteurl) && csiteurl是參數，為下載到的內容所對應的Url地址recNumNow = RECNO()&&得到含有此地址的記錄號Update (cfulltablename) SET ctext = (ccontent) Where RECNO() = recNumNow &&插入對應地址的對應內容<插入新地址>ctablename = (ctablename) + '.dbf'USE (ctablename)GO TOP SET EXACT ONLOCATE FOR curl = (cnewurl) &&查找有無此地址IF RECNO() > RECCOUNT() THEN &&如果尚無此地址SET CARRY OFFInsert INTO (ctablename) ( curl , ctext , ldowned , threadNum ) VALUES ( (cnewurl) , "" , 0 , -1 ) &&將主頁地址添加到列表
好了，這樣就解決了多線程中，線程衝突。當然，去重問題也可以在C#語言內解決，隻根建立一個臨時文件（文本就可以），保存所有的Url地址，差對它們設置相應的屬性即可，但查找效率可能不及數據庫快。
3.線程結束是很難判斷的，因為它總是在查找新的鏈接。用者認為可以假設：線程重複N次以後還是沒有能申請到新的Url地址，那麼可以認為它已經下載完了所有鏈接。主要代碼如下：
string url = "";int times = 0;while ( url == "" )//如果沒有找到符合條件的記錄，則不斷地尋找符合條件的記錄{url = getUrl.GetAUrl( …… );//調用GetAUrl方法，試圖得到一個url值if ( url == "" )//如果沒有找到{times ++;//嚐試次數自增continue; //進行下一次嚐試}if ( times > N ) //如果已經嚐試夠了次數，則退出進程{downloadThread[i].Abort; //退出進程}else//如果沒有嚐試夠次數{Times = 0; //嚐試次數歸零處理}//進行下一步針對得到的Url的處理}
4.這個問題相對簡單，因為在問題一中已經建議，將線程聲名為類級數組，這樣就很易於控製。隻要用一個for循環即可結束。代碼如下：
for( int i = 0; i < n; i++ )//關閉指定數量n的線程數{downloadThread[i].Abort();//逐個關閉線程}
好了，一個蜘蛛程序就這樣完成了，在C#麵前，它的實現原來如此簡單。
這裏筆者還想提醒讀者：筆者隻是提供了一個思路及一個可以實現的解決方案，但它並不是最佳的，即使這個方案本身，也有好多可以改進的地方，留給讀者思考。
最後說明一下我所使用的環境：
winXP sp2 Pro
VFP 9.0
Visual Studio 2003 .net中文企業版
最後更新：2017-04-02 00:06:39