932
火車采集器
頁麵緩存功能的使用介紹
頁麵緩存功能的使用介紹
作者:小文 發布於:2013-8-12 15:03 Monday 分類:功能介紹
如果有多個任務要對同一個網頁的不同位置進行采集,那麼,很容易出現這個頁麵訪問過多的問題,而多次的請求中,原頁麵可能並不存在任何的更新,白白浪費時間和帶寬。現在我們開發了頁麵緩存功能,可以解決這個問題。
用戶需要打開二級代理程序 ProxyModule.exe 就可以看到。隻需要開啟,然後設置一下網址必須包含和內容必須包含,則符合條件的內容會緩存在本地。在指定的時間內是可以不去訪問網站,直接讀取本地數據文件。
標簽: 代理
相關日誌:
最後更新:2017-05-09 01:06:01