火車采集器v7版新浪評論采集插件

作者：小文發布於：2012-5-15 20:41 Tuesday 分類：免費插件

這個插件是對多頁中的第一個頁麵進行了分析，獲取到分頁總數，然後生成了分頁讓采集器下載，涉及的代碼為

        public List<string> GetPagesUrl(int level, string pageurl, string html, string pagesStyle, string pagesCombine)
        {
            List<string> urls = new List<string>();
            //"show": 127}, https://comment5.news.sina.com.cn/page/info?format=js&jsvar=pagedata&channel=gn&newsid=1-1-24331859&group=0&page=1&list=all&sort=0，

https://news.sina.com.cn/c/2012-04-26/061224331859.shtml

            if (level == 1 && pageurl.Contains("page=1&"))
            {
              string sign="show\": ";
              int pos = html.IndexOf(sign);
              if (pos > 0)
              {
                  int pos2 = html.IndexOf("}", pos);
                  if (pos2 > 0)
                  {
                      int count = int.Parse(html.Substring(pos + sign.Length, pos2 - pos - sign.Length));
                      count = (int)Math.Ceiling((double)count / 20);
                      for (int i = 2; i < count + 1; i++)
                      {
                          urls.Add(pageurl.Replace("page=1", "page=" + i.ToString()));
                      }
                  }
              }
            }
            return urls;
        }

public bool UseGetPagesUrl
        {
            get { return true; }
        }

規則請在附件中下載