pplpp_2006吧 关注:0贴子:28
  • 4回复贴,共1

linkmanager.cpp

只看楼主收藏回复



1楼2012-11-23 11:29回复


    3楼2012-11-23 11:35
    回复
      2026-01-30 04:03:42
      广告
      不感兴趣
      开通SVIP免广告

      //处理解析出来的链接
      for(vector<string>::iterator it=m_page.m_regExpResult["link"].begin();it!=m_page.m_regExpResult["link"].end(); )
      {
      iMD5.GenerateMD5( (unsigned char*)it->c_str(), it->size());
      strDigest = iMD5.ToString();
      if(it->find(m_domain.c_str()) != std::string::npos )
      {
      unVisLists_lock.lock();
      if ( LinkManager::m_unVisitedUrls->find(strDigest) == LinkManager::m_unVisitedUrls->end()) //在未访问url表中未找到本链接,将链接md5和链接压入
      LinkManager::m_unVisitedUrls->insert(std::make_pair(strDigest,*it));
      unVisLists_lock.unlock();
      }


      9楼2012-11-23 11:54
      回复
        //Initialize the domain RegExp and then DoReg the domain RegExp in m_url
        m_domainRegExp = new RegExp(std::map<std::string,std::string>("domain","");
        if(m_domainRegExp->DoReg(m_url.c_str(), m_domainResult))
        m_domain = m_domainResult["domain"].begin()->c_str();
        else
        return false;


        11楼2012-11-23 11:55
        收起回复