コード例 #1
0
  @Override
  public Links visitAndGetNextLinks(Page page) {
    Document doc = page.getDoc();

    String html = page.getHtml();
    String title = doc.title();
    System.out.println("URL:" + page.getUrl() + "  关键字:" + getKeyword() + "  标题:" + title);
    Map<String, String> map = new HashMap<String, String>();
    map.put("url", page.getUrl());
    if (isExistKeywords(html)) {
      save(map);
    }

    /* 下面是2.0版本新加入的内容 */
    /*
     * 抽取page中的链接返回,这些链接会在下一轮爬取时被爬取。 不用担心URL去重,爬虫会自动过滤重复URL。
     */
    Links nextLinks = new Links();

    /*
     * 我们只希望抽取满足正则约束的URL, Links.addAllFromDocument为我们提供了相应的功能
     */
    nextLinks.addAllFromDocument(doc, regexRule);

    /*
     * Links类继承ArrayList<String>,可以使用add、addAll等方法自己添加URL
     * 如果当前页面的链接中,没有需要爬取的,可以return null
     * 例如如果你的爬取任务只是爬取seed列表中的所有链接,这种情况应该return null
     */
    return nextLinks;
  }
コード例 #2
0
  @Override
  public Links visitAndGetNextLinks(Page page) {
    Document doc = page.getDoc();

    Links nextLinks = new Links();
    String url = page.getUrl();

    // 根分类,(家常菜谱 中华菜系 各地小吃 外国菜谱...)
    if (BASE_URL.equals(url)) {
      synchronized (mDishTypeList) {
        mDishTypeList.addAll(mParser.getPrimaryTypes(doc));

        int id = 1;
        for (DishType parentType : mDishTypeList) {
          nextLinks.add(parentType.url);
          parentType.id = id++;
          mUpdater.updateType(parentType);
        }
      }
    } else {
      // 子分类 (家常菜私家菜凉菜....)
      boolean isChildTypeUrl = false;
      synchronized (mDishTypeList) {
        for (DishType parentType : mDishTypeList) {

          if (url.equals(parentType.url)) {
            parentType.children = mParser.getChildrenTypes(doc);

            for (DishType child : parentType.children) {
              nextLinks.add(child.url);

              child.parentType = parentType;

              synchronized (mSubDishTypeUrlList) {
                mSubDishTypeUrlList.add(child);
              }
              mUpdater.updateType(child);
            }
            isChildTypeUrl = true;
            break;
          }
        }
      }

      if (!isChildTypeUrl) {

        // 子分类详情(为菜谱列表),用于获取菜谱详情
        boolean isSubDishTypeUrl = false;
        synchronized (mSubDishTypeUrlList) {
          for (DishType type : mSubDishTypeUrlList) {
            if (url.contains(type.url + "&page=")
                || url.contains(type.url + "?&page=")
                || url.equals(type.url)) {
              List<String> urls = mParser.getDishTypeDetailPageUrls(doc, url, url.equals(type.url));
              isSubDishTypeUrl = true;
              nextLinks.addAll(urls);
              break;
            }
          }
        }

        if (!isSubDishTypeUrl) {
          // 菜谱详情
          DishDetail detail = mParser.getDishDetail(doc, url);

          mUpdater.updateDishDetail(detail);
        }
      }
    }

    return nextLinks;
  }