@Override public Links visitAndGetNextLinks(Page page) { Document doc = page.getDoc(); String html = page.getHtml(); String title = doc.title(); System.out.println("URL:" + page.getUrl() + " 关键字:" + getKeyword() + " 标题:" + title); Map<String, String> map = new HashMap<String, String>(); map.put("url", page.getUrl()); if (isExistKeywords(html)) { save(map); } /* 下面是2.0版本新加入的内容 */ /* * 抽取page中的链接返回,这些链接会在下一轮爬取时被爬取。 不用担心URL去重,爬虫会自动过滤重复URL。 */ Links nextLinks = new Links(); /* * 我们只希望抽取满足正则约束的URL, Links.addAllFromDocument为我们提供了相应的功能 */ nextLinks.addAllFromDocument(doc, regexRule); /* * Links类继承ArrayList<String>,可以使用add、addAll等方法自己添加URL * 如果当前页面的链接中,没有需要爬取的,可以return null * 例如如果你的爬取任务只是爬取seed列表中的所有链接,这种情况应该return null */ return nextLinks; }
@Override public Links visitAndGetNextLinks(Page page) { Document doc = page.getDoc(); Links nextLinks = new Links(); String url = page.getUrl(); // 根分类,(家常菜谱 中华菜系 各地小吃 外国菜谱...) if (BASE_URL.equals(url)) { synchronized (mDishTypeList) { mDishTypeList.addAll(mParser.getPrimaryTypes(doc)); int id = 1; for (DishType parentType : mDishTypeList) { nextLinks.add(parentType.url); parentType.id = id++; mUpdater.updateType(parentType); } } } else { // 子分类 (家常菜私家菜凉菜....) boolean isChildTypeUrl = false; synchronized (mDishTypeList) { for (DishType parentType : mDishTypeList) { if (url.equals(parentType.url)) { parentType.children = mParser.getChildrenTypes(doc); for (DishType child : parentType.children) { nextLinks.add(child.url); child.parentType = parentType; synchronized (mSubDishTypeUrlList) { mSubDishTypeUrlList.add(child); } mUpdater.updateType(child); } isChildTypeUrl = true; break; } } } if (!isChildTypeUrl) { // 子分类详情(为菜谱列表),用于获取菜谱详情 boolean isSubDishTypeUrl = false; synchronized (mSubDishTypeUrlList) { for (DishType type : mSubDishTypeUrlList) { if (url.contains(type.url + "&page=") || url.contains(type.url + "?&page=") || url.equals(type.url)) { List<String> urls = mParser.getDishTypeDetailPageUrls(doc, url, url.equals(type.url)); isSubDishTypeUrl = true; nextLinks.addAll(urls); break; } } } if (!isSubDishTypeUrl) { // 菜谱详情 DishDetail detail = mParser.getDishDetail(doc, url); mUpdater.updateDishDetail(detail); } } } return nextLinks; }