@Override
public Links visitAndGetNextLinks(Page page) {
Document doc = page.getDoc();
String html = page.getHtml();
String title = doc.title();
System.out.println("URL:" + page.getUrl() + " 关键字：" + getKeyword() + " 标题:" + title);
Map<String, String> map = new HashMap<String, String>();
map.put("url", page.getUrl());
if (isExistKeywords(html)) {
save(map);
}
/* 下面是2.0版本新加入的内容 */
/*
* 抽取page中的链接返回，这些链接会在下一轮爬取时被爬取。 不用担心URL去重，爬虫会自动过滤重复URL。
*/
Links nextLinks = new Links();
/*
* 我们只希望抽取满足正则约束的URL， Links.addAllFromDocument为我们提供了相应的功能
*/
nextLinks.addAllFromDocument(doc, regexRule);
/*
* Links类继承ArrayList<String>,可以使用add、addAll等方法自己添加URL
* 如果当前页面的链接中，没有需要爬取的，可以return null
* 例如如果你的爬取任务只是爬取seed列表中的所有链接，这种情况应该return null
*/
return nextLinks;
}
@Override
public Links visitAndGetNextLinks(Page page) {
Document doc = page.getDoc();
Links nextLinks = new Links();
String url = page.getUrl();
// 根分类，（家常菜谱 中华菜系 各地小吃 外国菜谱...）
if (BASE_URL.equals(url)) {
synchronized (mDishTypeList) {
mDishTypeList.addAll(mParser.getPrimaryTypes(doc));
int id = 1;
for (DishType parentType : mDishTypeList) {
nextLinks.add(parentType.url);
parentType.id = id++;
mUpdater.updateType(parentType);
}
}
} else {
// 子分类 （家常菜私家菜凉菜....）
boolean isChildTypeUrl = false;
synchronized (mDishTypeList) {
for (DishType parentType : mDishTypeList) {
if (url.equals(parentType.url)) {
parentType.children = mParser.getChildrenTypes(doc);
for (DishType child : parentType.children) {
nextLinks.add(child.url);
child.parentType = parentType;
synchronized (mSubDishTypeUrlList) {
mSubDishTypeUrlList.add(child);
}
mUpdater.updateType(child);
}
isChildTypeUrl = true;
break;
}
}
}
if (!isChildTypeUrl) {
// 子分类详情（为菜谱列表），用于获取菜谱详情
boolean isSubDishTypeUrl = false;
synchronized (mSubDishTypeUrlList) {
for (DishType type : mSubDishTypeUrlList) {
if (url.contains(type.url + "&page=")
|| url.contains(type.url + "?&page=")
|| url.equals(type.url)) {
List<String> urls = mParser.getDishTypeDetailPageUrls(doc, url, url.equals(type.url));
isSubDishTypeUrl = true;
nextLinks.addAll(urls);
break;
}
}
}
if (!isSubDishTypeUrl) {
// 菜谱详情
DishDetail detail = mParser.getDishDetail(doc, url);
mUpdater.updateDishDetail(detail);
}
}
}
return nextLinks;
}