/**
* 解析页面中的一项JSON数据，并包装到WebPage当中，并返回WebPage
*
* @param obj
* @param session
*/
private ParseResult parsePage(JSONObject obj) {
WebPage page = new WebPage();
String content = "";
String pageUrl = "";
try {
// 每个页面的内容依然是ajax，这里得到的是JSON数据的URL
String contentUrl = WangyiPageParser.getContentUrl(obj);
pageUrl = WangyiPageParser.getPageUrl(obj);
String title = obj.getString("title");
String webSite = "网易新闻";
JSONObject contentJSON = WangyiPageParser.getContentJSON(contentUrl);
content = WangyiPageParser.getContent(contentJSON);
Timestamp publishDate = WangyiPageParser.getPublishDate(contentJSON);
// 不用自带的summary，截取content前200个字符获取summary
String summary = WangyiPageParser.getSummary(content);
// 如果content或者title为空，则不保存页面
if (content.equals("") || title.equals("") || title == null) {
return null;
}
page.setTitle(title);
page.setUrl(pageUrl);
page.setWebSite(webSite);
page.setDownloadDate(new Timestamp(System.currentTimeMillis()));
page.setTitle(title);
page.setSummary(summary);
page.setPublishDate(publishDate);
page.setType(1);
page.setIndexedStatus(3);
} catch (Exception e) {
LOGGER.error("网易新闻页面信息提取失败！");
return null;
}
if (content.equals("") || content == null) return null;
ParseResult res = new ParseResult();
res.setPage(page);
res.setContent(content);
return res;
}
