public void start() throws Exception {
// TODO 不下载非本站的静态资源与链接
// TODO 不继续抓取已经爬过的页面
// TODO 9skb链接写法的下载
if (!siteSaveFolder.endsWith(File.separator)) {
siteSaveFolder += File.separator;
}
File saveFolder = new File(siteSaveFolder);
if (!saveFolder.exists()) {
saveFolder.mkdirs();
}
staticModels.clear();
client = new WebClient();
// 设置css activex applet 失效
client.setActiveXNative(false);
client.setAppletEnabled(false);
client.setCssEnabled(false);
client.setJavaScriptEnabled(false);
// 10秒超时
client.setTimeout(10 * 1000);
fetchPage(siteUrl, "index.html");
System.out.println("----------------------------------------------------------------------");
System.out.println("[ 正在下载静态资源文件... ]");
// fetchStaticResources();
}
