A distributed dynamic spider using htmlunit. Choose the zeromq as the message middleware.

共有4个模块，静态页面处理模块(staticSpiderPro)、动态页面处理模块(dynamicModel)、 资源下载模块(downloaderModel)和路由模块(spiderRouter)。