コード例 #1
0
  protected ThreadModel[] readWakabaPage(
      String url,
      ProgressListener listener,
      CancellableTask task,
      boolean checkModified,
      UrlPageModel urlModel)
      throws Exception {
    HttpResponseModel responseModel = null;
    WakabaReader in = null;
    HttpRequestModel rqModel =
        HttpRequestModel.builder()
            .setGET()
            .setCheckIfModified(checkModified)
            .setNoRedirect(wakabaNoRedirect())
            .build();
    try {
      responseModel =
          HttpStreamer.getInstance().getFromUrl(url, rqModel, httpClient, listener, task);
      if (responseModel.statusCode == 200) {
        in = getWakabaReader(responseModel.stream, urlModel);
        if (task != null && task.isCancelled()) throw new Exception("interrupted");
        return in.readWakabaPage();
      } else {
        if (responseModel.notModified()) return null;

        if (canCloudflare()) {
          String html = null;
          try {
            ByteArrayOutputStream byteStream = new ByteArrayOutputStream(1024);
            IOUtils.copyStream(responseModel.stream, byteStream);
            html = byteStream.toString("UTF-8");
          } catch (Exception e) {
          }
          if (html != null) {
            if (responseModel.statusCode == 403 && html.contains("CAPTCHA")) {
              throw CloudflareException.withRecaptcha(
                  CLOUDFLARE_RECAPTCHA_KEY,
                  getUsingUrl() + CLOUDFLARE_RECAPTCHA_CHECK_URL_FMT,
                  CLOUDFLARE_COOKIE_NAME,
                  getChanName());
            } else if (responseModel.statusCode == 503 && html.contains("Just a moment...")) {
              throw CloudflareException.antiDDOS(url, CLOUDFLARE_COOKIE_NAME, getChanName());
            }
          }
        }
        throw new HttpWrongStatusCodeException(
            responseModel.statusCode,
            responseModel.statusCode + " - " + responseModel.statusReason);
      }
    } catch (Exception e) {
      if (responseModel != null) HttpStreamer.getInstance().removeFromModifiedMap(url);
      throw e;
    } finally {
      IOUtils.closeQuietly(in);
      if (responseModel != null) responseModel.release();
    }
  }
コード例 #2
0
 /**
  * Создать новый экземпляр cloudflare-исключения (обычная js-antiddos проверка, без рекапчи).
  *
  * @param url адрес, по которому вызвана проверка
  * @param cfCookieName название cloudflare-куки
  * @param chanName название модуля чана (модуль должен имплементировать {@link HttpChanModule})
  * @return созданный объект
  */
 public static CloudflareException antiDDOS(String url, String cfCookieName, String chanName) {
   CloudflareException e = new CloudflareException();
   e.url = url;
   e.recaptcha = false;
   e.publicKey = null;
   e.checkCaptchaUrlFormat = null;
   e.cfCookieName = cfCookieName;
   e.chanName = chanName;
   return e;
 }
コード例 #3
0
 /**
  * Создать новый экземпляр cloudflare-исключения (проверка с рекапчей).
  *
  * @param publicKey открытый ключ рекапчи
  * @param checkUrlFormat строка-формат URL для проверки капчи (первый %s - challenge, второй %s -
  *     ответ на капчу)
  * @param cfCookieName название cloudflare-куки
  * @param chanName название модуля чана
  * @return созданный объект
  */
 public static CloudflareException withRecaptcha(
     String publicKey, String checkUrlFormat, String cfCookieName, String chanName) {
   CloudflareException e = new CloudflareException();
   e.url = null;
   e.recaptcha = true;
   e.publicKey = publicKey;
   e.checkCaptchaUrlFormat = checkUrlFormat;
   e.cfCookieName = cfCookieName;
   e.chanName = chanName;
   return e;
 }