예제 #1
0
  /**
   * 標準入力を読み込んでDFSにファイルを書き出す。 {@link FileList}形式で受け取ったTSV形式のファイルをModelオブジェクトに変換して、テンポラリ入力データとして配置する。
   * 出力先はプロトコルの形式によって異なる。 利用可能なプロトコルは以下のとおり。
   *
   * <ul>
   *   <li>{@link com.asakusafw.bulkloader.transfer.FileProtocol.Kind#CONTENT}
   *   <li>{@link com.asakusafw.bulkloader.transfer.FileProtocol.Kind#CREATE_CACHE}
   *   <li>{@link com.asakusafw.bulkloader.transfer.FileProtocol.Kind#UPDATE_CACHE}
   * </ul>
   *
   * @param bean パラメータを保持するBean
   * @param user OSのユーザー名
   * @return 出力結果(true:正常終了、false:異常終了)
   */
  public boolean importFile(ImportBean bean, String user) {
    // 標準入力を取得
    FileList.Reader reader;
    try {
      reader = FileList.createReader(getInputStream());
    } catch (IOException e) {
      LOG.error(e, "TG-EXTRACTOR-02001", "標準入力からFileListの取得に失敗");
      return false;
    }
    try {
      // FileListの終端まで繰り返す
      List<Future<?>> running = new ArrayList<>();
      while (reader.next()) {
        FileProtocol protocol = reader.getCurrentProtocol();
        try (InputStream content = reader.openContent()) {
          switch (protocol.getKind()) {
            case CONTENT:
              importContent(protocol, content, bean, user);
              break;

            case CREATE_CACHE:
            case UPDATE_CACHE:
              long recordCount = putCachePatch(protocol, content, bean, user);
              Callable<?> builder = createCacheBuilder(protocol, bean, user, recordCount);
              if (builder != null) {
                LOG.debugMessage(
                    "Submitting cache builder: {0} {1}",
                    protocol.getKind(), protocol.getInfo().getTableName());
                running.add(executor.submit(builder));
              }
              break;

            default:
              throw new AssertionError(protocol.getKind());
          }
        }
      }

      waitForCompleteTasks(bean, running);
      // 正常終了
      return true;

    } catch (BulkLoaderSystemException e) {
      LOG.log(e);
    } catch (IOException e) {
      // FileListの展開に失敗
      LOG.error(e, "TG-EXTRACTOR-02001", "標準入力からFileListの取得に失敗");
    } finally {
      try {
        reader.close();
      } catch (IOException e) {
        // ここで例外が発生した場合は握りつぶす
        e.printStackTrace();
      }
    }
    return false;
  }
예제 #2
0
  private void waitForCompleteTasks(ImportBean bean, List<Future<?>> running)
      throws BulkLoaderSystemException {
    assert bean != null;
    assert running != null;
    if (running.isEmpty()) {
      return;
    }
    LOG.info(
        "TG-EXTRACTOR-12006",
        bean.getTargetName(),
        bean.getBatchId(),
        bean.getJobflowId(),
        bean.getExecutionId());

    boolean sawError = false;
    LinkedList<Future<?>> rest = new LinkedList<>(running);
    while (rest.isEmpty() == false) {
      Future<?> future = rest.removeFirst();
      try {
        future.get(1, TimeUnit.SECONDS);
      } catch (TimeoutException e) {
        // continue...
        rest.addLast(future);
      } catch (InterruptedException e) {
        cancel(rest);
        throw new BulkLoaderSystemException(
            e,
            getClass(),
            "TG-EXTRACTOR-12007",
            bean.getTargetName(),
            bean.getBatchId(),
            bean.getJobflowId(),
            bean.getExecutionId());
      } catch (ExecutionException e) {
        cancel(rest);
        Throwable cause = e.getCause();
        if (cause instanceof RuntimeException) {
          throw (RuntimeException) cause;
        } else if (cause instanceof Error) {
          throw (Error) cause;
        } else if (cause instanceof BulkLoaderSystemException) {
          LOG.log((BulkLoaderSystemException) cause);
          sawError = true;
        } else {
          LOG.error(
              e,
              "TG-EXTRACTOR-12008",
              bean.getTargetName(),
              bean.getBatchId(),
              bean.getJobflowId(),
              bean.getExecutionId());
          sawError = true;
        }
      }
    }
    if (sawError) {
      throw new BulkLoaderSystemException(
          getClass(),
          "TG-EXTRACTOR-12008",
          bean.getTargetName(),
          bean.getBatchId(),
          bean.getJobflowId(),
          bean.getExecutionId());
    } else {
      LOG.info(
          "TG-EXTRACTOR-12009",
          bean.getTargetName(),
          bean.getBatchId(),
          bean.getJobflowId(),
          bean.getExecutionId());
    }
  }