コード例 #1
0
 /*     */ boolean isEncodable(Chunking chunking, StringBuilder sb) /*     */ {
   /* 197 */ if (!this.mBioCodec.isEncodable(chunking, sb)) /* 198 */ return false;
   /* 199 */ Tagging tagging = this.mBioCodec.toTagging(chunking);
   /* 200 */ String lastTag = "O";
   /* 201 */ for (String tag : tagging.tags()) {
     /* 202 */ if (startSameType(lastTag, tag)) {
       /* 203 */ if (sb != null) {
         /* 204 */ sb.append("Two consectuive chunks of type " + tag.substring(2));
         /*     */ }
       /* 206 */ return false;
       /*     */ }
     /* 208 */ lastTag = tag;
     /*     */ }
   /* 210 */ return true;
   /*     */ }
    public Map<String, ? extends Number> nodeFeatures(int n) {
      ObjectToDoubleMap<String> feats = new ObjectToDoubleMap<String>();

      boolean bos = n == 0;
      boolean eos = (n + 1) >= numTokens();

      String tokenCat = tokenCat(n);
      String prevTokenCat = bos ? null : tokenCat(n - 1);
      String nextTokenCat = eos ? null : tokenCat(n + 1);

      String token = normedToken(n);
      String prevToken = bos ? null : normedToken(n - 1);
      String nextToken = eos ? null : normedToken(n + 1);

      String posTag = mPosTagging.tag(n);
      String prevPosTag = bos ? null : mPosTagging.tag(n - 1);
      String nextPosTag = eos ? null : mPosTagging.tag(n + 1);

      if (bos) feats.set("BOS", 1.0);
      if (eos) feats.set("EOS", 1.0);
      if (!bos && !eos) feats.set("!BOS!EOS", 1.0);

      feats.set("TOK_" + token, 1.0);
      if (!bos) feats.set("TOK_PREV_" + prevToken, 1.0);
      if (!eos) feats.set("TOK_NEXT_" + nextToken, 1.0);

      feats.set("TOK_CAT_" + tokenCat, 1.0);
      if (!bos) feats.set("TOK_CAT_PREV_" + prevTokenCat, 1.0);
      if (!eos) feats.set("TOK_CAT_NEXT_" + nextToken, 1.0);

      feats.set("POS_" + posTag, 1.0);
      if (!bos) feats.set("POS_PREV_" + prevPosTag, 1.0);
      if (!eos) feats.set("POS_NEXT_" + nextPosTag, 1.0);

      for (String suffix : suffixes(token)) feats.set("SUFF_" + suffix, 1.0);
      if (!bos) for (String suffix : suffixes(prevToken)) feats.set("SUFF_PREV_" + suffix, 1.0);
      if (!eos) for (String suffix : suffixes(nextToken)) feats.set("SUFF_NEXT_" + suffix, 1.0);

      for (String prefix : prefixes(token)) feats.set("PREF_" + prefix, 1.0);
      if (!bos) for (String prefix : prefixes(prevToken)) feats.set("PREF_PREV_" + prefix, 1.0);
      if (!eos) for (String prefix : prefixes(nextToken)) feats.set("PREF_NEXT_" + prefix, 1.0);

      return feats;
    }