コード例 #1
0
 public void addTokens(String text, StopWordList swlist) {
   Tokeniser tkzr = new Tokeniser(text);
   tkzr.tokenise();
   TokenMap tm = tkzr.getTokenMap();
   for (Iterator e = tm.entrySet().iterator(); e.hasNext(); ) {
     Map.Entry kv = (Map.Entry) e.next();
     String t = (String) kv.getKey();
     if (swlist.contains(t)) continue;
     addToken(t);
   }
 }
コード例 #2
0
 public void addTokens(String text) {
   Tokeniser tkzr = new Tokeniser(text);
   tkzr.tokenise();
   TokenMap tm = tkzr.getTokenMap();
   for (Iterator e = tm.entrySet().iterator(); e.hasNext(); ) {
     Map.Entry kv = (Map.Entry) e.next();
     String t = (String) kv.getKey();
     addToken(t);
   }
   // putAll(tkzr.getTokenMap());
 }
コード例 #3
0
 private boolean addToken(String type) {
   String key = isIgnoreCase() ? Tokeniser.fixType(type.toLowerCase()) : Tokeniser.fixType(type);
   if (key.equals("")) return false;
   return add(key);
 }