Ejemplos de DefaultTokenizer.tokenize en Java

Ejemplo n.º 1

Archivo: StopWords.java Proyecto: bejvisek/htools

 public HashSet<String> getStemmedFilterSet() {
   if (stemmedfilterset == null) {
     DefaultTokenizer extractor = new DefaultTokenizer();
     stemmedfilterset = new HashSet<String>();
     for (String s : this.getUnstemmedFilterSet()) {
       ArrayList<String> tokenize = extractor.tokenize(s);
       if (tokenize.size() == 1) {
         stemmedfilterset.add(tokenize.get(0));
       }
     }
   }
   return stemmedfilterset;
 }