Exemplos de TokenTypeAttribute em Java

Exemplo n.º 1

Arquivo: HashtagTokenCombinerTest.java Projeto: EricCen/commons

 private void verify(List<String> tokens, boolean[] isHashtag) {
   for (int i = 0; i < tokens.size(); i++) {
     assertTrue(stream.incrementToken());
     assertEquals(tokens.get(i), termAttr.getTermString());
     assertEquals(isHashtag[i], TokenType.HASHTAG.equals(typeAttr.getType()));
   }
   assertFalse(stream.incrementToken());
 }

Exemplo n.º 2

Arquivo: EmoticonTokenCombinerTest.java Projeto: nsanch/commons

 private void verify(List<String> tokens, TokenType... types) {
   for (int i = 0; i < tokens.size(); i++) {
     assertTrue(stream.incrementToken());
     assertEquals(tokens.get(i), termAttr.getTermString());
     assertEquals(types[i], typeAttr.getType());
   }
   assertFalse(stream.incrementToken());
 }