Exemplos de SymbolTokenizer em Java

Exemplo n.º 1

Arquivo: TestJavaScriptSymbolTokenizer.java Projeto: gsingers/open-grok-analyzers

 @Test
 public void testSourceCodeLanguage() {
   SymbolTokenizer tokenizer = new JavaScriptSymbolTokenizer(newAttributeFactory());
   assertEquals("JavaScript", tokenizer.getSourceCodeLanguage());
 }

Exemplo n.º 2

Arquivo: TestJavaScriptSymbolTokenizer.java Projeto: gsingers/open-grok-analyzers

 @Test
 public void testMimeType() {
   SymbolTokenizer tokenizer = new JavaScriptSymbolTokenizer(newAttributeFactory());
   assertEquals("application/javascript", tokenizer.getMimeType());
 }