Ejemplos de SymbolTokenizer en Java

Ejemplo n.º 1

Archivo: TestJavaScriptSymbolTokenizer.java Proyecto: gsingers/open-grok-analyzers

 @Test
 public void testSourceCodeLanguage() {
   SymbolTokenizer tokenizer = new JavaScriptSymbolTokenizer(newAttributeFactory());
   assertEquals("JavaScript", tokenizer.getSourceCodeLanguage());
 }

Ejemplo n.º 2

Archivo: TestJavaScriptSymbolTokenizer.java Proyecto: gsingers/open-grok-analyzers

 @Test
 public void testMimeType() {
   SymbolTokenizer tokenizer = new JavaScriptSymbolTokenizer(newAttributeFactory());
   assertEquals("application/javascript", tokenizer.getMimeType());
 }