public static void clearTokens() {
TokenLibrary.reset();
TokenStore.reset();
tokenSet.clear();
ppiSet.clear();
PreParserFactory.clear();
}
public static void register(LstToken token) {
if (!tokenSet.contains(token)) {
TokenLibrary.addToTokenMap(token);
TokenStore.inst().addToTokenMap(token);
tokenSet.add(token);
if (token instanceof QualifierToken) {
TokenLibrary.addToQualifierMap((QualifierToken<?>) token);
}
if (token instanceof PrimitiveToken) {
TokenLibrary.addToPrimitiveMap((PrimitiveToken<?>) token);
}
}
}