基于Java实现,当前分词器版本为5.1.0。
本项目主要为中文数据处理服务的。
analyzer-ictclas4j
: 基于FreeICTCLAS的分词器
analyzer-ik
: 模拟语义分词器
analyzer-imdict
: 基于HMM算法的分词器
analyzer-mmseg4j
: 基于MMSeg算法的分词器
analyzer-paoding
: 庖丁分词器
analyzer-smallseg
: 基于DFA的轻量级分词器
analyzer-fudan
: 复旦大学的分词器
analyzer-smartcn
: Lucene官方自带的分词器
analyzer-testing
: 各分词器性能测试
analyzer-web
: Restful风格的分词接口
备注: 该分词框架持续更新中。
http://wiki.dev.zx.soft/doku.php
备注: API文档统一放在公司的wiki上。
- 对象池技术: commons-pool
- Restful风格的接口:restlet
- 海量数据测评:mapreduce
Item | Value |
---|---|
analyzer | 解析器 |
wordsegment | 分词器 |
testing | 测试模块 |
web | 接口服务 |
** 分词示例 **
...
参考源码中Demo.
...
** 嵌入Lucene示例 **
...
参考源码中Demo.
...
** 嵌入Solr示例 **
...
参考源码中Demo.
...