mecab-ko-lucene-analyzer는 mecab-ko, mecab-ko-dic을 사용한 lucene/solr용 한국어 형태소 분석기입니다.
다음과 같은 기능들을 제공합니다.
- 명사추출
- 복합명사 분해
- 원어절 추출
ElasticSearch용 형태소 분석기의 사용 설명서는 mecab-ko analysis for ElasticSearch에서 보실 수 있습니다.
-
'무궁화꽃이피었습니다.'와 같이 띄어 쓰기가 잘못된 오류를 교정하여 형태소 분석이 가능합니다.
-
StandardTokenizer의 경우, 명사뿐 아니라 품사가 결합된 어절도 Token으로 뽑아냅니다.
철수가 학교에 간다. -> 철수가, 철수, 학교에, 학교, 간다 -
문장의 끝에 문장의 끝을 알리는 기호 "
.!?"가 있으면 더 자연스럽게 형태소 분석이 됩니다. -
분석된 token의 형태소를 구체적으로 볼 수 있습니다.
박보영이(NNP+JKS), 박보영(NNP), 서울에(NNP+JKB), 서울(NNP), 갔다(VV+EP+EF), 가/VV(VV) -
Apache Lucene/Solr 6.3.0 버전 기준으로 작성되었습니다. (Apache Lucene/Solr 6.3.0에서 사용 가능)
mecab-ko와 mecab-ko-dic의 설치는 mecab-ko-dic 설명을 참조하시기 바랍니다.
설치 문서는 Solr Quick Start 문서 기준으로 작성되었습니다.
mecab-java-0.996.tar.gz 를 다운받아 설치합니다.
$ tar zxvf mecab-java-0.996.tar.gz
$ cd mecab-java-0.996
$ vi Makefile
# java path 설정. ; INCLUDE=/usr/lib/jvm/java-7-oracle/include
# OpenJDK 사용시 "-O1" 로 변경. ; $(CXX) -O1 -c -fpic $(TARGET)_wrap.cxx $(INC)
# "-cp ." 추가. ; $(JAVAC) -cp . test.java
$ make
$ cp MeCab.jar [solr 디렉터리]/server/lib/ext # JNI 클래스는 System classpath에 위치해야 합니다. Jetty는 기본값으로 $jetty.home/lib/ext에 추가적인 jar를 넣을 수 있습니다.
$ sudo cp libMeCab.so /usr/local/lib
주의 사항
- mecab-ko의 버전에 맞는 mecab-java-0.996.tar.gz를 선택해야 합니다. mecab-0.996-ko.0.9.0 버전에서는 mecab-java-0.996을 사용해야 합니다.
- Makefile에서 INCLUDE 값을 자신의 환경에 맞게 변경해야 합니다.
- OpenJDK를 사용하시는 경우, 최적화 옵션을 -O나 -O1로 고쳐야 합니다. mecab-ko-lucene-analyzer OpenJDK에서 사용하기 참조
mecab-ko-lucene-analyzer 다운로드 페이지에서 mecab-ko-lucene-analyzer-XX.tar.gz의 최신 버전을 다운 받아 압축을 풀면 두개의 jar파일이 있습니다.
- mecab-ko-mecab-loader-XX.jar: System classpath에 복사합니다. (ex:
[solr 디렉터리]/server/lib/ext) - mecab-ko-lucene-analyzer-XX.jar: Solr contrib 디렉터리에 디렉터리를 생성후 복사합니다. (ex:
[solr 디렉터리]/contrib/eunjeon/lib)
| mecab-ko-lucene-analyzer | mecab-ko-dic | Lucene/Solr | elasticsearch |
|---|---|---|---|
| 0.21.0 or higher | mecab-ko-dic-2.0.0 or higher | Lucene/Solr 6.3.0 or higher | mecab-ko analysis for ElasticSearch 참조 |
| 0.18.x - 0.20.x | mecab-ko-dic-2.0.0 or higher | Lucene/Solr 5.3.x | mecab-ko analysis for ElasticSearch 참조 |
| 0.17.x | mecab-ko-dic-2.0.0 or higher | Lucene/Solr 4.9.x - 4.10.x | 1.3.x or higher |
| 0.16.x | mecab-ko-dic-1.6.0 - 1.6.1 | Lucene/Solr 4.9.x - 4.10.x | 1.3.x or higher |
| 0.15.x | mecab-ko-dic-1.6.0 - 1.6.1 | Lucene/Solr 4.3.x - 4.8.x | 0.90.x - 1.2.x |
| 0.14.x | mecab-ko-dic-1.5.0 - 1.6.1 | Lucene/Solr 4.3.x - 4.8.x | 0.90.x - 1.2.x |
| 0.13.x | mecab-ko-dic-1.4.0 | Lucene/Solr 4.3.x - 4.8.x | 0.90.x - 1.2.x |
| 0.12.x | mecab-ko-dic-1.4.0 | Lucene/Solr 4.3.x | |
| 0.11.x | mecab-ko-dic-1.3.0 - 1.4.0 | Lucene/Solr 4.3.x | |
| 0.10.x | mecab-ko-dic-1.3.0 - 1.4.0 | Lucene/Solr 4.1.x - 4.2.x | |
| 0.9.x | mecab-ko-dic-1.1.0 - 1.4.0 | Lucene/Solr 4.1.x - 4.2.x |
server/solr/configsets/data_driven_schema_configs/conf/solrconfig.xml에 mecab-ko-lucene-analyzer-XX.jar가 있는 경로를 설정합니다.
<lib dir="${solr.install.dir:../../../..}/contrib/eunjeon/lib" regex=".*\.jar" />
server/solr/configsets/data_driven_schema_configs/conf/managed-schema 에 fieldType 을 설정합니다.
| 세팅 | 설명 |
|---|---|
| mecabArgs | mecab 실행옵션. 디폴트 값은 '-d /usr/local/lib/mecab/dic/mecab-ko-dic' 다른 옵션은 http://taku910.github.io/mecab/mecab.html 참조 |
| compoundNounMinLength | 분해를 해야하는 복합명사의 최소 길이. 기본 값은 3 |
| useAdjectiveAndVerbOriginForm | 동사와 형용사 원형을 사용하여 검색할지 여부. 디폴트 값은 true |
<!-- Korean -->
<dynamicField name="*_txt_ko" type="text_ko" indexed="true" stored="true"/>
<fieldType name="text_ko" class="solr.TextField" positionIncrementGap="100">
<analyzer type="index">
<tokenizer class="org.bitbucket.eunjeon.mecab_ko_lucene_analyzer.StandardTokenizerFactory"/>
</analyzer>
<analyzer type="query">
<tokenizer class="org.bitbucket.eunjeon.mecab_ko_lucene_analyzer.StandardTokenizerFactory" compoundNounMinLength="100"/>
</analyzer>
</fieldType>
<!-- StandardTokenizerFactory는 compoundNounMinLength를 속성으로 받을 수 있습니다.
분해를 하는 복합명사의 최소 길이를 뜻하며 기본 값은 3입니다. 이 경우, 길이가 3미만인 복합명사는 분해하지 않습니다.
-->
<!-- Korean -->
<dynamicField name="*_txt_ko" type="text_ko" indexed="true" stored="true"/>
<fieldType name="text_ko" class="solr.TextField" positionIncrementGap="100">
<analyzer>
<tokenizer class="org.bitbucket.eunjeon.mecab_ko_lucene_analyzer.StandardTokenizerFactory" compoundNounMinLength="3"/>
</analyzer>
</fieldType>
mecab-ko-dic을 디폴트 경로(/usr/local/lib/mecab/dic/mecab-ko-dic)에 설치하지 않은 경우에는 mecabArgs 속성을 사용하여 사전 경로를 지정해야 합니다.
mecab 다른 옵션은 다음의 URL을 참조하십시오. http://taku910.github.io/mecab/mecab.html
<!-- Korean -->
<dynamicField name="*_txt_ko" type="text_ko" indexed="true" stored="true"/>
<fieldType name="text_ko" class="solr.TextField" positionIncrementGap="100">
<analyzer>
<tokenizer class="org.bitbucket.eunjeon.mecab_ko_lucene_analyzer.StandardTokenizerFactory" compoundNounMinLength="3" mecabArgs="-d /my/mecab-ko-dic/directory"/>
</analyzer>
</fieldType>
libMeCab.so 파일이 있는 라이브러리 경로를 지정해 주면서 solr를 실행합니다.
$ ./bin/solr start -e cloud -noprompt -Djava.library.path=/usr/local/lib
Copyright 2013 Yongwoon Lee, Yungho Yu.
mecab-ko-lucene-analyzer는 아파치 라이센스 2.0에 따라 소프트웨어를 사용, 재배포 할 수 있습니다. 더 자세한 사항은 Apache License Version 2.0을 참조하시기 바랍니다.