【第六节】Lucene5 中文分词器 标准分词器

javazx

1、中文分词（smartcn）
    <dependency>
        <groupId>org.apache.lucene</groupId>
( J1 U$ l8 W5 F        <artifactId>lucene-analyzers-smartcn</artifactId>
/ T7 T) A% ^2 f0 Z( ]  b- X3 p        <version>5.3.1</version>
    </dependency>
, r2 v2 _6 s- ]9 Q  M) \+ Z1 I1 C


* Y* S* Z! b4 z, Y9 {/ C$ I8 W2、高亮显示
    <dependency>
4 R" U# m1 f4 C  W. F        <groupId>org.apache.lucene</groupId>
        <artifactId>lucene-highlighter</artifactId>
8 Y, |' P3 g  t        <version>5.3.1</version>
2 J& q9 u. ]6 x4 f6 u5 u  U& `    </dependency>
+ I! T' }( d% Q! s
3 {9 R2 U& A2 m$ {源码：
: }9 O! S0 g6 D6 k（1）
: U, A/ a. Q5 Y0 \9 y* Oimport java.nio.file.Paths;

import org.apache.lucene.analysis.Analyzer;
3 ?$ P) b, G7 {7 Zimport org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
' @' a! s5 }& R- a0 Pimport org.apache.lucene.document.Field;
  Q: f( c* I7 C7 H& d; s3 f" Kimport org.apache.lucene.document.IntField;
9 d1 L& L1 g7 a; f& ~, t3 }import org.apache.lucene.document.StringField;
import org.apache.lucene.document.TextField;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
. t4 ^. s. l7 {$ j2 gimport org.apache.lucene.store.Directory;
/ t9 S4 o( j+ v7 dimport org.apache.lucene.store.FSDirectory;
9 ^7 h' @; C1 ~" }
public class Indexer {
( z) [6 H+ J' m
    private Integer ids[]={1,2,3};
' E% `+ X5 }$ y    private String citys[]={"青岛","南京","上海"};
. V9 _! \! ?# b( Z    private String descs[]={
) _+ k9 h& K+ E  X; T            "青岛是一个美丽的城市。",
5 g1 Y! Q% k+ X) M2 C; `            "南京是一个有文化的城市。南京是一个文化的城市南京，简称宁，是江苏省会，地处中国东部地区，长江下游，濒江近海。全市下辖11个区，总面积6597平方公里，2013年建成区面积752.83平方公里，常住人口818.78万，其中城镇人口659.1万人。[1-4] “江南佳丽地，金陵帝王州”，南京拥有着6000多年文明史、近2600年建城史和近500年的建都史，是中国四大古都之一，有“六朝古都”、“十朝都会”之称，是中华文明的重要发祥地，历史上曾数次庇佑华夏之正朔，长期是中国南方的政治、经济、文化中心，拥有厚重的文化底蕴和丰富的历史遗存。[5-7] 南京是国家重要的科教中心，自古以来就是一座崇文重教的城市，有“天下文枢”、“东南第一学”的美誉。截至2013年，南京有高等院校75所，其中211高校8所，仅次于北京上海；国家重点实验室25所、国家重点学科169个、两院院士83人，均居中国第三。[8-10] 。",
            "上海是一个繁华的城市。"
* L; _- a3 ?& `  I4 A! u! _7 Q    };

# Y6 _* E4 S! t. g5 M+ d3 U    private Directory dir;

7 G4 Q1 n0 Q7 @* W! Y    /**
     * 获取IndexWriter实例
     * @return
     * @throws Exception
     */
, X5 ~+ R$ L6 P& m* K    private IndexWriter getWriter()throws Exception{
        //Analyzer analyzer=new StandardAnalyzer(); // 标准分词器
        SmartChineseAnalyzer analyzer=new SmartChineseAnalyzer();
        IndexWriterConfig iwc=new IndexWriterConfig(analyzer);
        IndexWriter writer=new IndexWriter(dir, iwc);
' U- x" P- C/ E/ }  |. K. ]- j  X0 i        return writer;
* Q/ p- ^' q, j+ y3 r* P    }

    /**
6 Q- k# Q$ |2 I5 r8 \     * 生成索引
8 M1 i% Q# Q: ~. y4 }* `8 \     * @param indexDir
* u( s# t8 p5 r! D     * @throws Exception
! Y7 }! _! I0 B% i* o     */
    private void index(String indexDir)throws Exception{
1 B* f6 I$ E2 M' @, w9 b; X        dir=FSDirectory.open(Paths.get(indexDir));
        IndexWriter writer=getWriter();
2 W- p. S' S$ f- \; I4 K( q: w0 B        for(int i=0;i<ids.length;i++){
! X; A9 a0 @$ c            Document doc=new Document();
2 l# L& H; Z" `! @! f0 w- d( j            doc.add(new IntField("id", ids, Field.Store.YES));
            doc.add(new StringField("city",citys,Field.Store.YES));
            doc.add(new TextField("desc", descs, Field.Store.YES));
            writer.addDocument(doc); // 添加文档
        }
        writer.close();
    }

4 l& m  g7 E: }  O# c# u
    public static void main(String[] args) throws Exception {
$ w" ~8 f/ J4 B9 [3 @+ ?        new Indexer().index("D:\\lucene6");
8 u. s4 {# d2 s. |    }
; @& u/ H- g# f# G! t. W, {. K- y
}
& B; y  Z5 Y9 B' B- m) t


（2）
import java.io.StringReader;
7 q, k/ m" Z" x. Mimport java.nio.file.Paths;

" Z" L- Q# y3 x9 H5 [) @5 y5 wimport org.apache.lucene.analysis.Analyzer;
. X1 @8 [( _# s3 e$ Pimport org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
  o# W4 @  a2 l& L' Z2 o1 }import org.apache.lucene.document.Document;
import org.apache.lucene.index.DirectoryReader;
3 j/ c# s4 O7 O- ~% c3 F0 Iimport org.apache.lucene.index.IndexReader;
. |" v" P( o% U/ A3 P( ^5 C" Pimport org.apache.lucene.queryparser.classic.QueryParser;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.ScoreDoc;
" [8 E5 L7 V0 _% f; Vimport org.apache.lucene.search.TopDocs;
import org.apache.lucene.search.highlight.Fragmenter;
3 Z& Q2 |; b( m- ^' Q" `+ \/ Oimport org.apache.lucene.search.highlight.Highlighter;
" ^7 Z, V; T: n; v) \import org.apache.lucene.search.highlight.QueryScorer;
; c* y+ H7 f3 M: z7 ]import org.apache.lucene.search.highlight.SimpleHTMLFormatter;
) I$ S% X; t" i2 z  Jimport org.apache.lucene.search.highlight.SimpleSpanFragmenter;
3 S0 E* i7 ~+ I* Mimport org.apache.lucene.store.Directory;
2 r+ g6 y9 y; I4 yimport org.apache.lucene.store.FSDirectory;
5 M: Z$ E  {+ C2 Q* u
public class Searcher {
" j: T; |3 V$ P/ U% n$ S3 a
. r; _2 Z5 L; Q    public static void search(String indexDir,String q)throws Exception{
; g# Q. k' H9 W) T        Directory dir=FSDirectory.open(Paths.get(indexDir));
        IndexReader reader=DirectoryReader.open(dir);
# }9 L6 U) w: s# B2 h0 {        IndexSearcher is=new IndexSearcher(reader);
        // Analyzer analyzer=new StandardAnalyzer(); // 标准分词器
        SmartChineseAnalyzer analyzer=new SmartChineseAnalyzer();
  k0 D; h" W: Q        QueryParser parser=new QueryParser("desc", analyzer);
        Query query=parser.parse(q);
- O) @' `7 J3 ~7 v( T        long start=System.currentTimeMillis();
" ^( K% Q1 Q& Z" U9 h. o1 c2 x1 z. E8 p        TopDocs hits=is.search(query, 10);
        long end=System.currentTimeMillis();
        System.out.println("匹配 "+q+" ，总共花费"+(end-start)+"毫秒"+"查询到"+hits.totalHits+"个记录");
- X7 s0 o, d. d" x: C, l
! A5 t; Y+ R$ F. w& Y9 Z, y% r/ Y        QueryScorer scorer=new QueryScorer(query);
        Fragmenter fragmenter=new SimpleSpanFragmenter(scorer);
        SimpleHTMLFormatter simpleHTMLFormatter=new SimpleHTMLFormatter("<b><font color='red'>","</font></b>");
7 g: d. [, h8 c% y        Highlighter highlighter=new Highlighter(simpleHTMLFormatter, scorer);
6 }; X2 O( T& S+ ?# A: e        highlighter.setTextFragmenter(fragmenter);
/ j9 F. @( s: m* J        for(ScoreDoc scoreDoc:hits.scoreDocs){
9 k9 j& y. x" v            Document doc=is.doc(scoreDoc.doc);
            System.out.println(doc.get("city"));
            System.out.println(doc.get("desc"));
6 a. _! h  Q( }0 u$ i$ o6 ^) ]! v            String desc=doc.get("desc");
            if(desc!=null){
                TokenStream tokenStream=analyzer.tokenStream("desc", new StringReader(desc));
7 C" B+ r; V0 f4 L& v- o, A6 J                System.out.println(highlighter.getBestFragment(tokenStream, desc));
- c8 }  S! {; X6 J            }
        }
  E+ t1 O2 P4 u1 Z) z# |        reader.close();
    }

    public static void main(String[] args) {
8 E* {* g7 i) [+ n$ I0 r/ l% c  X        String indexDir="D:\\lucene6";
2 s2 a" p, K- A3 ^# r# V) n        String q="南京文明";
3 d2 f+ q- t' J% S8 U+ N        try {
            search(indexDir,q);
4 J) d! Z6 ]2 d2 c        } catch (Exception e) {
7 ^9 \2 e$ O4 J            // TODO Auto-generated catch block
            e.printStackTrace();
+ @4 K4 h5 y7 W6 l% j1 `7 X        }
) M' a, v9 m6 Q" Z1 S/ O8 U    }
, q. e8 h. `) b* M- [}
, i; g  a0 x% T0 _. t/ Z


* F# y" E6 r, n' i' D$ H
  H; o) `7 j8 A/ f) k- B

学java来尚学堂

看了那么多，还是觉得我参加的北京尚学堂的教的好。包教包会，而且毕业就有1W的工资在手。一起来学习吧