【第六节】Lucene5 中文分词器 标准分词器

javazx

1、中文分词（smartcn）
    <dependency>
( x2 _$ w; g" l7 ]9 Z& ]( \5 I        <groupId>org.apache.lucene</groupId>
        <artifactId>lucene-analyzers-smartcn</artifactId>
        <version>5.3.1</version>
. f7 O! d9 q$ @# u1 y9 B    </dependency>

  m, V) e9 y5 a& F  [7 C! A

- W0 B# I! R. z/ i8 G8 V2、高亮显示
    <dependency>
        <groupId>org.apache.lucene</groupId>
" I" q. [+ B) e5 u        <artifactId>lucene-highlighter</artifactId>
        <version>5.3.1</version>
    </dependency>

源码：
（1）
import java.nio.file.Paths;

/ q8 f3 e+ f/ ^1 s# s7 [: Zimport org.apache.lucene.analysis.Analyzer;
$ w  ^( s2 J% e) rimport org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
, K1 {+ L) Z* m9 Z# Bimport org.apache.lucene.document.Field;
import org.apache.lucene.document.IntField;
: ]% }( Q' l- gimport org.apache.lucene.document.StringField;
0 [' E( k! X9 g5 U+ @4 I  @+ Ximport org.apache.lucene.document.TextField;
* F, V( O0 r2 w4 A5 I0 mimport org.apache.lucene.index.IndexWriter;
0 x6 P# p5 V9 w/ @: limport org.apache.lucene.index.IndexWriterConfig;
2 O9 U. F. r' Aimport org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;

public class Indexer {
+ l# h7 }4 H" U' e# d
    private Integer ids[]={1,2,3};
8 F& X% p4 P& M/ I- F. u; I    private String citys[]={"青岛","南京","上海"};
3 x+ q& `& F0 J) `5 }8 P9 z2 x    private String descs[]={
            "青岛是一个美丽的城市。",
2 d6 h8 C- Q3 p* U1 L5 @+ B            "南京是一个有文化的城市。南京是一个文化的城市南京，简称宁，是江苏省会，地处中国东部地区，长江下游，濒江近海。全市下辖11个区，总面积6597平方公里，2013年建成区面积752.83平方公里，常住人口818.78万，其中城镇人口659.1万人。[1-4] “江南佳丽地，金陵帝王州”，南京拥有着6000多年文明史、近2600年建城史和近500年的建都史，是中国四大古都之一，有“六朝古都”、“十朝都会”之称，是中华文明的重要发祥地，历史上曾数次庇佑华夏之正朔，长期是中国南方的政治、经济、文化中心，拥有厚重的文化底蕴和丰富的历史遗存。[5-7] 南京是国家重要的科教中心，自古以来就是一座崇文重教的城市，有“天下文枢”、“东南第一学”的美誉。截至2013年，南京有高等院校75所，其中211高校8所，仅次于北京上海；国家重点实验室25所、国家重点学科169个、两院院士83人，均居中国第三。[8-10] 。",
( m9 L8 N+ X" p; K- R3 Y. e            "上海是一个繁华的城市。"
; }! e$ a) U' @" @& S8 N9 s. o! r    };

+ t6 G& l; S) z- ?9 M; i    private Directory dir;

    /**
7 E9 W3 q& v/ J5 o3 c" J     * 获取IndexWriter实例
     * @return
9 I$ ^; [& f! r0 O     * @throws Exception
     */
! p* m2 y( @% ~4 }    private IndexWriter getWriter()throws Exception{
( V$ M( C& V" e0 ^0 s0 z% t( y; D        //Analyzer analyzer=new StandardAnalyzer(); // 标准分词器
        SmartChineseAnalyzer analyzer=new SmartChineseAnalyzer();
) M' t2 ^6 i6 h( o5 ]3 V  N        IndexWriterConfig iwc=new IndexWriterConfig(analyzer);
        IndexWriter writer=new IndexWriter(dir, iwc);
" I8 w2 R- K6 L  {$ g- T' h        return writer;
    }

    /**
     * 生成索引
9 c! ?; [" y5 [: }" E* L" X     * @param indexDir
     * @throws Exception
7 |5 m# Y. O% M' \2 X     */
    private void index(String indexDir)throws Exception{
        dir=FSDirectory.open(Paths.get(indexDir));
        IndexWriter writer=getWriter();
        for(int i=0;i<ids.length;i++){
            Document doc=new Document();
            doc.add(new IntField("id", ids, Field.Store.YES));
$ y4 `8 p$ z+ \% m: O; s            doc.add(new StringField("city",citys,Field.Store.YES));
            doc.add(new TextField("desc", descs, Field.Store.YES));
            writer.addDocument(doc); // 添加文档
        }
        writer.close();
. n5 C# G( U5 [- d$ ?9 @0 [9 c    }
9 V+ ^1 F; b" w) {: f2 F7 j
9 F; Q3 f! u! C% j- ]
    public static void main(String[] args) throws Exception {
        new Indexer().index("D:\\lucene6");
    }
% Y, F. r" V2 b  t2 _
}
4 a- O6 f# c% L  J
4 u" c1 p7 ~& S6 H. U

9 M& }8 t; p5 ]# P& ?. q) G（2）
: \2 Y6 l" z/ c* O2 ximport java.io.StringReader;
7 G2 L. b2 \" L+ limport java.nio.file.Paths;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
! y1 F: k/ @+ ^1 Z: eimport org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
# ?( q6 j2 ~: |; E$ N. Gimport org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
# I% N# |3 j. _import org.apache.lucene.index.DirectoryReader;
% o# O! |' _& V, p+ H& p3 A, iimport org.apache.lucene.index.IndexReader;
8 q, Z8 p* J( L3 H  j- y: }$ ^2 Ximport org.apache.lucene.queryparser.classic.QueryParser;
3 X- m1 ~& r, Z$ T$ N* [import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
' l2 G  b1 Z5 Q8 timport org.apache.lucene.search.ScoreDoc;
1 W* p6 ]! a/ z  N  cimport org.apache.lucene.search.TopDocs;
import org.apache.lucene.search.highlight.Fragmenter;
import org.apache.lucene.search.highlight.Highlighter;
6 U! D% i5 r" Y1 b- cimport org.apache.lucene.search.highlight.QueryScorer;
import org.apache.lucene.search.highlight.SimpleHTMLFormatter;
import org.apache.lucene.search.highlight.SimpleSpanFragmenter;
import org.apache.lucene.store.Directory;
5 {/ H) ?6 Z! A3 g" ?import org.apache.lucene.store.FSDirectory;

9 Y& Y+ P/ t( Y, _public class Searcher {

    public static void search(String indexDir,String q)throws Exception{
. L. f4 n4 u, {. b: K7 j% y4 p$ ^        Directory dir=FSDirectory.open(Paths.get(indexDir));
        IndexReader reader=DirectoryReader.open(dir);
6 I+ s( K4 M+ W' z' k/ G        IndexSearcher is=new IndexSearcher(reader);
        // Analyzer analyzer=new StandardAnalyzer(); // 标准分词器
        SmartChineseAnalyzer analyzer=new SmartChineseAnalyzer();
+ o! ]5 `1 R4 N" J& n/ Y        QueryParser parser=new QueryParser("desc", analyzer);
' \$ m, c' U9 x& G        Query query=parser.parse(q);
        long start=System.currentTimeMillis();
        TopDocs hits=is.search(query, 10);
        long end=System.currentTimeMillis();
5 p% e- g% L+ m. a* R/ }        System.out.println("匹配 "+q+" ，总共花费"+(end-start)+"毫秒"+"查询到"+hits.totalHits+"个记录");
7 N0 _# W$ S2 E+ ^8 K0 e8 o* j
% X. E# O1 a+ I( i# r" I        QueryScorer scorer=new QueryScorer(query);
2 Q3 @' _7 \/ f        Fragmenter fragmenter=new SimpleSpanFragmenter(scorer);
        SimpleHTMLFormatter simpleHTMLFormatter=new SimpleHTMLFormatter("<b><font color='red'>","</font></b>");
        Highlighter highlighter=new Highlighter(simpleHTMLFormatter, scorer);
        highlighter.setTextFragmenter(fragmenter);
& O# \+ C* o% v        for(ScoreDoc scoreDoc:hits.scoreDocs){
            Document doc=is.doc(scoreDoc.doc);
            System.out.println(doc.get("city"));
3 k! _9 Y* j2 a# A            System.out.println(doc.get("desc"));
            String desc=doc.get("desc");
  a& g$ }8 a; g0 T* L9 `+ J            if(desc!=null){
                TokenStream tokenStream=analyzer.tokenStream("desc", new StringReader(desc));
                System.out.println(highlighter.getBestFragment(tokenStream, desc));
$ y8 j$ Q3 @. j3 B            }
: X1 P: C: \# V6 m5 ]3 X2 y        }
$ @2 @" u7 m; B" x( F9 W% b4 P" I        reader.close();
0 V+ n& @) r. s    }

3 O3 }. J/ H" n- p' @2 B( I    public static void main(String[] args) {
        String indexDir="D:\\lucene6";
        String q="南京文明";
, @4 A7 |6 t# r* s4 f5 F        try {
. C9 u' q; E# ?$ I' W& d3 B            search(indexDir,q);
' p: R1 ]( l6 u: [6 h8 _        } catch (Exception e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
    }
" ?8 T3 e  }' `  y}
0 a4 e3 N- O3 f8 e$ }
' o. ]2 H6 U) ?, f# g) ]. d% O

& V4 c" M8 }- ~- g) I# [. g: r0 y% y

7 R' A1 X6 n& Z$ G

学java来尚学堂

看了那么多，还是觉得我参加的北京尚学堂的教的好。包教包会，而且毕业就有1W的工资在手。一起来学习吧