【第六节】Lucene5 中文分词器 标准分词器

javazx

1、中文分词（smartcn）
    <dependency>
8 C; H5 v  ^( ^* m        <groupId>org.apache.lucene</groupId>
        <artifactId>lucene-analyzers-smartcn</artifactId>
        <version>5.3.1</version>
    </dependency>


" B# [( t- _, b0 z
2、高亮显示
4 Q  v% R( u8 F, U8 v    <dependency>
3 y" m: @2 S, h7 n6 `: l        <groupId>org.apache.lucene</groupId>
+ a3 e2 F3 \! q, x$ o& H        <artifactId>lucene-highlighter</artifactId>
        <version>5.3.1</version>
" m) X. m& Y, n! e    </dependency>
: }& E  k% Q6 [. ]$ p3 ?
源码：
（1）
) Q! `8 b( F9 Timport java.nio.file.Paths;
2 `, l/ y0 V+ ?7 A% ^
9 F2 b- P4 m, Q4 g+ G- Oimport org.apache.lucene.analysis.Analyzer;
5 o. G$ ^: z% C2 L& Zimport org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
( A& \# Y+ k) u5 g/ Q. Oimport org.apache.lucene.document.Field;
! e: Z1 }2 H# [import org.apache.lucene.document.IntField;
import org.apache.lucene.document.StringField;
import org.apache.lucene.document.TextField;
) O0 Z! i4 E5 Y0 u, Nimport org.apache.lucene.index.IndexWriter;
; d: M# f' i9 O9 w4 y8 G. g5 Yimport org.apache.lucene.index.IndexWriterConfig;
8 [: K7 I) g4 Aimport org.apache.lucene.store.Directory;
1 i% H5 f" b# z: ?( Zimport org.apache.lucene.store.FSDirectory;

public class Indexer {

) r4 i( k- n" D" x    private Integer ids[]={1,2,3};
    private String citys[]={"青岛","南京","上海"};
' y  q6 @9 r+ n) g& L, l3 D    private String descs[]={
            "青岛是一个美丽的城市。",
            "南京是一个有文化的城市。南京是一个文化的城市南京，简称宁，是江苏省会，地处中国东部地区，长江下游，濒江近海。全市下辖11个区，总面积6597平方公里，2013年建成区面积752.83平方公里，常住人口818.78万，其中城镇人口659.1万人。[1-4] “江南佳丽地，金陵帝王州”，南京拥有着6000多年文明史、近2600年建城史和近500年的建都史，是中国四大古都之一，有“六朝古都”、“十朝都会”之称，是中华文明的重要发祥地，历史上曾数次庇佑华夏之正朔，长期是中国南方的政治、经济、文化中心，拥有厚重的文化底蕴和丰富的历史遗存。[5-7] 南京是国家重要的科教中心，自古以来就是一座崇文重教的城市，有“天下文枢”、“东南第一学”的美誉。截至2013年，南京有高等院校75所，其中211高校8所，仅次于北京上海；国家重点实验室25所、国家重点学科169个、两院院士83人，均居中国第三。[8-10] 。",
7 f% I5 t$ Q( k% p            "上海是一个繁华的城市。"
    };

- i9 S$ {' {, P0 M4 s( W1 f    private Directory dir;
: _- J  Q4 r& q$ {7 n! C+ W0 T+ I
, n) g- D6 p1 J    /**
$ k, t2 t" k1 U0 p2 E5 i     * 获取IndexWriter实例
     * @return
# X+ k5 h' k/ c/ ~* q     * @throws Exception
( ]) r! y% U, l. V! W; S" h: {     */
  z7 n+ C3 x5 X: d  H    private IndexWriter getWriter()throws Exception{
        //Analyzer analyzer=new StandardAnalyzer(); // 标准分词器
7 ^/ i1 x% Q) R        SmartChineseAnalyzer analyzer=new SmartChineseAnalyzer();
        IndexWriterConfig iwc=new IndexWriterConfig(analyzer);
        IndexWriter writer=new IndexWriter(dir, iwc);
5 }& C: S5 G" C2 z        return writer;
    }
) Q" h8 J  ]" R6 c6 {
    /**
1 l& A  @$ p* G     * 生成索引
( e( \) H# ~6 C; |     * @param indexDir
     * @throws Exception
' H6 L. r( B9 g, W" }9 Z$ w     */
" }  u* {/ `1 X/ a0 z3 l% c" e    private void index(String indexDir)throws Exception{
1 X% @& u* V3 W; _        dir=FSDirectory.open(Paths.get(indexDir));
        IndexWriter writer=getWriter();
/ f7 r! }# w0 o  A9 L4 T# i        for(int i=0;i<ids.length;i++){
5 M" X  V. K! z* M) G# X4 z            Document doc=new Document();
3 j4 y5 Z6 _' q1 h- M+ I% k. I* Q- P            doc.add(new IntField("id", ids, Field.Store.YES));
: w' E* H5 n, c) M5 R; r$ Q9 b            doc.add(new StringField("city",citys,Field.Store.YES));
* ^( Y  j1 a( O* E+ h( h            doc.add(new TextField("desc", descs, Field.Store.YES));
            writer.addDocument(doc); // 添加文档
        }
        writer.close();
    }

/ o" ^& y4 Y4 T& o# j% L
    public static void main(String[] args) throws Exception {
        new Indexer().index("D:\\lucene6");
2 b. i) l! i, d) S1 ?    }
* I: Q7 m6 p: \; }& X+ S3 h
}
1 t: S( F& m) ~' c
2 }( n" B4 y, x( i% I# R) V1 B' N0 p

) X5 P' d& x/ W（2）
1 T/ m" w7 a7 D) r# M9 Yimport java.io.StringReader;
% b% O/ S) w" w8 S3 o4 c; M7 P1 timport java.nio.file.Paths;
: ?0 A) F; z" F* ]
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.index.DirectoryReader;
- W) N. M8 Y% y* \  bimport org.apache.lucene.index.IndexReader;
import org.apache.lucene.queryparser.classic.QueryParser;
2 b2 B6 S3 p0 W. k% v% F9 O/ ximport org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
5 K+ m) P' h' {# |$ b1 zimport org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.search.highlight.Fragmenter;
import org.apache.lucene.search.highlight.Highlighter;
. A- s# [6 g0 timport org.apache.lucene.search.highlight.QueryScorer;
import org.apache.lucene.search.highlight.SimpleHTMLFormatter;
$ G) v5 O: R; _: V* V0 \$ Pimport org.apache.lucene.search.highlight.SimpleSpanFragmenter;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;

* U7 q& H5 M0 c- Tpublic class Searcher {
/ K9 N' R0 g$ d, p* v& d
! a2 ~" n! p7 m5 _! d    public static void search(String indexDir,String q)throws Exception{
        Directory dir=FSDirectory.open(Paths.get(indexDir));
        IndexReader reader=DirectoryReader.open(dir);
$ \! r, W( |- E6 Q. n3 x( E. V        IndexSearcher is=new IndexSearcher(reader);
        // Analyzer analyzer=new StandardAnalyzer(); // 标准分词器
1 s- S, P: ~% F0 v, ?' _0 b        SmartChineseAnalyzer analyzer=new SmartChineseAnalyzer();
1 y  y0 I* R: ^! l, ^7 \        QueryParser parser=new QueryParser("desc", analyzer);
        Query query=parser.parse(q);
. F+ g7 C0 t: P# O        long start=System.currentTimeMillis();
4 g% j7 e7 u& e2 w        TopDocs hits=is.search(query, 10);
6 k) r7 W  Y8 L: C. f9 l2 }: |4 c        long end=System.currentTimeMillis();
$ a" ?0 R) ?" o' k5 J        System.out.println("匹配 "+q+" ，总共花费"+(end-start)+"毫秒"+"查询到"+hits.totalHits+"个记录");

        QueryScorer scorer=new QueryScorer(query);
$ n/ J  z1 e0 ]+ @        Fragmenter fragmenter=new SimpleSpanFragmenter(scorer);
7 c& A9 y4 m. R) v/ Y        SimpleHTMLFormatter simpleHTMLFormatter=new SimpleHTMLFormatter("<b><font color='red'>","</font></b>");
+ [/ ]  Y: [4 ^/ ^        Highlighter highlighter=new Highlighter(simpleHTMLFormatter, scorer);
        highlighter.setTextFragmenter(fragmenter);
        for(ScoreDoc scoreDoc:hits.scoreDocs){
1 y5 v$ t% m8 y, s* O: p            Document doc=is.doc(scoreDoc.doc);
            System.out.println(doc.get("city"));
6 K7 }6 a4 O$ C& }  j& s            System.out.println(doc.get("desc"));
            String desc=doc.get("desc");
            if(desc!=null){
                TokenStream tokenStream=analyzer.tokenStream("desc", new StringReader(desc));
7 i2 _5 D& v; o                System.out.println(highlighter.getBestFragment(tokenStream, desc));
            }
        }
        reader.close();
/ R5 Q' r  e' ~7 G5 C% y6 t/ E    }
# ~3 m2 h8 l6 C" s. Z
" J8 ]6 W( s1 R5 c    public static void main(String[] args) {
6 s" U) |, \% _+ ]/ v: H1 D* c        String indexDir="D:\\lucene6";
        String q="南京文明";
2 a* ^0 |6 }* V2 [6 q        try {
$ e# H2 P, o/ E' l            search(indexDir,q);
. I' f! I/ m8 b' s0 L4 w, s3 g( q        } catch (Exception e) {
7 v. f" I; B/ q2 m% g            // TODO Auto-generated catch block
            e.printStackTrace();
        }
5 w. W+ y9 t5 R. B2 v# {    }
& _, @7 a4 ^$ k}



2 n1 \+ p% L/ G$ ?% {4 ]

( {) @3 U% Z4 O# a: c

学java来尚学堂

看了那么多，还是觉得我参加的北京尚学堂的教的好。包教包会，而且毕业就有1W的工资在手。一起来学习吧