【第六节】Lucene5 中文分词器 标准分词器

javazx

1、中文分词（smartcn）
( K0 c+ n- J8 c) H    <dependency>
        <groupId>org.apache.lucene</groupId>
  Z$ E9 E# I) z/ F. G        <artifactId>lucene-analyzers-smartcn</artifactId>
8 O$ F, u+ h/ p- O7 n- f* e        <version>5.3.1</version>
    </dependency>
) p+ S$ v, \$ G' U3 w& w' w0 W
" y4 r) x/ C7 T+ R1 T9 {' s0 t+ m7 w

2、高亮显示
$ W$ r. H, d# u" R7 L    <dependency>
$ A; ]9 t& M+ I5 g0 p/ u. J        <groupId>org.apache.lucene</groupId>
        <artifactId>lucene-highlighter</artifactId>
        <version>5.3.1</version>
. F& N9 h' Q+ Z/ [' j    </dependency>
$ b: H+ Z* g6 I% E# B+ r
源码：
（1）
import java.nio.file.Paths;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
4 s& a' J( Y" L$ ?0 ^$ zimport org.apache.lucene.analysis.standard.StandardAnalyzer;
  v6 e7 x# b6 u: x$ Rimport org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
' p9 }7 l; \/ U2 M4 Q9 f3 himport org.apache.lucene.document.IntField;
' o! k1 x0 p5 t8 i( f$ u# Y% ^import org.apache.lucene.document.StringField;
* K7 @$ A# {5 c( Ximport org.apache.lucene.document.TextField;
import org.apache.lucene.index.IndexWriter;
  _8 C, t1 n8 G- L2 n4 ^import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;

public class Indexer {
4 W3 H7 d5 N) ]0 ?
  ]7 C+ k7 X- }) V5 a    private Integer ids[]={1,2,3};
    private String citys[]={"青岛","南京","上海"};
    private String descs[]={
+ h# {# @. o' i5 u. v            "青岛是一个美丽的城市。",
7 {  l! c8 ^( x            "南京是一个有文化的城市。南京是一个文化的城市南京，简称宁，是江苏省会，地处中国东部地区，长江下游，濒江近海。全市下辖11个区，总面积6597平方公里，2013年建成区面积752.83平方公里，常住人口818.78万，其中城镇人口659.1万人。[1-4] “江南佳丽地，金陵帝王州”，南京拥有着6000多年文明史、近2600年建城史和近500年的建都史，是中国四大古都之一，有“六朝古都”、“十朝都会”之称，是中华文明的重要发祥地，历史上曾数次庇佑华夏之正朔，长期是中国南方的政治、经济、文化中心，拥有厚重的文化底蕴和丰富的历史遗存。[5-7] 南京是国家重要的科教中心，自古以来就是一座崇文重教的城市，有“天下文枢”、“东南第一学”的美誉。截至2013年，南京有高等院校75所，其中211高校8所，仅次于北京上海；国家重点实验室25所、国家重点学科169个、两院院士83人，均居中国第三。[8-10] 。",
            "上海是一个繁华的城市。"
    };

' n: ]5 |$ n; F2 i: E: s    private Directory dir;

    /**
  m6 @) g8 a" _! G, h' j     * 获取IndexWriter实例
5 q# \* y. J9 {+ A8 y: n/ I" X     * @return
     * @throws Exception
     */
    private IndexWriter getWriter()throws Exception{
        //Analyzer analyzer=new StandardAnalyzer(); // 标准分词器
1 {( A+ R( @: l( [        SmartChineseAnalyzer analyzer=new SmartChineseAnalyzer();
7 g) F% N7 _, J( u" ]7 X! {        IndexWriterConfig iwc=new IndexWriterConfig(analyzer);
! C2 k+ f/ U3 A6 u        IndexWriter writer=new IndexWriter(dir, iwc);
. E" g& h* u$ R7 T        return writer;
+ X3 V' p+ A2 ?% c* c    }
+ E9 @7 M/ h: l2 d4 L+ T! @- u
9 z+ r& F) c( w* A: B9 [) |* }    /**
     * 生成索引
1 y, A* H% h+ o" i: }* [3 e     * @param indexDir
     * @throws Exception
     */
    private void index(String indexDir)throws Exception{
+ b3 u* S5 L# g" B+ ~) L4 V/ L  L        dir=FSDirectory.open(Paths.get(indexDir));
7 s( I/ V3 ~1 M; {2 ~7 ^1 \# {        IndexWriter writer=getWriter();
2 o; e4 M  u1 e" [1 P% ?7 w        for(int i=0;i<ids.length;i++){
, Q! g# x- D6 F% S' L6 o            Document doc=new Document();
            doc.add(new IntField("id", ids, Field.Store.YES));
            doc.add(new StringField("city",citys,Field.Store.YES));
$ B" u, b! f5 J" d- Q            doc.add(new TextField("desc", descs, Field.Store.YES));
            writer.addDocument(doc); // 添加文档
: j% }1 \5 G4 g! `  p3 R6 }2 f) o        }
0 L3 V1 m7 R# J) Y+ \8 f! r* l        writer.close();
' T+ {7 V) K0 x: b0 Y$ [7 z    }
: O2 n( ~) N! o8 Z+ o2 `

1 z* h" m6 ?! J, E+ f    public static void main(String[] args) throws Exception {
2 D$ Y/ k; @+ ~        new Indexer().index("D:\\lucene6");
    }

  O9 Z+ f2 v5 O6 ~, i3 P}



（2）
import java.io.StringReader;
0 A: j+ e7 I0 F% Himport java.nio.file.Paths;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.index.DirectoryReader;
- f( e* ~- g+ r  ]0 h. t7 Z. Eimport org.apache.lucene.index.IndexReader;
import org.apache.lucene.queryparser.classic.QueryParser;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.ScoreDoc;
. E. h; |' s; i; f3 d- Gimport org.apache.lucene.search.TopDocs;
( }$ T2 c( ~+ `$ }' {! P' Qimport org.apache.lucene.search.highlight.Fragmenter;
% o+ z+ A& h8 R, R! d- w, U& N, h/ nimport org.apache.lucene.search.highlight.Highlighter;
) _3 ?6 \. ^6 G. Mimport org.apache.lucene.search.highlight.QueryScorer;
import org.apache.lucene.search.highlight.SimpleHTMLFormatter;
import org.apache.lucene.search.highlight.SimpleSpanFragmenter;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;

. q* ]9 K2 e  kpublic class Searcher {

6 L1 d" v4 y) }& @* R. c0 x, {    public static void search(String indexDir,String q)throws Exception{
        Directory dir=FSDirectory.open(Paths.get(indexDir));
; y! g1 y8 P& J# I6 j. o+ N        IndexReader reader=DirectoryReader.open(dir);
        IndexSearcher is=new IndexSearcher(reader);
: \4 [# A& C1 o* M        // Analyzer analyzer=new StandardAnalyzer(); // 标准分词器
: H; ?5 x+ }. X! [/ T! R! w4 N+ ^; c        SmartChineseAnalyzer analyzer=new SmartChineseAnalyzer();
1 g/ f! E. ]* Z9 }; I        QueryParser parser=new QueryParser("desc", analyzer);
        Query query=parser.parse(q);
& l7 T  d- g4 g  d- C        long start=System.currentTimeMillis();
        TopDocs hits=is.search(query, 10);
6 ?4 S8 y( p9 B0 O        long end=System.currentTimeMillis();
5 U& N" V6 A( @* J2 M2 z  E        System.out.println("匹配 "+q+" ，总共花费"+(end-start)+"毫秒"+"查询到"+hits.totalHits+"个记录");
" K0 G8 Z. ~' \& S
9 w& ^7 B  h# q0 I' i        QueryScorer scorer=new QueryScorer(query);
+ [! D5 M( k6 q% y        Fragmenter fragmenter=new SimpleSpanFragmenter(scorer);
3 B2 J$ {9 {. M" q! ~! B. E8 S        SimpleHTMLFormatter simpleHTMLFormatter=new SimpleHTMLFormatter("<b><font color='red'>","</font></b>");
! a  [3 I3 w  L        Highlighter highlighter=new Highlighter(simpleHTMLFormatter, scorer);
        highlighter.setTextFragmenter(fragmenter);
8 u5 f* @0 [# c7 l; o        for(ScoreDoc scoreDoc:hits.scoreDocs){
            Document doc=is.doc(scoreDoc.doc);
            System.out.println(doc.get("city"));
            System.out.println(doc.get("desc"));
, ?( D6 j4 @7 v% G" C' q            String desc=doc.get("desc");
$ C5 Y2 d& k0 ]# J$ N" S            if(desc!=null){
. _- h% L+ z9 q# ^                TokenStream tokenStream=analyzer.tokenStream("desc", new StringReader(desc));
& v4 O( C% V. @2 B* u- F. @. M                System.out.println(highlighter.getBestFragment(tokenStream, desc));
            }
8 J; R) B1 l! i1 i        }
0 X( b& M- l9 N) @! M        reader.close();
    }
: D0 s  m1 F6 |- S5 s. M
    public static void main(String[] args) {
        String indexDir="D:\\lucene6";
        String q="南京文明";
$ f5 e- W1 o  \5 e        try {
' G% Z& d- f+ K* V, `( u            search(indexDir,q);
8 }2 ^! E/ U" e3 F( W: J+ _* W        } catch (Exception e) {
            // TODO Auto-generated catch block
. c, {: Q2 ~5 m            e.printStackTrace();
        }
& ]/ @4 W% m) a! u2 M) v    }
4 t$ g& G# y1 x* s! u% |3 l& @}
! t( A2 U7 ], m  m+ m

9 a! o& A) I8 u0 ]( J

$ A2 l' U4 x: {# G! h
+ b. c' A' G4 l  \

学java来尚学堂

看了那么多，还是觉得我参加的北京尚学堂的教的好。包教包会，而且毕业就有1W的工资在手。一起来学习吧