【第六节】Lucene5 中文分词器标准分词器

javazx · 发表于 2016-6-20 14:51:33

1、中文分词（smartcn）
<dependency>
      <groupId>org.apache.lucene</groupId>
      <artifactId>lucene-analyzers-smartcn</artifactId>
      <version>5.3.1</version>
</dependency>

2、高亮显示
<dependency>
      <groupId>org.apache.lucene</groupId>
      <artifactId>lucene-highlighter</artifactId>
      <version>5.3.1</version>
</dependency>

源码：
（1）
import java.nio.file.Paths;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.document.IntField;
import org.apache.lucene.document.StringField;
import org.apache.lucene.document.TextField;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;

public class Indexer {

private Integer ids[]={1,2,3};
private String citys[]={"青岛","南京","上海"};
private String descs[]={
         "青岛是一个美丽的城市。",
         "南京是一个有文化的城市。南京是一个文化的城市南京，简称宁，是江苏省会，地处中国东部地区，长江下游，濒江近海。全市下辖11个区，总面积6597平方公里，2013年建成区面积752.83平方公里，常住人口818.78万，其中城镇人口659.1万人。[1-4] “江南佳丽地，金陵帝王州”，南京拥有着6000多年文明史、近2600年建城史和近500年的建都史，是中国四大古都之一，有“六朝古都”、“十朝都会”之称，是中华文明的重要发祥地，历史上曾数次庇佑华夏之正朔，长期是中国南方的政治、经济、文化中心，拥有厚重的文化底蕴和丰富的历史遗存。[5-7] 南京是国家重要的科教中心，自古以来就是一座崇文重教的城市，有“天下文枢”、“东南第一学”的美誉。截至2013年，南京有高等院校75所，其中211高校8所，仅次于北京上海；国家重点实验室25所、国家重点学科169个、两院院士83人，均居中国第三。[8-10] 。",
         "上海是一个繁华的城市。"
};

private Directory dir;

/**
   * 获取IndexWriter实例
   * @return
   * @throws Exception
   */
private IndexWriter getWriter()throws Exception{
      //Analyzer analyzer=new StandardAnalyzer(); // 标准分词器
      SmartChineseAnalyzer analyzer=new SmartChineseAnalyzer();
      IndexWriterConfig iwc=new IndexWriterConfig(analyzer);
      IndexWriter writer=new IndexWriter(dir, iwc);
      return writer;
}

/**
   * 生成索引
   * @param indexDir
   * @throws Exception
   */
private void index(String indexDir)throws Exception{
      dir=FSDirectory.open(Paths.get(indexDir));
      IndexWriter writer=getWriter();
      for(int i=0;i<ids.length;i++){
         Document doc=new Document();
         doc.add(new IntField("id", ids, Field.Store.YES));
1 @5 ^0 s* ]$ B          doc.add(new StringField("city",citys,Field.Store.YES));+ }$ F! u- V& A. H& [8 ^
         doc.add(new TextField("desc", descs, Field.Store.YES));
8 h3 h* j) F1 ?" E2 h, E& n& d          writer.addDocument(doc); // 添加文档/ G, V& N4 B9 [& j. v
      }# d, B4 n5 \6 f6 [- \+ z2 ?
      writer.close();
8 w8 j' D. O% k" R9 Y9 U( d, I }
9 O3 k% d! o3 {6 _) t5 t0 m9 S  s. X$ g+ P

# P% F0 x/ d) w2 t$ y public static void main(String[] args) throws Exception {. S9 I3 q. J% u
      new Indexer().index("D:\\lucene6");
4 N  f# i5 M6 \0 s3 O( w: m7 k& u4 L }& H6 h& X3 f! H5 j, @$ z+ [6 n

( o  @) S, }! Q% G3 ^  @4 z) g6 |}' q5 Q& m8 B% r7 Q; J  U
% ^4 M, `2 y* w# X. b: l8 c

2 [& D& r* Y; h. }, y4 \: D% Q1 l& Q0 X. _* h. l3 X  d8 h
（2）. q& \) ^$ v* v% Q" n% d6 ]2 A
import java.io.StringReader;& g  U( M$ h$ a! L
import java.nio.file.Paths;4 h2 l  `( L; g% u. G: k
! I  c$ D/ Z6 Z/ l/ V8 o
import org.apache.lucene.analysis.Analyzer;
- y" S" A& K1 C, m+ oimport org.apache.lucene.analysis.TokenStream;
: ]: _0 K$ y1 P( b3 H" N2 Dimport org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
: ~' }7 E6 e4 D/ ?2 rimport org.apache.lucene.analysis.standard.StandardAnalyzer;; ~+ y1 M7 B1 e' H. \5 ]* q
import org.apache.lucene.document.Document;
# G& j, t, Q) c4 g6 ^, ximport org.apache.lucene.index.DirectoryReader;/ X0 m3 |9 ?5 K4 {
import org.apache.lucene.index.IndexReader;1 @/ l  E- Z7 p# A# i
import org.apache.lucene.queryparser.classic.QueryParser;
& e& Z  L4 a5 Yimport org.apache.lucene.search.IndexSearcher;4 @- h# u% w2 ~) c; U% d+ @
import org.apache.lucene.search.Query;! w5 l0 r- H6 E" F" ?9 z8 ~7 D
import org.apache.lucene.search.ScoreDoc;& T8 ~9 r8 e9 c' w- P1 i9 f5 M
import org.apache.lucene.search.TopDocs;
+ Y+ e* ?3 {* J: f2 Q" ]- X8 [import org.apache.lucene.search.highlight.Fragmenter;7 B" Q1 x, `. @9 A) T( r
import org.apache.lucene.search.highlight.Highlighter;4 p. e' [: J, [, ~# p& g& Q
import org.apache.lucene.search.highlight.QueryScorer;  \8 s3 P/ i+ w# _. J. n/ h) m( X
import org.apache.lucene.search.highlight.SimpleHTMLFormatter;1 U6 l4 @/ p* ~6 R
import org.apache.lucene.search.highlight.SimpleSpanFragmenter;' n# ~/ g7 ]4 t; f
import org.apache.lucene.store.Directory;& c9 R" g! K% e+ r( ?7 _8 g# ^
import org.apache.lucene.store.FSDirectory;+ [. S2 W- }4 ?! Y
' U3 @( n( l& A5 M: z
public class Searcher {4 @) D/ h( Z0 W) e- F7 B+ ?

6 {* Q/ h9 K  a: W5 J7 U. A- _2 ? public static void search(String indexDir,String q)throws Exception{
2 J. m! T' d0 f5 Y% P3 }       Directory dir=FSDirectory.open(Paths.get(indexDir));
# I# |# q  ]: H       IndexReader reader=DirectoryReader.open(dir);  A2 I# [7 O( E9 P% I
      IndexSearcher is=new IndexSearcher(reader);
* p0 O( l1 \/ p3 W; G+ j       // Analyzer analyzer=new StandardAnalyzer(); // 标准分词器
$ M' v/ G4 Y/ v$ K       SmartChineseAnalyzer analyzer=new SmartChineseAnalyzer();
# g. m2 b; K" W. ~8 g8 G- N, s       QueryParser parser=new QueryParser("desc", analyzer);% D5 a2 @7 \+ L( d; T
      Query query=parser.parse(q);# c3 ^1 J  h( i
      long start=System.currentTimeMillis();
      TopDocs hits=is.search(query, 10);# q9 ^3 w8 g/ Q
      long end=System.currentTimeMillis();
/ d1 Y% s" N' M! C7 I/ O8 M       System.out.println("匹配 "+q+" ，总共花费"+(end-start)+"毫秒"+"查询到"+hits.totalHits+"个记录");
# q# R$ M. t- P+ D, h( l: t9 b" c2 i4 N& Q2 X
      QueryScorer scorer=new QueryScorer(query);( y2 x5 A0 q2 s6 u: K
      Fragmenter fragmenter=new SimpleSpanFragmenter(scorer);# ]/ H! v# ^/ G) W) l
      SimpleHTMLFormatter simpleHTMLFormatter=new SimpleHTMLFormatter("<b><font color='red'>","</font></b>");' w9 `6 y" P2 l4 r" f8 B
      Highlighter highlighter=new Highlighter(simpleHTMLFormatter, scorer);
) v) m( V" k3 ~# g7 T8 Q       highlighter.setTextFragmenter(fragmenter);
( C9 r+ F- ^/ Z# {  _       for(ScoreDoc scoreDoc:hits.scoreDocs){& T- y1 Z7 d6 ]
         Document doc=is.doc(scoreDoc.doc);9 e& t) r# ]# q0 }/ n5 x! S9 ]# ^, x
         System.out.println(doc.get("city"));9 G3 Y& G# G7 v! ~
         System.out.println(doc.get("desc"));
8 x9 q- w  A# e) r( I$ g% u; D          String desc=doc.get("desc");
) ^1 j4 M4 K7 \. a: i- S          if(desc!=null){
2 c7 w( V/ C5 s) Z! q             TokenStream tokenStream=analyzer.tokenStream("desc", new StringReader(desc));, u1 l) I8 i' _
            System.out.println(highlighter.getBestFragment(tokenStream, desc));
0 `( A$ S7 v( F          }. J1 V! b- F5 _8 e- o
      }& _  E: k' b) K7 w1 _
      reader.close();
; S# b3 ~) Y2 c% W }% |; w, h- T% |9 Q4 A7 M

9 k4 p5 Q% c- F8 ^, j9 z' T$ l* V+ Y* c public static void main(String[] args) {
      String indexDir="D:\\lucene6";6 |1 m) T# p3 y# f1 m' n
      String q="南京文明";
$ `1 k5 X6 f- i8 _* h5 W       try {0 h+ I1 G9 ?3 |
         search(indexDir,q);7 d9 P) |9 J2 D' |" ]
      } catch (Exception e) {
# z: c7 \) V; [; ~& L          // TODO Auto-generated catch block
7 |/ \! z% O: M) }          e.printStackTrace();% V8 P* y+ w: _  V6 }; i
      }# ]! w# r; {8 |* T
}
' F. J" |: J* m% T0 }}
" g# {# `2 c4 L- }0 K1 h
$ W! ^! n5 F, Q/ ^, L, }8 Y3 g& X% P- e( M4 {4 u9 c' ?3 |7 A! W

( T+ E( V7 ]' V) `) Z' E* f
3 M& u) l# t2 P  U" C5 P7 Z1 `& m3 s6 ^

学java来尚学堂 · 发表于 2016-10-29 14:13:44

看了那么多，还是觉得我参加的北京尚学堂的教的好。包教包会，而且毕业就有1W的工资在手。一起来学习吧

		自动登录	找回密码
密码			立即注册

【第六节】Lucene5 中文分词器标准分词器

相关帖子

宣传达人

突出贡献

优秀版主

荣誉管理

论坛元老

【第六节】Lucene5 中文分词器 标准分词器

相关帖子

宣传达人

突出贡献

优秀版主

荣誉管理

论坛元老

【第六节】Lucene5 中文分词器标准分词器