用ES实现拼音搜索策略

　　构建拼音索引
　　Step1在ES中安装pinyin分词器
　　安装步骤详见网上的众多介绍，这里不赘述，链接。pinyin的开源见：GitHubmedclelasticsearchanalysispinyin：ThisPinyinAnalysispluginisusedtodoconversionbetweenChinesecharactersandPinyin。
　　Step2新建索引并初始化测试数据PUTidxtestuser｛mappings：｛dynamic：false，properties：｛name：｛analyzer：standard，type：text，fields：｛pinyin：｛type：text，analyzer：indexpinyinanalyzer｝｝｝｝｝，settings：｛analysis：｛analyzer：｛indexpinyinanalyzer：｛MARK1tokenizer：indexpinyintokenizer｝，searchpinyinanalyzer：｛MARK2tokenizer：searchpinyintokenzier｝｝，tokenizer：｛indexpinyintokenizer：｛keepjoinedfullpinyin：true，lowercase：true，nonechinesepinyintokenize：false，keepnonechineseinjoinedfullpinyin：true，keeporiginal：true，keepnonechinesetogether：true，removeduplicatedterm：false，keepseparatefirstletter：false，type：pinyin，limitfirstletterlength：16，keepfullpinyin：true｝，searchpinyintokenzier：｛keepjoinedfullpinyin：true，lowercase：true，keeporiginal：true，removeduplicatedterm：false，keepseparatefirstletter：false，type：pinyin，limitfirstletterlength：16，keepfullpinyin：true｝｝｝｝｝POSTidxtestuserdoc1｛name：李超｝POSTidxtestuserdoc2｛name：李超越｝POSTidxtestuserdoc3｛name：刘超｝POSTidxtestuserdoc4｛name：李朝｝
　　代码示例1。1
　　【MARK1说明】analyzer根据使用的位置不同（索引侧、召回侧），有可能需要定义不同的analyzer，两侧的analyzer搭配在一起使用，共同构成一组搜索策略。MARK1处为索引侧analyzer
　　【MARK2说明】该analyzer用于召回侧，与MARK1的analyzer组合在一起使用
　　索引侧analyzer效果说明
　　以代码示例1。1中的测试数据为例，在倒排索引中的结果是这样的
　　token
　　doc：李超
　　doc：李超越
　　doc：刘超
　　doc：李朝
　　listartoffset：0，
　　endoffset：0，
　　position：0startoffset：0，
　　endoffset：0，
　　position：0
　　startoffset：0，
　　endoffset：0，
　　position：0
　　李超startoffset：0，
　　endoffset：0，
　　position：0
　　lichaostartoffset：0，
　　endoffset：0，
　　position：0
　　startoffset：0，
　　endoffset：0，
　　position：0
　　lcstartoffset：0，
　　endoffset：0，
　　position：0
　　startoffset：0，
　　endoffset：0，
　　position：0startoffset：0，
　　endoffset：0，
　　position：0
　　chaostartoffset：0，
　　endoffset：0，
　　position：1startoffset：0，
　　endoffset：0，
　　position：1startoffset：0，
　　endoffset：0，
　　position：1startoffset：0，
　　endoffset：0，
　　position：1
　　李超越
　　startoffset：0，
　　endoffset：0，
　　position：0
　　lichaoyue
　　startoffset：0，
　　endoffset：0，
　　position：0
　　lcy
　　startoffset：0，
　　endoffset：0，
　　position：0
　　yue
　　startoffset：0，
　　endoffset：0，
　　position：2
　　liu
　　startoffset：0，
　　endoffset：0，
　　position：0
　　刘超
　　startoffset：0，
　　endoffset：0，
　　position：0
　　liuchao
　　startoffset：0，
　　endoffset：0，
　　position：0
　　李朝
　　startoffset：0，
　　endoffset：0，
　　position：0
　　表1。1李超、李超越、刘超在倒排索引中的结构
　　召回侧实现方式matchphrase：｛MARK1name。pinyin：｛analyzer：searchpinyinanalyzer，MARK2query：lichao｝｝
　　代码示例2。1
　　【MARK1说明】注意要使用matchphrase，而不是match，不然会有badcase
　　【MARK2说明】注意这里要指定召回侧的analyzer，analyzer声明详见代码示例1。1，若不指定则会用ES默认analyzer：standard
　　拼音搜索策略及其效果
　　使用代码示例1。1中提供的数据，倒排索引结构见表1。1，召回DSL见代码示例2。1
　　query
　　全拼
　　连字拼音
　　前缀拼音
　　多音字
　　lichao
　　李超，李朝
　　李超越
　　lichaoyue
　　李超越
　　li
　　李超，李超越，李朝
　　chao
　　李超，李超越，刘超，李朝
　　yue
　　李超越
　　liuchao
　　刘超
　　liu
　　刘超
　　lc
　　不支持
　　lizhao
　　不支持，无法召回李朝
　　表2。1各query在不同策略下可以召回的结果
　　欢迎访问我的博客：用ES实现拼音搜索策略百木森森的技术分享