solr 使用自定义的 QueryParser

如果想让 solr 有更加强大的功能或在查询时做一些特别的处理。可以在 solrconfig.xml 里注册自定义的 QueryParser(查询解析器),这是 solr 1.3 的新功能(插件功能),如:

1. <queryParser name="mylucene" class="org.apache.solr.search.MyQParserPlugin" />

query parser 插件时,要先了解下 solr 这方面的结构,下面的QueryParserPlugin 相关类的类图:

写自己的 query parser 插件,基本需要写加个类,MyQParserPluginMyQParserMySolrQueryParser分别扩展QParserPluginQParserSolrQueryParser

默认情况:solr 是用 OldLuceneQParser 来解析查询,solr 源码中 OldLuceneQParserLuceneQParserLuceneQParserPlugin内部类。

扩展QParser时,可以复制 OldLuceneQParser LuceneQParser,然后稍加改一个(把 SolrQueryParser 改为 MySolrQueryParser,还有一些访问属性相关的调整),然后你可以在MySolrQueryParser “胡作非为”,与可以在 MyQParser 查询前做一些特别的处理。

最后打包,个人用这三个类独立打包成my-qparser.jar 放到 solr.home/lib目录下,如果没有手动建一个。

写好了扩展怎么用呢?solr 有一个 defType的参数,比如:你注册自己的QParserPlugin后,如名为mylucene,那么 defType=mylucene。当然还可以这样:在q参数值前面加{!mylucene}。个人认为用defType比较好,这样其它调用的地方不用 改,做到透明——在 standard requestHandler 里加默认的defType参数。

现在可以看下是否自己的查询解析器正常工作:http://localhost:8080/solr/select?indent=on&version=2.2&q=solr&start=0&rows=10&fl=*%2Cscore&debugQuery=on

最近产品的同事反应给我一个搜索的问题,用户在输入如“QueryParser定制”时搜索不到结果,而搜索“QueryParser 定制”,就能找到正确的结果。这个问题导致搜索无结果率偏高。前天开始致力于解决该问题,经过两天的研究,最终通过定制QueryParser解决该问 题。这个问题的解决方案是定制了SolrQueryParser,下面讲一下如何定制SolrQueryParser

我们的搜索引擎使用的是edismax类型,因为一些业务需要用到了edismax提供的特性,因此只能在edismax上做定制。

先做了一下分词测试,“QueryParser定制”与“QueryParser 定制”的分词结果一致。

打开debugQuery,对比“QueryParser定制”与“QueryParser 定制” 输出queryString却不相同。

QueryParser 定制”显示如下:

parsedquery”:”+((DisjunctionMaxQuery((goods_title:queryparser))

DisjunctionMaxQuery((goods_title:定制)))~2)”,

QueryParser定制”则如下:

parsedquery”:”+DisjunctionMaxQuery((goods_title:\”queryparser 定制\”))”,

从上面两个结果可以看到,分词虽然正确了,但是Edismax的处理方式并不符合预期,只能通过修改源码解决。

找到对应的代码ExtendedDismaxQParserPlugin.java,通过debug研究一下流程后,马上找到要在哪修改了。

修改好源码之后,把这个类放打成lib,部署方式如下:

1、将打好包的放到${solr.home}/lib下,保证Solr在启动时参加载到这个jar

2、修改solrconfig.xml下面的配置:

添加新的queryParser:

<queryParser name=”newdismax” class=”com.server.solr.NewExtendedDismaxQParserPlugin”/>

使用新的queryParser

<requestHandler name="/browse" class="solr.SearchHandler">

<lst name="defaults">

<str name="echoParams">explicit</str>

<str name="wt">json</str>

<str name="json.ml">map</str>

<str name="defType">newdismax</str>

<str name="rows">20</str>

<str name="mm">1</str>

<lst>

</requestHandler>

需要注意的是NewExtendedDismaxQParserPlugin中的NAME需要改为配置的newdismax。如下:

public static final String NAME = “newedismax”;

重启Solr后,即可使用该新的QueryParser了,之后有其它的需求也可以通过定制这个类来实现了。

由于 Solr 默认的 Query Parser 生成的 Query 一般是 “短语查询”,导致只有很精确的结果才被搜索出来。大部分时候我们要分词后的 BooleanQuery。一年半前有篇关于 solr 使用自定义的 QueryParser 的文章。使用这个方法在 solr 中可以用自己的 Query Parser

按照那篇文章,分别扩展:QParserPluginQParserSolrQueryParser。我把它们实现为:ExtLuceneQParserPluginExtLuceneQParserSolrQueryParser 源码下载。

配置使用,把 solr-1.4-query-parser-extand-0.1.jar 放到 solr.home/lib 里,同时也把 mmseg4j-all-1.8.2-with-dic.jar 放到 solr.home 当然也可以其它分词器(paoding 可以,看:solr 中使用 paoding 中文分词,N久前验证过 paoding 使用这个扩展可以,有问题通知我)。

schema.xml 加或改:

1. <fieldType name="text_cn" class="solr.TextField" positionIncrementGap="100">

2.   <analyzer>

3.     <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory"/>

4.   </analyzer>

5. </fieldType>

6.

7. <!--  ..... -->

8.

9. <field name="title" type="text_cn" indexed="true" stored="true"/>

10.

11.  <defaultSearchField>title</defaultSearchField>

12.  <solrQueryParser defaultOperator="AND"/>

保存 doc-demo.xml

1. <?xml version="1.0" encoding="UTF-8" ?>

2. <add>

3. <doc>

4.   <field name="id">1</field>

5.   <field name="title">研究空格生命起源</field>

6. </doc>

7. </add>

启动 solr (solr.root=e:/apache-solr-1.4.1), 提交一个文档。

1. #启动 solr

2. cd solr.root/example

3. java -jar start.jar

4.

5. #提交索引

6. cd solr.root/example/exampledocs

7. java -jar post.jar doc-demo.xml

用两种方式查询:

1extand lucene query parser 方式:查 研究生命起源

结果:

1. <?xml version="1.0" encoding="UTF-8"?>

2. <response>

3.

4. <lst name="responseHeader">

5.  <int name="status">0</int>

6.  <int name="QTime">0</int>

7.  <lst name="params">

8.   <str name="debugQuery">on</str>

9.   <str name="indent">on</str>

10.   <str name="q">研究生命起源</str>

11.   <str name="defType">extlucene</str>

12.  </lst>

13. </lst>

14. <result name="response" numFound="1" start="0">

15.  <doc>

16.   <str name="id">1</str>

17.   <str name="title">研究空格生命起源</str>

18.  </doc>

19. </result>

20. <lst name="debug">

21.  <str name="rawquerystring">研究生命起源</str>

22.  <str name="querystring">研究生命起源</str>

23.  <str name="parsedquery">+title:研究 +title:生命 +title:起源</str>

24.  <str name="parsedquery_toString">+title:研究 +title:生命 +title:起源</str>

25.  <str name="QParser">ExtLuceneQParser</str>

26. </lst>

27. </response>

2、用 solr 的默认 query parser 的查询,查 研究生命起源

结果:

1. <?xml version="1.0" encoding="UTF-8"?>

2. <response>

3.

4. <lst name="responseHeader">

5.  <int name="status">0</int>

6.  <int name="QTime">0</int>

7.  <lst name="params">

8.   <str name="debugQuery">on</str>

9.   <str name="indent">on</str>

10.   <str name="start">0</str>

11.   <str name="q">研究生命起源</str>

12.   <str name="version">2.2</str>

13.   <str name="rows">10</str>

14.  </lst>

15. </lst>

16. <result name="response" numFound="0" start="0"/>

17. <lst name="debug">

18.  <str name="rawquerystring">研究生命起源</str>

19.  <str name="querystring">研究生命起源</str>

20.  <str name="parsedquery">PhraseQuery(title:"研究 生命 起源")</str>

21.  <str name="parsedquery_toString">title:"研究 生命 起源"</str>

22.  <str name="QParser">LuceneQParser</str>

23. </lst>

24. </response>

对比两个结果:

1、第一个是 debug 输出 QParser ExtLuceneQParser,是刚才安装的扩展。并且可以搜索到内容,为 BooleanQuery("+title:研究 +title:生命 +title:起源")

2、第二个 debug 输出的 QParser LuceneQParser,搜索不到内容,原因是它把查询解析为 PhraseQuery(title:"研究 生命 起源"),它们必须紧接着的(当然可以指定 slop)。

源码使用说明(readme.txt ),源码下载:

copy example 目录到 solr.root(e:/apache-solr-1.4.1) 里。

cd solr.root/example

java -jar start.jar

cd solr.root/example/exampledocs

java -jar post.jar doc-demo.xml

比较两链接:

http://localhost:8983/solr/select/?q=%E7%A0%94%E7%A9%B6%E7%94%9F%E5%91%BD%E8%B5%B7%E6%BA%90&defType=extlucene&indent=on&debugQuery=on

上面链接的参数可以加到 standard handle 里的defaults,如:

1. <requestHandler name="standard" class="solr.SearchHandler" default="true">

2.   <!-- default values for query parameters -->

3.    <lst name="defaults">

4.      <str name="echoParams">explicit</str>

5.      <str name="defType">extlucene</str>

6.    </lst>

7. </requestHandler>

8.

9. <queryParser name="extlucene" class="com.chenlb.solr.search.ExtLuceneQParserPlugin"/>

正常的 solr query parser

http://localhost:8983/solr/select/?q=%E7%A0%94%E7%A9%B6%E7%94%9F%E5%91%BD%E8%B5%B7%E6%BA%90&indent=on&debugQuery=on

这一问题困扰很多网友。特写这文章仅供参考。

原文出处:http://blog.chenlb.com/2009/02/use-custom-solr-queryparser.html

发表评论