Solr搜索引擎 — SolrCloud安装和集群配置

搞定了一切的一切之后下一步就是正式使用了,但是之前介绍的都是在单台服务器上进行的部署,如果在生产环境出现了单台故障怎么办呢?提供稳定性和性能的最直观的方式就是集群,solr官方提供了cloud的集群方式

附上:

喵了个咪的博客:http://w-blog.cn

Solr官网:http://lucene.apache.org/solr/

PS:8.0.0版本已经发布,本文使用此时较为稳定的7.7.1版本

一、基于tomcat安装solr

下载solr

1> cd /app/install/ 2> wget http://mirror.bit.edu.cn/apache/lucene/solr/7.7.1/solr-7.7.1.tgz 3> tar -zxvf solr-7.7.1.tgz 4> mv solr-7.7.1 /usr/local/ 5> vim /etc/profile 6 7export PATH=/usr/local/solr-7.7.1/bin:$PATH 8 9> source /etc/profile

在tomcat包下的webapps目录新建一个目录,取名solr

1> cd /data/wwwroot/default 2> mkdir solr
  • 将solr解压包/solr-7.7.1/server/solr-webapp/webapp/下的内容拷贝到刚才tomcat下新建的文件夹solr中

  • 将/solr-7.7.1/server/lib/ext/下的jar包拷贝到/tomcat/webapps/solr/WEB-INF/lib/下

  • 将/solr-7.7.1/server/lib/下metrics开头的jar包也拷贝到刚才的目录下

  • 将/solr-7.7.1/dist/下 solr-dataimporthandler-extras-7.7.1.jar、solr-dataimporthandler-7.7.1.jar也拷贝到刚才的目录下

    cp -rf /usr/local/solr-7.7.1/server/solr-webapp/webapp/* /data/wwwroot/default/solr cp -rf /usr/local/solr-7.7.1/server/lib/ext/* /data/wwwroot/default/solr/WEB-INF/lib cp -rf /usr/local/solr-7.7.1/server/lib/metrics-* /data/wwwroot/default/solr/WEB-INF/lib cp -rf /usr/local/solr-7.7.1/dist/solr-dataimporthandler-extras-7.7.1.jar /data/wwwroot/default/solr/WEB-INF/lib cp -rf /usr/local/solr-7.7.1/dist/solr-dataimporthandler-7.7.1.jar /data/wwwroot/default/solr/WEB-INF/lib

  • 在你本地的/home下新建一个文件夹,取名solr-home,将/solr-7.7.1/server/solr下的内容拷贝到刚才新建的solr-home下

    mkdir /home/solr-home cp -rf /usr/local/solr-7.7.1/server/solr/* /home/solr-home/

  • 打开并编辑/tomcat/webapps/solr/WEB-INF/web.xml并且注释文件末尾的所有 <security-constraint> 元素节点

    vim /data/wwwroot/default/solr/WEB-INF/web.xml

    <env-entry> <env-entry-name>solr/home</env-entry-name> <env-entry-value>/home/solr-home</env-entry-value> <env-entry-type>java.lang.String</env-entry-type> </env-entry> <!-- <security-constraint> <web-resource-collection> <web-resource-name>Disable TRACE</web-resource-name> <url-pattern>/</url-pattern> <http-method>TRACE</http-method> </web-resource-collection> <auth-constraint/> </security-constraint> <security-constraint> <web-resource-collection> <web-resource-name>Enable everything but TRACE</web-resource-name> <url-pattern>/</url-pattern> <http-method-omission>TRACE</http-method-omission> </web-resource-collection> </security-constraint> -->
  • 配置solr日志(可选) 将/solr-7.7.1/server/resources/下的log4j2.xml文件拷贝到solr/WEB-INF/classes/下,如果没有则自己创建一个。

分别给予权限

1> chown -R www:www /home/solr-home/ 2> chown -R www:www /data/wwwroot/default/solr/

二,SolrCloud配置子节点

把配置好的solr 和 solrhome 复制到其余两个节点

1> scp -r /home/solr-home root@solr-2:/home/ 2> scp -r /home/solr-home root@solr-3:/home/ 3 4> scp -r /data/wwwroot/default/solr root@solr-2:/data/wwwroot/default/ 5> scp -r /data/wwwroot/default/solr root@solr-3:/data/wwwroot/default/

配置solrCloud相关的配置。每个solrhome下都有一个solr.xml,把其中的ip及端口号配置好

> vim /home/solr-home/solr.xml 

让zookeeper统一管理配置文件。需要把/conf目录上传到zookeeper

> cd /app/install/solr-7.7.1/server/scripts/cloud-scripts

> ./zkcli.sh -zkhost solr-1:2181,solr-2:2181,solr-3:2181 -cmd upconfig -confdir  /home/solr-home/new_core/conf -confname myconf

使用zkCli.sh来确认一下文件已经上传了

修改tomcat/bin目录下的catalina.sh文件,关联solr和zookeeper 三台都需要修改

1> vim /usr/local/tomcat/bin/catalina.sh 2 3JAVA_OPTS="-DzkHost=solr-1:2181,solr-2:2181,solr-3:2181"

此时重启所有的tomcat就可以正常访问到solr-ui了


三、添加Collection使用索引功能

PS:集群下的Collection等同于单机的core


四、配置mysql索引

使用SolrCloud来去进行配置过程和单机模式基本一致,但是有以下几个多出来的事情:

  • 修改完new_core的配置需要通过zookeeper进行配置文件的上传才能生效;

  • 依赖的各种jar包mysql,分词和拼音等每个集群节点都需要添加才能生效;

    vim server/solr/new_core/conf/solrconfig.xml

在solrconfig.xml 下添加以下配置,添加位置大约在 680行,SearchHandler 配置上面:

1<!-- Request Handlers 2 http://wiki.apache.org/solr/SolrRequestHandler 3 Incoming queries will be dispatched to a specific handler by name 4 based on the path specified in the request. 5 6 If a Request Handler is declared with startup="lazy", then it will 7 not be initialized until the first request that uses it. 8 --> 9 10 <!-- add property --> 11 <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler"> 12 <lst name="defaults"> 13 <str name="config">data-config.xml</str> 14 </lst> 15 </requestHandler> 16 17 <!-- SearchHandler 18 http://wiki.apache.org/solr/SearchHandler 19 For processing Search Queries, the primary Request Handler 20 provided with Solr is "SearchHandler" It delegates to a sequent 21 of SearchComponents (see below) and supports distributed 22 queries across multiple shards 23 --> 24 25 26> vim server/solr/new_core/conf/data-config.xml 27 28<?xml version="1.0" encoding="UTF-8"?> 29<dataConfig> 30 <dataSource name="source" 31 type="JdbcDataSource" 32 driver="com.mysql.jdbc.Driver" 33 url="jdbc:mysql://localhost:3306/appstore" 34 user="root" 35 password="sunmi388" 36 /> 37 <document> 38 <entity name="app" 39 pk="id" 40 dataSource="source" 41 query="select * from app" 42 deltaImportQuery="select * from app where id = '${dih.delta.id}'" 43 deltaQuery="select id from app where update_date > '${dataimporter.last_index_time}' and type = 1"> 44 <field column="id" name="id"/> 45 <field column="app_name" name="app_name"/> 46 <field column="update_date" name="update_date"/> 47 </entity> 48 </document> 49</dataConfig> 50 51 52> vim server/solr/new_core/conf/managed-schema 53 54<!-- add propertity --> 55<field name="appName" type="string" indexed="true" stored="true" /> 56<field name="score" type="string" indexed="true" stored="true" /> 57<field name="downLoadNum" type="string" indexed="true" stored="true" /> 58<field name="top" type="string" indexed="true" stored="true" /> 59<field name="type" type="string" indexed="true" stored="true" /> 60<field name="update_date" type="string" indexed="true" stored="true" />

添加jar包时每个节点都需要添加

1> cd /data/wwwroot/default/solr/WEB-INF/lib/ 2> wget http://pic.w-blog.cn/mysql-connector-java.jar

上传配置:

> ./zkcli.sh -zkhost solr-1:2181,solr-2:2181,solr-3:2181 -cmd upconfig -confdir  /home/solr-home/new_core/conf -confname myconf

PS:分词配置和依赖jar包同理


五、集群机制测试

测试容错

  1. 关闭主节点solr-1
  2. 在数据查询上 另外两个节点依然可以提供数据查询服务
  3. 重启 solr-1,再次查看界面可以发现主节点已经路由给了solr-2

测试分词在集群下的生效范围,在solr-1增加新的分词

1> vim /data/wwwroot/default/solr/WEB-INF/classes/ext.dic 2 3美团
  • 保存后重启所有节点重新初始化数据

增加了分词文件的节点可以识别

未增加分词文件的节点无法识别

影响范围是局部的,并且一定要重启才能生效(当然这个是IK分词库决定的)


六、集群压力分散情况

验证 查询时自动负载均衡 通过一台服务器对一台进行压力查看整个集群的情况

> ab -c 1000 -n 100000 -k "http://solr-1:8080/solr/mycollection/select?q=appName%3Agongju"

solr-1

solr-2 -3

承载了接口请求的节点压力会比较大,其余在集群情况下提供了支持

点赞
收藏

评论区

加载中...

相关推荐

MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1

文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s

Oracle 分组与拼接字符串同时使用

SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(

MySQL部分从库上面因为大量的临时表tmp_table造成慢查询

背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_

皕杰报表之UUID

​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为

手写Java HashMap源码

HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22

2020年前端实用代码段,为你的工作保驾护航

有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )