Linux环境Elasticsearch安装配置

• 说起搜索，脑海中首先想到的一定是百度、Google等搜索引擎，当我们想寻找外部信息的时候，总会习惯性的上百度去搜索一下，比如说找一部自己喜欢的电影，或者说找一本喜欢的书，或者找一条感兴趣的新闻。但是， 百度 != 搜索
• 搜索分类：
  • <1>. 互联网的搜索：电商网站，招聘网站，新闻网站，各种app
  • <2>. IT系统的搜索：OA软件(如内部员工搜索软件)，办公自动化软件，会议管理，日程管理，项目管理
• 搜索定义：
  • 在任何场景下，找寻你想要的信息，这个时候，会输入一段你要搜索的关键字，然后就期望找到这个关键字相关的有些信息。

(2) 用数据库做搜索

• 用数据库来实现搜索不太靠谱，只能检索连续的字段，而且通常性能很差。

  

(3) 全文检索和Lucene

• <1>. 全文检索

  • 全文检索是指计算机索引程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置，当用户查询时，检索程序就根据事先建立的索引进行查找，并将查找的结果反馈给用户的检索方式。这个过程类似于通过字典中的检索字表查字的过程。

• <2>. 倒排索引

  • 倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而称为倒排索引(inverted index)。

    

• <3>. Lucene

  • Lucene的目的是为软件开发人员提供一个简单易用的 工具 包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。Lucene是一套用于全文检索和搜寻的开源程式库，由Apache软件基金会支持和提供。Lucene就是一个jar包，里面包含了封装好的各种建立倒排索引，以及进行搜索的代码，包括各种算法，提供了一个简单却强大的应用程式接口，能够做全文索引和搜寻。

2. 认识Elasticsearch

(1) Elasticsearch介绍

• Elasticsearch，基于Lucene，隐藏复杂性，提供简单易用的restful api接口、java api接口（还有其他语言的api接口）。
• 关于Elasticsearch的一个传说，有一个 程序员 失业了，陪着自己妻子去英国伦敦学习厨师课程。程序员在失业期间想给老婆写一个菜谱搜索引擎，觉得Lucene实在太复杂了，就开发了一个封装了Lucene的开源项目——Compass。后来程序员找到了工作，是做分布式的高性能项目的，觉得compass不够，就写了Elasticsearch，让Lucene变成分布式的系统。
• Elasticsearch是一个实时分布式搜索和分析引擎。它用于全文搜索、结构化搜索、数据分析。

  select * from products where category_id='日化用品'
  

(2) Elasticsearch适用场景

• <1>. 维基百科，类似百度百科，牙膏，牙膏的维基百科，全文检索，高亮，搜索推荐。
• <2>. The Guardian（国外新闻网站），类似搜狐新闻，用户行为日志（点击，浏览，收藏，评论）+ 社交网络数据（对某某新闻的相关看法），数据分析，给到每篇新闻文章的作者，让他知道他的文章的公众反馈（好，坏，热门，垃圾，鄙视，崇拜）。
• <3>. Stack Overflow（国外的程序异常讨论论坛），IT问题，程序的报错，提交上去，有人会跟你讨论和回答，全文检索，搜索相关问题和答案，程序报错了，就会将报错信息粘贴到里面去，搜索有没有对应的答案。
• <4>. GitHub（开源代码管理），搜索上千亿行代码。
• <5>. 国内：站内搜索（电商，招聘，门户，等等），IT系统搜索（OA，CRM，ERP，等等），数据分析（ES热门的一个使用场景）。

(3) Elasticsearch特点

• <1>. 可以作为一个大型分布式集群（数百台服务器）技术，处理PB级数据，服务大公司；也可以运行在单机上，服务小公司；甚至几个树莓派都能搭建Elasticsearch集群环境。
• <2>. Elasticsearch不是什么新技术，主要是将全文检索、数据分析以及分布式技术，合并在了一起，才形成了独一无二的ES；lucene（全文检索），商用的数据分析软件（也是有的），分布式数据库（mycat）。
• <3>. 对用户而言，是开箱即用的，非常简单，作为中小型的应用，直接3分钟部署一下ES，就可以作为生产环境的系统来使用了，数据量不大，操作不是太复杂。
• <4>. 数据库的功能面对很多领域是不够用的（事务，还有各种联机事务型的操作）；特殊的功能，比如全文检索，同义词处理，相关度排名，复杂数据分析，海量数据的近实时处理；Elasticsearch作为传统数据库的一个补充，提供了数据库所不能提供的很多功能。

(4) Elasticsearch核心概念

• <1>. 近实时

  • 近实时，两个意思，从写入数据到数据可以被搜索到有一个小延迟（大概1秒）；基于es执行搜索和分析可以达到秒级。

• <2>. Cluster（集群）

  • 集群包含多个节点，每个节点属于哪个集群是通过一个配置（集群名称，默认是elasticsearch）来决定的，对于中小型应用来说，刚开始一个集群就一个节点很正常。

• <3>. Node（节点）

  • 集群中的一个节点，节点也有一个名称（默认是随机分配的），节点名称很重要（在执行运维管理操作的时候），默认节点会去加入一个名称为“elasticsearch”的集群，如果直接启动一堆节点，那么它们会自动组成一个elasticsearch集群，当然一个节点也可以组成一个elasticsearch集群。

• <4>. Index（索引-数据库）

  • 索引包含一堆有相似结构的文档数据，比如可以有一个客户索引，商品分类索引，订单索引，索引有一个名称。一个index包含很多document，一个index就代表了一类类似的或者相同的document。比如说建立一个product index，商品索引，里面可能就存放了所有的商品数据，所有的商品document。

• <5>. Type（类型-表）

  • 每个索引里都可以有一个或多个type，type是index中的一个逻辑数据分类，一个type下的document，都有相同的field，比如博客系统，有一个索引，可以定义用户数据type，博客数据type，评论数据type。
  • 商品index，里面存放了所有的商品数据，即商品document。但是商品分很多种类，每个种类的document的field可能不太一样，比如说电器商品，可能还包含一些诸如售后时间范围这样的特殊field；生鲜商品，还包含一些诸如生鲜保质期之类的特殊field
  • type，日化商品type，电器商品type，生鲜商品type
    • 日化商品type：product_id，product_name，product_desc，category_id，category_name
    • 电器商品type：product_id，product_name，product_desc，category_id，category_name，service_period
    • 生鲜商品type：product_id，product_name，product_desc，category_id，category_name，eat_period
  • 每一个type里面，都会包含一堆document

    

• <6>. Document（文档-行）

  • 文档是es中的最小数据单元，一个document可以是一条客户数据，一条商品分类数据，一条订单数据，通常用JSON数据结构表示，每个index下的type中，都可以去存储多个document。

• <7>. Field（字段-列）

  • Field是Elasticsearch的最小单位。一个document里面有多个field，每个field就是一个数据字段。

    

• <8>. mapping（映射-约束）

  • 数据如何存放到索引对象上，需要有一个映射配置，包括：数据类型、是否存储、是否分词等。
  • 这样就创建了一个名为blog的Index。Type不用单独创建，在创建Mapping 时指定就可以。Mapping用来定义Document中每个字段的类型，即所使用的 analyzer、是否索引等属性，非常关键等。创建Mapping 的代码示例如下：

    

• <9>. elasticsearch与数据库的类比 | 关系型数据库（比如Mysql） | 非关系型数据库（Elasticsearch） | | --- | --- | | 数据库Database | 索引Index | | 表Table | 类型Type | | 数据行Row | 文档Document | | 数据列Column | 字段Field | | 约束 Schema | 映射Mapping |

• <10>. ES存入数据和搜索数据机制

  

• <1>. 索引对象（index）：存储数据的表结构 ，任何搜索数据，存放在索引对象上 。

• <2>. 映射（mapping）：数据如何存放到索引对象上，需要有一个映射配置， 包括：数据类型、是否存储、是否分词等。

• <3>. 文档（document）：一条数据记录，存在索引对象上 。

• <4>. 文档类型（type）：一个索引对象，存放多种类型数据，数据用文档类型进行标识。

3. Elasticsearch-5.6.2安装配置流程

(1) Elasticsearch准备

• Java运行环境

(2) 安装包下载

• Elasticsearch官网： www.elastic.co/products/el…

  

(3) 解压Elasticsearch-5.6.2相关安装包到目标目录下：

• tar -zxvf .tar.gz -C 目标目录

(4) 在elasticsearch路径下创建data和logs文件夹:

mkdir data
mkdir logs

(5) 修改配置文件：

• 进入elasticsearch/config路径：

  • vi elasticsearch.yml

    

• <1>. cluster.name如果要配置集群需要两个节点上的elasticsearch配置的cluster.name相同，都启动可以自动组成集群，这里如果不改cluster.name则默认是cluster.name=my-application。

• <2>. nodename随意取但是集群内的各节点不能相同。

• <3>. 修改后的每行前面不能有空格，修改后的 : 后面必须有一个空格

(6) 拷贝配置好的elasticsearch到其他机器上

scp -r elasticsearch-5.6.2/ bigdata02:$PWD
scp -r elasticsearch-5.6.2/ bigdata03:$PWD

(7) 集群配置：

• <1>. bigdata01：
  • vi elasticsearch.yml

  • node.master: true
    node.data: true
    discovery.zen.ping.unicast.hosts: ["bigdata01", "bigdata02", "bigdata03"]
    复制代码

• <2>. bigdata02：
  • vi elasticsearch.yml

  • node.name: node-02
    node.master: false
    node.data: true
    network.host: 172.16.194.XXX
    discovery.zen.ping.unicast.hosts: ["bigdata01", "bigdata02", "bigdata03"]
    复制代码

• <3>. bigdata03：
  • vi elasticsearch.yml

  • node.name: node-03
    node.master: false
    node.data: true
    network.host: 172.16.194.XXX
    discovery.zen.ping.unicast.hosts: ["bigdata01", "bigdata02", "bigdata03"]
    复制代码

(8) 配置 linux 系统环境

• <1>. 编辑limits.conf添加如下内容：
  • sudo vi /etc/security/limits.conf

  • * soft nofile 65536
      * hard nofile 131072
      * soft nproc 4096
      * hard nproc 4096
    复制代码

• <2>. 进入limits.d目录下修改配置文件:

  sudo vi /etc/security/limits.d/XX-nproc.conf
  * soft nproc 4096
  

• <3>. 修改配置sysctl.conf:
  • sudo vi /etc/sysctl.conf
  • vm.max_map_count=655360
  • 执行命令：
    • sudo sysctl -p

(9) 配置环境变量：

• 修改配置文件：
  • vi /etc/profile
• 增加以下内容：

  export ELASTICSEARCH_HOME=/opt/module/elasticsearch-5.6.2
  export PATH=$PATH:$ELASTICSEARCH_HOME/bin
  

• 声明环境变量：
  • source /etc/profile