内容简介:以前我在上家公司的时候,做过一段时间的后端。我记得,有一次让我写个搜索功能,当时虽然技术菜,但我心想搜索不就是 sql 么,like 语句什么的,写就完了,应该挺简单的。测试环境没啥问题,后面正式环境的时候,尼玛数据量太大了,每次查询一下性能巨慢,后来带我的小组长都看不下去了,说这功能交给他做吧,我还是写点简单的 api 吧。然后,我就看着他做,这才知道这差距。看似容易的一个搜索功能,但里面涉及到索引、分词、负载等等一系列问题,真的不只是写写 sql 这么简单。就是那一次,我第一次知道有
以前我在上家公司的时候,做过一段时间的后端。我记得,有一次让我写个搜索功能,当时虽然技术菜,但我心想搜索不就是 sql 么,like 语句什么的,写就完了,应该挺简单的。
测试环境没啥问题,后面正式环境的时候,尼玛数据量太大了,每次查询一下性能巨慢,后来带我的小组长都看不下去了,说这功能交给他做吧,我还是写点简单的 api 吧。
然后,我就看着他做,这才知道这差距。看似容易的一个搜索功能,但里面涉及到索引、分词、负载等等一系列问题,真的不只是写写 sql 这么简单。就是那一次,我第一次知道有 Elasticsearch 这么个牛逼的搜索引擎。
这之后,我意识到一个问题: 很多时候我们觉得很简单的事儿,其实,可能就是因为自己太菜 。
时至今日,几乎任何一个应用都有搜索功能,而 Elasticse arch 的使用场景也越来越普遍,毕竟,在海量数据的时代,搜索的重要性显而易见。
作为一款功能强大的 开源分布式搜索与数据分析引擎 , Elasticsearch 可以从海量数据中快速找到相关信息,在同领域内几乎没有竞争对手——近两 年 DB-Engines 的数据库评测中,ES 在搜索引擎领域 始终位列第一 。
当你在 GitHub 上搜索时,ES 可以实现代码级的搜索与高亮显示 ;当你在网上购物时,ES 可为你推荐喜欢的商品;当你下班打车回家时,ES 可以通过定位附近的乘客和司机,帮助平台优化调度。
ES 还被广泛运用于 大数据近实时分析 ,包括 日志分析、指标监控、信息安全 等多个领域。
它可以探索海量结构化、非结构化数据,按需创建可视化报表,对监控数据设置报警阈值,甚至通过使用机器学习,做到自动识别异常状况。
作为目前 最流行的开源搜索引擎 ,ES 在全球的下载量已超过 3.5 亿次,腾讯、滴滴、今日头条、饿了么、360 安全、小米,vivo 等国内诸多知名公司都在使用 Elasticsearch。
如何深入理解,并高效使用 ES?
Elasticsearch 非常容易上手 ,具有开箱即用的特性,你可以在极短的时间内设置好开发环境,然后快速上手使用,继而在成百上千台服务器上实现 PB 级的数据处理 。
虽然上手快,但要做到 深入理解并高效使用,可就没那么简单了 ,比如:
1. 为什么我的数据查不到,明明是有的啊!
2. 什么鬼?为什么这几条数据出现在搜索结果的前几位?
3. 生产环境我需要多少台机器,索引的分片数怎么样设置才是合理的?
4. 应该关注哪些指标,才能保证集群健康高效地运行?
5. 对于日志型应用,如何设置 Hot & Warm Architecture 节约成本,怎样管理和优化基于时间序列的索引数据,才能提高集群的整体性能?
6. 为什么我的集群脑裂了?数据损坏后,怎样才能恢复?
其实,想要掌握 Elasticsearch,除了要理解其 分布式架构的原理 外,还要了解一些 信息检索领域 的知识和相关技巧。
分享给你一张 Elasticsearch 核心知识图谱 ,只有对每一个知识点仔细梳理并深入理解,才能解决工作中的实际问题。
这张图谱出自阮一鸣,我之前听过他在 Elastic 中国开发者大会的分享,讲得非常不错。
最近,他跟极客时间合作出了个视频课 《Elasticsearch 核心技术与实战》 。在课程中,他用理论与实践相结合的方式、深入浅出地讲解了 ES。
只要你坚持学习,就可以掌握 ES 的基本概念和服务搭建,了解其运行机制和常用技巧,并通过上手实战理解 ES 在实际项目中的应用。
近几年 ES 非常热门,所以去年 Elastic 公司推出了 官方的 Elastic 工程师认证考试 ,需要考生在 3 个小时的线上考试中,动手解决 12 个实际问题,就算有多年工作经验的老手都未必能通过。
所以,这个认证的 含金量还是挺高的 ,很多巨头都在使用 ES 搭建自己的搜索系统。你去应聘的时候,有证跟没证有可能会 影响 你的录取 , 收入也有可能差一个档次 。
阮一鸣说,这门课 覆盖了 Elastic 认证考试的全部考点 ,想参加考试的朋友可以将这门课作为参考教材,这也算是 学习技能之外的 bonus 了。
关于阮一鸣
阮一鸣,eBay Pronto 平台技术负责人。Pronto 平台管理了 eBay 内部上百个 ES 集群,数据规模超过了 4000 个节点。
这些集群在 eBay 的生产环境中,支撑了包括订单搜索,商品推荐,日志管理,风险控制,IT 运维,安全监控等不同领域的服务。
他可是互联网行业的老兵了,从业近 20 年,在大数据、云计算和性能优化方面积累了丰富的经验。同时,哥们也是连续创业者,创办过手机游戏公司、个性化音乐推荐与分享平台 8box。
他是如何讲 Elasticsearch 的?
如果你对 Elasticsearch 有些了解,就会发现 ES 的 产品迭代速度非常快 ,很多老的 API 都已经被废弃不再使用,搜索到的参数配置也大多发生了变化。
市面上的书籍和教程都是基于 5.x 甚至是 2.x 版本。而在课程中,他使用 Elasticsearch 最新 7.1 版本 进行教学。
所有 ES 最新版本的特性 ,在课程里都会有全面和直观地展现,比如:用机器学习进行异常检测;用 Canvas 展示数据;用索引的生命周期管理 工具 对索引进行优化等等。
这个课大概分为 5 个部分:
1. 初识 Elasticsearch:
Elasticsearch 核心概念、工作机制与应用场景;本地开发环境搭建;倒排索引的原理与 ES 中 Analysis 的具体细节;Mapping 设置和一些基本的 Search & Aggregation API。
2 . 深入了解 Elasticsearch:
理解 Elasticsearch 分布式架构的原理;相关性算分的原理;数据建模的最佳实践;深入搜索及聚合功能以提高搜索结果的相关度。
3 . 管理 Elasticsearch 集群:
集群的水平扩展、参数配置、性能优化、故障诊断。
4 . 利用 ELK 做大数据分析:
结合使用场景和数据,探索 Logstash、Kibana 的各项功能。
5 . 应用实战工作坊:
设计了电影搜索和 Stack Overflow 用户调查问卷数据分析两个实战项目,通过上手实践,你可以巩固所学的知识点,并运用到实际项目中。
需要什么基础,能获得什么?
这门课不仅适合有 ES 使用经验的人,也适合初学者。如果你有 编程知识和数据库的相关使用经验 ,学起来会更加简单,但 这 并不是必须的 。
针对 开发人员 ,搜索是一项被广泛需要的功能,哥们儿详细地讲解了相关的搜索概念在 Elasticsearch 中是如何对应和具体实现的。
如果你是一名 ES 的 运维人员 ,管理了公司内部的 Elasticsearch 集群:上线前的如何进行容量规划,上线后如何保证这些集群在生产环境内稳定高效的运行,如何在凌晨识别出异常信号,及时发出告警,以避免灾难的发生。
这些问题,他在课程中都会给出 相关的最佳实践 。
其实,无论是 开发 还是 运维,架构师 抑或 数据分析师 ,甚至是 产品经理 ,要想更多地掌握搜索相关的知识和能力,都应该学一学 Elastic Stack。
我猜,你可能要说,为什么产品经理也要学,因为以后 遇到开发说“这个搜索功能做不来”的时候,你可以理直气壮 地撕逼啊。
在大数据时代,近实时的搜索和分析能力,会让你唯快不破,洞见未来。——这句 copy 了阮一鸣。
跟着好好学,别偷懒。结合课程中的练习和实践,就一定能学以致用,基于 Elasticsearch 构建出你自己的搜索和数据分析产品。
这部分好像写得有点长,总结起来就一句: 放心学,学得会,用得着 。
↓↓↓
这个课口碑不错,上线仅 1 周,
已经有近 9000 订阅了。
【明晚 24 点】恢复原价。
△扫我的海报试读或订阅
从我这里订阅有什么福利?
1. 早鸟优惠 ¥99,结算时输入我的 专属优惠口令: 「storm6666」可以 再减¥10 ,到手价 ¥89 。
:point_right:口令 【仅限前 100 人】有效 ,
明晚 24 点 恢复原价 ¥129 。
2. 订阅专栏后,可以获得阮一鸣整理的高清版 「Elasticsearch 核心知识图谱」 ,获取方式:在公众号内回复关键字「 ES 」。
说了半天,是时候上目录了,
想要干货往下看:
口令仅限 【前 100 个名额】 有效,
明晚 恢复原价 ¥129 。
:point_down:点 「阅读原文」 以最低价 ¥89 入手。
以上所述就是小编给大家介绍的《Elasticsearch 的使用,看这一篇就够了。》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!
猜你喜欢:- RecyclerView使用指南(一)—— 基本使用
- 如何使用Meteorjs使用URL参数
- 使用 defer 还是不使用 defer?
- 使用 Typescript 加强 Vuex 使用体验
- [译] 何时使用 Rust?何时使用 Go?
- UDP协议的正确使用场合(谨慎使用)
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。