ES中的nested对象

栏目: 后端 · 发布时间: 5年前

内容简介:我们知道ES的一个索引会对应着多个分片和副本,而每一个分片或副本就是一个完整的Lucene索引。Elasticsearch在索引数据时,会对输入的数据进行解析,得到一个个单独的字段。ES本身还会添加一些额外的字段,最后把这些字段作为一个文档保存到Lucene中,ES自身额外添加的field:从原始输入中解析出相应字段的源码

我们知道ES的一个索引会对应着多个分片和副本,而每一个分片或副本就是一个完整的Lucene索引。

ES索引 -> ES分片 -> Lucene索引

Elasticsearch在索引数据时,会对输入的数据进行解析,得到一个个单独的字段。ES本身还会添加一些额外的字段,最后把这些字段作为一个文档保存到Lucene中,ES自身额外添加的field: _uid , _source , _type , _version

从原始输入中解析出相应字段的源码 在此 ,在这里我们看到nested会把当前的document作为自己的parent,nested字段会使用其parentDoc的_uid作为自己的_uid,这就意味着nested字段是和其parent文档拥有一样的_uid的。

在上一步解析出了数据中的字段之后,ES把所有解析得到的字段存放到 ParsedDocument 中,具体源码 在此

最终ES把所有的字段存储到Lucene中,一个文档中所有字段的 _uid 都是一样的,所有的字段在存储时都使用这个相同的 _uid。ES根据版本决定这个数据是更新还是新增,版本比较以及数据写入到Lucene的源码 在此 。ES会给每个nested的数据创建一个独立的Lucene document,所以一次写入一共有 nested + 1 个文档数量。如果一个字段不是nested,就普通的解析一下变成单个字段然后存放在主document中进行保存。

例如如下的文本

{
    "city": "Nanjing",
    "comments": [
        {
            "name": "Mike",
            "comment": "Great"
        },
        {
            "name": "Mark",
            "comment": "Interesting"
        }
    ]
}

如果comments是一个普通的字段,那么ES通过解析操作我们可以得到如下的字段

city: Nanjing
comments.name: Mike
comments.comment: Great
comments.name: Mark
comments.comment: Interesting

这些字段存放在一个文档中,之后该文档被保存到Lucene。

这样保存的一个问题在于comments的name和comment字段之间失去了关联,如下的一个文本将会和上面的文本生成完全一样的字段:

{
    "city": "Nanjing",
    "comments": [
        {
            "name": "Mark",
            "comment": "Great"
        },
        {
            "name": "Mike",
            "comment": "Interesting"
        }
    ]
}

这个文本生成的字段如下

city: Nanjing
comments.name: Mark
comments.comment: Great
comments.name: Mike
comments.comment: Interesting

这里生成的字段和上面的文本完全一致,所以如果我们想要查询 comments.name == Mike && comments.comment == Great 的结果,那么这两条数据都是符合要求的,但这可能不是我们想要的结果,我们也许只想要查询第一条数据而已。

但是如果comments是一个nested类型的字段,那么ES就会把这段文本解析为三个文档,分别为

// document1
city: Nanjing
// document2
comments.name: Mike
comments.comment: Great
// docuemtn3
comments.name: Mark
comments.comment: Interesting

这段文本被拆分为三个document保存到Lucene中,这样一来comments的name和comment就产生了关联,此时进行查询 comments.name == Mike && comments.comment == Great,那么就只有该条数据才是符合要求的。


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

电商产品经理宝典:电商后台系统产品逻辑全解析

电商产品经理宝典:电商后台系统产品逻辑全解析

刘志远 / 电子工业出版社 / 2017-10-1 / 49.00元

时至今日,对于产品经理的要求趋向业务型、平台型,甚至产生了细分领域专家。纯粹的前端产品经理(页面、交互)逐渐失去竞争力。而当后台产品经理的视野开始从功能延伸到模块,再延伸到子系统,最后关注整体系统时,就有了把控平台型产品的能力。 《电商产品经理宝典:电商后台系统产品逻辑全解析》围绕“电商后台产品”,从电商的整体产品架构入手,逐步剖析各支撑子系统。通过学习电商产品后台的架构和逻辑,可以让读者从......一起来看看 《电商产品经理宝典:电商后台系统产品逻辑全解析》 这本书的介绍吧!

Base64 编码/解码
Base64 编码/解码

Base64 编码/解码

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试

HEX CMYK 转换工具
HEX CMYK 转换工具

HEX CMYK 互转工具