elasticsearch聚合查询
什么是聚合，就是目的不是查询具体的文档，而是查询文档的相关性，此外还可以对聚合的文档在按照其他维度再聚合。
包含以下四种聚合
- Bucket Aggregation 一些列满足特定条件的文档的集合
- terms 对某个字段统计每个不同的内容，以及出现文档的个数
- range 某个范围内文档的个数
- Metric Aggregation 一些数学运算，可以对文档字段进行统计分析
- 输出一个值，min/max/sum/avg/cardinality
- 输出多个值，stats/percentiles/percentile_ranks
- Pipeline Aggregation 对其他的聚合结果进行二次聚合（不是对文档进行聚合）
- Matrix Aggregation 支持对多个字段的操作并提供一个结果矩阵
#按照目的地进行分桶统计 Bucket Aggregation
GET kibana_sample_data_flights/_search
{
"size": 0,
"aggs":{
"flight_dest":{
"terms":{
"field":"DestCountry"
}
}
}
}
#查看航班目的地的统计信息，增加平均，最高最低价格 Metric Aggregation
GET kibana_sample_data_flights/_search
{
"size": 0,
"aggs":{
"flight_dest":{
"terms":{
"field":"DestCountry"
},
"aggs":{
"avg_price":{
"avg":{
"field":"AvgTicketPrice"
}
},
"max_price":{
"max":{
"field":"AvgTicketPrice"
}
},
"min_price":{
"min":{
"field":"AvgTicketPrice"
}
}
}
}
}
}
#价格统计信息+天气信息 Metric Aggregation
GET kibana_sample_data_flights/_search
{
"size": 0,
"aggs":{
"flight_dest":{
"terms":{
"field":"DestCountry"
},
"aggs":{
"stats_price":{
"stats":{
"field":"AvgTicketPrice"
}
},
"wather":{
"terms": {
"field": "DestWeather",
"size": 5
}
}
}
}
}
}
# 平均工资最低的工作类型
GET employees/_search
{
"size": 0,
"aggs": {
"jobs": {
"terms": {
"field": "job.keyword",
"size": 10
},
"aggs": {
"avg_salary": {
"avg": {
"field": "salary"
}
}
}
},
"min_salary_by_job":{
"min_bucket": {
"buckets_path": "jobs>avg_salary"
}
}
}
}
聚合的作用范围
默认聚合范围是全文，但是如果有query查询，那么聚合的范围就是query查询的结果
# Query
GET employees/_search
{
"size": 0,
"query": {
"range": {
"age": {
"gte": 20
}
}
},
"aggs": {
"jobs": {
"terms": {
"field":"job.keyword"
}
}
}
}
如果有聚合中有filter过滤，那么其子聚合的作用范围是filter过滤的文档，但是和此聚合并列的聚合，不受filter影响
#Filter
GET employees/_search
{
"size": 0,
"aggs": {
"older_person": {
"filter":{
"range":{
"age":{
"from":35
}
}
},
"aggs":{
"jobs":{
"terms": {
"field":"job.keyword"
}
}
}},
"all_jobs": {
"terms": {
"field":"job.keyword"
}
}
}
}
我们可以指定一些作用范围，关键字是 post_filter、global
#Post field. 一条语句，找出所有的job类型。还能找到聚合后符合条件的结果
GET employees/_search
{
"aggs": {
"jobs": {
"terms": {
"field": "job.keyword"
}
}
},
"post_filter": {
"match": {
"job.keyword": "Dev Manager"
}
}
}
#global global会无视query条件，对全部文档进行统计
GET employees/_search
{
"size": 0,
"query": {
"range": {
"age": {
"gte": 40
}
}
},
"aggs": {
"jobs": {
"terms": {
"field":"job.keyword"
}
},
"all":{
"global":{},
"aggs":{
"salary_avg":{
"avg":{
"field":"salary"
}
}
}
}
}
}
聚合的排序
默认聚合是按照buckets的文档数进行排序的，我们也可以自己指定排序字段
#按照返回结果中bucket里的字段排序
#count and key
GET employees/_search
{
"size": 0,
"query": {
"range": {
"age": {
"gte": 20
}
}
},
"aggs": {
"jobs": {
"terms": {
"field":"job.keyword",
"order":[
{"_count":"asc"},
{"_key":"desc"}
]
}
}
}
}
#按照子聚合结果排序，如果单值输出，不用指定子聚合的字段
#count and key
GET employees/_search
{
"size": 0,
"aggs": {
"jobs": {
"terms": {
"field":"job.keyword",
"order":[ {
"avg_salary":"desc"
}]
},
"aggs": {
"avg_salary": {
"avg": {
"field":"salary"
}
}
}
}
}
}
#按照子聚合的字段排序，如果多值输出，需指定子聚合结果的字段
#count and key
GET employees/_search
{
"size": 0,
"aggs": {
"jobs": {
"terms": {
"field":"job.keyword",
"order":[ {
"stats_salary.min":"desc"
}]
},
"aggs": {
"stats_salary": {
"stats": {
"field":"salary"
}
}
}
}
}
}
聚合的精准度问题
我们需要关注返回结果的两个字段
- doc_count_error_upper_bound
- 被遗漏的term分桶，包含的文档，有可能的最大值
- sum_other_doc_count
- 除了返回结果bucket的terms以外，其他terms的文档总数（总数-返回的总数）
doc_count_error_upper_bound：例如，在取分桶后的前三个时，这里的值就是每个分片最后一个的文档数的和
sum_other_doc_count：所有文档数-分桶展示出来的文档总数
如何解决terms不准的问题
- terms聚合分析不准的原因，数据分散在多个分片上，coordinating node无法获取数据全貌，
- 解决方案一、当数据量不大时，设置primary shard为1，实现准确性
- 解决方案二、在分布式数据上，设置shard_size参数，提高精准度
- 就是每次从shard上获取的比你size指定的更多的数据，提升准确率，你让我取前三，我分别取前6个，然后在组合起来取前三。
- shard size大小设定 size*1.5+10
GET my_flights/_search
{
"size": 0,
"aggs": {
"weather": {
"terms": {
"field":"OriginWeather",
"size":1,
"shard_size":10,
"show_term_doc_count_error":true//在返回结果中显示doc_count_error_upper_bound
}
}
}
}