MK
摩柯社区 - 一个极简的技术知识社区
AI 面试

中位数绝对偏差聚合：ElasticSearch中的数据离散程度分析

2024-03-234.6k 阅读

1. 数据离散程度分析的重要性

在数据分析领域，集中趋势度量（如均值、中位数）能帮助我们了解数据集的中心位置，但仅靠这些是不够的。数据离散程度分析同样关键，它揭示了数据的分布范围和变异程度。例如，在金融领域分析股票价格波动，制造业监控产品质量偏差等场景中，离散程度分析能让我们洞察数据的稳定性和可靠性。若只关注均值，可能会忽略数据中的重要差异。比如两家公司的平均利润相同，但一家利润波动极小，另一家波动极大，这种差异在评估投资风险或业务稳定性时意义重大。

2. ElasticSearch 中的聚合功能概述

ElasticSearch 作为一款强大的分布式搜索和分析引擎，聚合功能是其核心特性之一。聚合允许我们对数据进行分组、统计和分析。通过聚合，我们可以在海量数据中快速计算出各种指标，如总和、平均值、最大值、最小值等。聚合操作基于 ElasticSearch 的倒排索引结构，能够高效地对文档集合进行处理。例如，我们可以根据某个字段（如日期、类别等）对文档进行分组，然后在每个分组内执行统计操作。

3. 中位数绝对偏差（Median Absolute Deviation，MAD）原理

3.1 基本定义

中位数绝对偏差是一种稳健的统计量，用于衡量数据的离散程度。对于一组数据 (x_1, x_2, \cdots, x_n)，首先计算这组数据的中位数 (M)。然后，计算每个数据点与中位数的绝对偏差 (|x_i - M|)。最后，MAD 就是这些绝对偏差的中位数，即 (MAD = median(|x_1 - M|, |x_2 - M|, \cdots, |x_n - M|))。与标准差相比，MAD 对异常值更具抗性。例如，在一组数据 ([1, 2, 3, 4, 100]) 中，标准差会受到 100 这个异常值的极大影响，而 MAD 主要反映的是除异常值外数据的离散情况。

3.2 稳健性优势

在实际数据中，异常值经常出现。比如在传感器数据采集过程中，偶尔会因为设备故障等原因产生错误的极大或极小值。使用标准差衡量离散程度时，这些异常值会使标准差大幅增大，从而歪曲数据的真实离散情况。而 MAD 通过基于中位数计算，能有效避免异常值的过度影响，更准确地反映数据主体的离散程度。这使得 MAD 在数据清洗、异常检测等场景中具有重要应用价值。

4. ElasticSearch 中的中位数绝对偏差聚合实现

4.1 数据准备

假设我们有一个电商商品销售数据集，存储在 ElasticSearch 中。每个文档包含商品名称、价格、销量等字段。以下是使用 ElasticSearch 的 REST API 创建索引和插入示例数据的代码：

# 创建索引
PUT /ecommerce
{
  "mappings": {
    "properties": {
      "product_name": {
        "type": "text"
      },
      "price": {
        "type": "float"
      },
      "sales_volume": {
        "type": "integer"
      }
    }
  }
}

# 插入示例数据
POST /ecommerce/_doc
{
  "product_name": "Product A",
  "price": 100,
  "sales_volume": 50
}

POST /ecommerce/_doc
{
  "product_name": "Product B",
  "price": 120,
  "sales_volume": 40
}

POST /ecommerce/_doc
{
  "product_name": "Product C",
  "price": 90,
  "sales_volume": 60
}

POST /ecommerce/_doc
{
  "product_name": "Product D",
  "price": 500,
  "sales_volume": 10
}

4.2 中位数绝对偏差聚合查询

在 ElasticSearch 中，我们可以使用 bucket_selector 结合其他聚合来实现中位数绝对偏差计算。以下是一个计算商品价格中位数绝对偏差的示例查询：

POST /ecommerce/_search
{
  "size": 0,
  "aggs": {
    "price_stats": {
      "stats": {
        "field": "price"
      }
    },
    "price_median": {
      "percentiles": {
        "field": "price",
        "percents": [50]
      }
    },
    "price_abs_dev": {
      "bucket_script": {
        "buckets_path": {
          "price_value": "price_stats.value",
          "median_price": "price_median.values[0]"
        },
        "script": "Math.abs(params.price_value - params.median_price)"
      }
    },
    "price_mad": {
      "bucket_selector": {
        "buckets_path": {
          "abs_dev": "price_abs_dev"
        },
        "script": "params.abs_dev.length % 2 == 0? (params.abs_dev[params.abs_dev.length / 2 - 1] + params.abs_dev[params.abs_dev.length / 2]) / 2 : params.abs_dev[Math.floor(params.abs_dev.length / 2)]"
      }
    }
  }
}

在上述查询中：

  • price_stats 聚合用于获取价格字段的基本统计信息，如最小值、最大值、平均值等。
  • price_median 聚合通过 percentiles 计算价格的中位数。
  • price_abs_dev 使用 bucket_script 计算每个价格与中位数的绝对偏差。
  • price_mad 利用 bucket_selector 从绝对偏差结果中计算中位数，即得到中位数绝对偏差。

5. 结合实际场景深入理解

5.1 产品质量监控

在制造业中，产品的尺寸、重量等质量指标需要严格监控。假设我们使用传感器采集产品的重量数据，并存储在 ElasticSearch 中。通过计算重量数据的中位数绝对偏差，我们可以及时发现生产过程中的异常波动。例如，如果 MAD 值突然增大，可能意味着生产设备出现故障或原材料质量不稳定，需要及时排查。以下是相关 ElasticSearch 查询示例：

# 创建产品质量数据索引
PUT /product_quality
{
  "mappings": {
    "properties": {
      "product_id": {
        "type": "keyword"
      },
      "weight": {
        "type": "float"
      },
      "production_time": {
        "type": "date"
      }
    }
  }
}

# 插入示例产品质量数据
POST /product_quality/_doc
{
  "product_id": "P001",
  "weight": 10.5,
  "production_time": "2023-01-01T10:00:00Z"
}

POST /product_quality/_doc
{
  "product_id": "P002",
  "weight": 10.3,
  "production_time": "2023-01-01T10:05:00Z"
}

POST /product_quality/_doc
{
  "product_id": "P003",
  "weight": 10.7,
  "production_time": "2023-01-01T10:10:00Z"
}

POST /product_quality/_doc
{
  "product_id": "P004",
  "weight": 15.0,
  "production_time": "2023-01-01T10:15:00Z"
}

# 计算重量的中位数绝对偏差
POST /product_quality/_search
{
  "size": 0,
  "aggs": {
    "weight_stats": {
      "stats": {
        "field": "weight"
      }
    },
    "weight_median": {
      "percentiles": {
        "field": "weight",
        "percents": [50]
      }
    },
    "weight_abs_dev": {
      "bucket_script": {
        "buckets_path": {
          "weight_value": "weight_stats.value",
          "median_weight": "weight_median.values[0]"
        },
        "script": "Math.abs(params.weight_value - params.median_weight)"
      }
    },
    "weight_mad": {
      "bucket_selector": {
        "buckets_path": {
          "abs_dev": "weight_abs_dev"
        },
        "script": "params.abs_dev.length % 2 == 0? (params.abs_dev[params.abs_dev.length / 2 - 1] + params.abs_dev[params.abs_dev.length / 2]) / 2 : params.abs_dev[Math.floor(params.abs_dev.length / 2)]"
      }
    }
  }
}

通过上述查询，我们可以获取产品重量的中位数绝对偏差，从而评估产品重量的稳定性。如果 MAD 值超出了预设的阈值，就需要对生产过程进行检查。

5.2 网站性能分析

在网站性能监控中，我们关注页面加载时间等指标。通过 ElasticSearch 存储页面加载时间数据，计算中位数绝对偏差可以帮助我们发现异常的加载情况。例如，若某个时间段内页面加载时间的 MAD 显著增加，可能表示网站遇到了性能问题，如服务器负载过高、网络拥堵等。以下是相关 ElasticSearch 操作示例：

# 创建网站性能数据索引
PUT /website_performance
{
  "mappings": {
    "properties": {
      "page_url": {
        "type": "text"
      },
      "load_time": {
        "type": "float"
      },
      "request_time": {
        "type": "date"
      }
    }
  }
}

# 插入示例网站性能数据
POST /website_performance/_doc
{
  "page_url": "/home",
  "load_time": 1.2,
  "request_time": "2023-01-01T12:00:00Z"
}

POST /website_performance/_doc
{
  "page_url": "/product",
  "load_time": 1.5,
  "request_time": "2023-01-01T12:05:00Z"
}

POST /website_performance/_doc
{
  "page_url": "/cart",
  "load_time": 1.3,
  "request_time": "2023-01-01T12:10:00Z"
}

POST /website_performance/_doc
{
  "page_url": "/checkout",
  "load_time": 5.0,
  "request_time": "2023-01-01T12:15:00Z"
}

# 计算页面加载时间的中位数绝对偏差
POST /website_performance/_search
{
  "size": 0,
  "aggs": {
    "load_time_stats": {
      "stats": {
        "field": "load_time"
      }
    },
    "load_time_median": {
      "percentiles": {
        "field": "load_time",
        "percents": [50]
      }
    },
    "load_time_abs_dev": {
      "bucket_script": {
        "buckets_path": {
          "load_time_value": "load_time_stats.value",
          "median_load_time": "load_time_median.values[0]"
        },
        "script": "Math.abs(params.load_time_value - params.median_load_time)"
      }
    },
    "load_time_mad": {
      "bucket_selector": {
        "buckets_path": {
          "abs_dev": "load_time_abs_dev"
        },
        "script": "params.abs_dev.length % 2 == 0? (params.abs_dev[params.abs_dev.length / 2 - 1] + params.abs_dev[params.abs_dev.length / 2]) / 2 : params.abs_dev[Math.floor(params.abs_dev.length / 2)]"
      }
    }
  }
}

通过计算页面加载时间的中位数绝对偏差，网站运维人员可以更准确地评估网站性能的稳定性，及时发现并解决潜在的性能问题。

6. 与其他离散程度指标对比

6.1 与标准差对比

标准差是另一种常用的衡量数据离散程度的指标，其计算公式为 (\sigma = \sqrt{\frac{\sum_{i = 1}^{n}(x_i - \overline{x})^2}{n}})，其中 (\overline{x}) 是均值。标准差基于均值计算，对数据中的每一个点都敏感，包括异常值。例如，在数据集 ([1, 2, 3, 4, 100]) 中，均值为 (\frac{1 + 2 + 3 + 4 + 100}{5} = 22)，标准差为 (\sqrt{\frac{(1 - 22)^2 + (2 - 22)^2 + (3 - 22)^2 + (4 - 22)^2 + (100 - 22)^2}{5}} \approx 43.8)。可以看到，100 这个异常值对标准差影响很大。

而中位数绝对偏差如前所述，对异常值具有抗性。在相同数据集上计算 MAD，首先中位数 (M = 3)，绝对偏差为 ([|1 - 3|, |2 - 3|, |3 - 3|, |4 - 3|, |100 - 3|] = [2, 1, 0, 1, 97])，MAD 为 (1)。可以明显看出，MAD 更能反映数据主体的离散情况，而标准差受异常值干扰较大。

6.2 与四分位距对比

四分位距（Inter - Quartile Range，IQR）是上四分位数（Q3）与下四分位数（Q1）的差值，即 (IQR = Q3 - Q1)。它也能在一定程度上抵抗异常值影响。例如，对于数据集 ([1, 2, 3, 4, 5, 6, 7, 8, 9, 100])，首先排序后，Q1 为第 3 个值（2.5，这里采用线性插值法计算，实际在 ElasticSearch 中会按相应算法），Q3 为第 8 个值（8.5），IQR 为 (8.5 - 2.5 = 6)。

与 MAD 相比，MAD 基于中位数，更聚焦于数据的中间部分离散情况，而 IQR 基于四分位数，反映了数据中间 50%部分的跨度。在一些数据分布较为复杂的情况下，MAD 可能更能准确捕捉数据的离散特征，因为它对数据的中心部分刻画更细致。例如，当数据存在少量但极端的异常值时，MAD 能更好地保持对数据主体离散程度的稳定度量，而 IQR 可能会受到数据分布变化的一定影响。

7. 优化与注意事项

7.1 性能优化

在 ElasticSearch 中进行中位数绝对偏差聚合计算时，由于涉及多个聚合操作和脚本计算，可能会对性能产生一定影响。为了优化性能，可以考虑以下几点：

  • 数据采样：如果数据量非常大，可以对数据进行采样后再进行聚合计算。例如，通过设置合适的 shard_size 参数，只从部分数据分片获取数据进行计算，这样可以减少计算量，但可能会牺牲一定的准确性。
  • 缓存结果：对于一些频繁查询的聚合结果，可以使用 ElasticSearch 的缓存机制，如 request_cache。这样可以避免重复计算，提高查询效率。

7.2 脚本编写注意事项

在使用 bucket_script 和 bucket_selector 编写脚本时，要注意脚本的正确性和可读性。由于 ElasticSearch 使用的脚本语言（如 Painless）有一定的语法规则和函数支持，编写脚本时需严格按照其规范。例如，在进行数学计算时，要确保数据类型的一致性，避免出现类型转换错误。同时，为了便于维护和调试，应给脚本添加适当的注释，清晰地说明每个计算步骤的目的。

7.3 版本兼容性

ElasticSearch 版本更新频繁，不同版本在聚合功能和脚本支持上可能存在差异。在使用中位数绝对偏差聚合等功能时，要确保所使用的版本支持相应的操作。例如，某些新的聚合语法或脚本特性可能只在较新的版本中可用，如果使用旧版本，可能会导致查询失败。因此，在项目开发过程中，要密切关注 ElasticSearch 的版本变化，及时进行兼容性调整。

通过以上对 ElasticSearch 中中位数绝对偏差聚合的详细介绍，包括原理、实现、实际应用场景、与其他指标对比以及优化注意事项等方面，相信读者对如何在 ElasticSearch 中进行数据离散程度分析有了更深入的理解和掌握。在实际工作中，可以根据具体需求灵活运用这一功能，从海量数据中挖掘有价值的信息，为决策提供有力支持。