跳到主要内容

SkyWalking 存储选择指南

简介​

SkyWalking是一个开源的APM（应用性能监控）系统，用于收集、分析、聚合和可视化分布式系统的数据。后端存储是SkyWalking的核心组件之一，负责持久化监控数据。选择合适的存储方案对系统性能和可扩展性至关重要。

支持的存储类型​

SkyWalking支持多种后端存储，主要包括：

  1. H2（嵌入式数据库）：默认选项，适合开发和测试环境
  2. Elasticsearch：生产环境推荐选项，支持大规模数据
  3. MySQL：关系型数据库选项
  4. TiDB：兼容MySQL协议的分布式数据库
  5. InfluxDB：时间序列数据库
  6. PostgreSQL：另一种关系型数据库选项

存储选择因素​

选择存储方案时，需要考虑以下关键因素：

  • 数据量：预估每日/每月的监控数据量
  • 查询性能：对历史数据查询的响应时间要求
  • 成本：硬件和维护成本
  • 扩展性：未来数据增长的需求
  • 团队熟悉度：运维团队的技术栈熟悉程度

各存储方案详解​

1. H2（嵌入式数据库）​

适用场景：

  • 本地开发环境
  • 快速原型验证
  • 小型测试环境

配置示例：

yaml
storage:
  selector: ${SW_STORAGE:h2}
  h2:
    driver: org.h2.jdbcx.JdbcDataSource
    url: jdbc:h2:mem:skywalking-oap-db
    user: sa
注意

H2仅适用于非生产环境，数据不会持久化，重启后数据将丢失。

2. Elasticsearch​

适用场景：

  • 生产环境
  • 大规模数据存储
  • 需要高性能查询

优势：

  • 优秀的水平扩展能力
  • 强大的全文搜索和聚合功能
  • 社区支持良好

配置示例：

yaml
storage:
  selector: ${SW_STORAGE:elasticsearch}
  elasticsearch:
    nameSpace: ${SW_NAMESPACE:""}
    clusterNodes: ${SW_STORAGE_ES_CLUSTER_NODES:localhost:9200}
    protocol: ${SW_STORAGE_ES_HTTP_PROTOCOL:"http"}

3. MySQL​

适用场景：

  • 中小规模生产环境
  • 已有MySQL基础设施
  • 需要事务支持

配置示例：

yaml
storage:
  selector: ${SW_STORAGE:mysql}
  mysql:
    properties:
      jdbcUrl: ${SW_JDBC_URL:"jdbc:mysql://localhost:3306/swtest"}
      dataSource.user: ${SW_DATA_SOURCE_USER:root}
      dataSource.password: ${SW_DATA_SOURCE_PASSWORD:password}

性能比较​

存储类型写入性能查询性能扩展性适合数据量
H2高高差<1GB
Elasticsearch中高高优秀>100GB
MySQL中中中<50GB

实际案例​

案例1：初创公司选择存储方案

  • 团队规模：5人开发团队
  • 监控系统：10个微服务
  • 预期数据量：约5GB/月
  • 选择：MySQL
    • 理由：已有MySQL基础设施，数据量适中，团队熟悉MySQL运维

案例2：大型电商平台

  • 服务数量：500+
  • 日均请求：1亿+
  • 预期数据量：1TB+/月
  • 选择：Elasticsearch集群
    • 理由：需要处理海量数据，要求高查询性能，良好的水平扩展能力

迁移存储方案​

如果需要更换存储方案，SkyWalking提供了数据迁移工具：

bash
# 从H2迁移到Elasticsearch示例
./bin/oapService.sh --migrate h2 elasticsearch
迁移建议
  1. 先在测试环境验证迁移过程
  2. 迁移期间停止写入
  3. 验证迁移后数据完整性

总结​

选择合适的SkyWalking存储方案需要综合考虑数据量、性能需求、成本和团队能力。对于大多数生产环境，Elasticsearch是最佳选择，而小型项目可以使用MySQL。开发测试环境则可以使用H2快速启动。

进一步学习​

练习​

  1. 在本地环境尝试配置不同的存储后端
  2. 使用不同存储方案导入相同数据集，比较查询性能
  3. 设计一个适合你当前项目的存储方案，并说明选择理由