日常中遇到elk中性能问题

Posted on Views:

日常中遇到elk中性能问题

  • 1.遇到过logstash写es提示429写尝试拒绝

    • 1.后台es写压力大可以提升es thread_pool.write.queue_size/size大写（缓解）
    • 2.es存储使用ssd，建议冷热分离，扩增数据存储节点(治本)

  • 2.新增索引提示403（indice ready only）

    • 1.临时关闭写保护，清理历史索引释放空间
    • 2.调整es磁盘写保护阀值
      • cluster.routing.allocation.disk.watermark.low，默认85%，用于控制磁盘的最小使用率；
    • cluster.routing.allocation.disk.watermark.high，默认90%，用于控制磁盘的最大使用率；
    • cluster.routing.allocation.disk.watermark.flood_stage，默认95%超过此值时，Elasticsearch变成只读模式，无法写入数据

  • 3.logstash解析压力过大导致机器负载飙升，日志存在很大时延

    • 1.kafka日志扩大分区，扩充logstash服务
    • 2.改用gohangout解析，显著降低cpu/loadavg

  • 4.提高可用性、增加redis/kafka作为日志缓冲组件

  • 5.elasticsearch查询缓慢

    • 合理设置分片，冷热区分，jvm堆内存预留50%，设置合理查询条件(防止全文查询)

  • 6.kibana查询崩溃

    • 设置nodejs内存(–max-old-space-size=4096)