自動刪除 ElasticSearch 過期的 Logstash Index

栏目: 后端 · 发布时间: 5年前

内容简介:以前都用 MongoDB 儲存 Log,MongoDB 有一個Script 程式已經放在 (有需要的請自行服用...

ElasticSearch Logstash 循環機制

以前都用 MongoDB 儲存 Log,MongoDB 有一個 capped 功能可以自動刪除以前的資料,達到 Log 循環的功能。由於我很懶惰,凡事能夠自動化最好了,每天已經寫很多 Bug 製造工作機會了,系統管理的事就盡量自動化吧。但是最近 (其實很久了...),都開始改用 ElasticSearch 實現 Log Server,雖然 ELK 很好用但是就是少了循環的功能,只好硬幹寫了支 Script 來處理。

Script 程式已經放在 ( GitHub ),可以調整 KEEP_DAYS 來改變要保留 Log 的天數,如下:

#/bin/bash
 
KEEP_DAYS=30
ELASTICSEARCH_HOST='http://elasticsearch:9200'
DATE_THRESHOLD=`date -d "${KEEP_DAYS} days ago" +%Y/%m/%d`
TIME_THRESHOLD=`date -d "${DATE_THRESHOLD}" +%s`
 
INDEX_LIST=`curl -s -k ${ELASTICSEARCH_HOST}/_cat/indices?s=index | grep 'logstash' | awk '{print$3}'`
 
echo "DATE_THRESHOLD=${DATE_THRESHOLD}"
 
for INDEX_NAME in ${INDEX_LIST}
do
    INDEX_DATE=`echo "${INDEX_NAME}" | sed -e 's/\./\//g' | sed -e 's/logstash-//g'`
    INDEX_TIME=`date -d "${INDEX_DATE}" +%s`
    if [ ${TIME_THRESHOLD} -gt ${INDEX_TIME} ]; then
        echo "Remove Index: ${INDEX_NAME}"
        curl -XDELETE -k ${ELASTICSEARCH_HOST}/${INDEX_NAME}
    fi
done

有需要的請自行服用...


以上所述就是小编给大家介绍的《自動刪除 ElasticSearch 過期的 Logstash Index》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Software Engineering for Internet Applications

Software Engineering for Internet Applications

Eve Andersson、Philip Greenspun、Andrew Grumet / The MIT Press / 2006-03-06 / USD 35.00

After completing this self-contained course on server-based Internet applications software, students who start with only the knowledge of how to write and debug a computer program will have learned ho......一起来看看 《Software Engineering for Internet Applications》 这本书的介绍吧!

JSON 在线解析
JSON 在线解析

在线 JSON 格式化工具

RGB转16进制工具
RGB转16进制工具

RGB HEX 互转工具

html转js在线工具
html转js在线工具

html转js在线工具