自動刪除 ElasticSearch 過期的 Logstash Index

栏目: 后端 · 发布时间: 6年前

内容简介:以前都用 MongoDB 儲存 Log,MongoDB 有一個Script 程式已經放在 (有需要的請自行服用...

ElasticSearch Logstash 循環機制

以前都用 MongoDB 儲存 Log,MongoDB 有一個 capped 功能可以自動刪除以前的資料,達到 Log 循環的功能。由於我很懶惰,凡事能夠自動化最好了,每天已經寫很多 Bug 製造工作機會了,系統管理的事就盡量自動化吧。但是最近 (其實很久了...),都開始改用 ElasticSearch 實現 Log Server,雖然 ELK 很好用但是就是少了循環的功能,只好硬幹寫了支 Script 來處理。

Script 程式已經放在 ( GitHub ),可以調整 KEEP_DAYS 來改變要保留 Log 的天數,如下:

#/bin/bash
 
KEEP_DAYS=30
ELASTICSEARCH_HOST='http://elasticsearch:9200'
DATE_THRESHOLD=`date -d "${KEEP_DAYS} days ago" +%Y/%m/%d`
TIME_THRESHOLD=`date -d "${DATE_THRESHOLD}" +%s`
 
INDEX_LIST=`curl -s -k ${ELASTICSEARCH_HOST}/_cat/indices?s=index | grep 'logstash' | awk '{print$3}'`
 
echo "DATE_THRESHOLD=${DATE_THRESHOLD}"
 
for INDEX_NAME in ${INDEX_LIST}
do
    INDEX_DATE=`echo "${INDEX_NAME}" | sed -e 's/\./\//g' | sed -e 's/logstash-//g'`
    INDEX_TIME=`date -d "${INDEX_DATE}" +%s`
    if [ ${TIME_THRESHOLD} -gt ${INDEX_TIME} ]; then
        echo "Remove Index: ${INDEX_NAME}"
        curl -XDELETE -k ${ELASTICSEARCH_HOST}/${INDEX_NAME}
    fi
done

有需要的請自行服用...


以上所述就是小编给大家介绍的《自動刪除 ElasticSearch 過期的 Logstash Index》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

The Facebook Effect

The Facebook Effect

David Kirkpatrick / Simon & Schuster / 2010-6-8 / USD 26.00

《Facebook 效应》的作者近距离地采访了与Facebook相关的人士,其中包括Facebook的创始人、员工、投资人、意向投资人以及合作伙伴,加起来超过了130人。这是真切详实的访谈,更是超级精彩的故事。作者以其细腻的笔触,精巧的叙事结构,解密了Facebook如何从哈佛的宿舍里萌发,创始人的内讧,权力之争,如何放弃华盛顿邮报的投资,怎样争取到第一个广告客户,而第一轮融资又如何获得一亿美元的......一起来看看 《The Facebook Effect》 这本书的介绍吧!

RGB转16进制工具
RGB转16进制工具

RGB HEX 互转工具

HTML 编码/解码
HTML 编码/解码

HTML 编码/解码

XML、JSON 在线转换
XML、JSON 在线转换

在线XML、JSON转换工具