设置kafka 数据保留时间

设置kafka 数据保留时间

kafka 单独设置某个topic的数据过期时间

kafka 默认存放7天的临时数据,如果遇到磁盘空间小,存放数据量大,可以设置缩短这个时间。

全局设置

修改 server.properties

log.retention.hours=72

log.cleanup.policy=delete

单独对某一个topic设置过期时间

如果你这样设置完,可以磁盘空间还是不够,或只有某一个topic数据量过大。

想单独对这个topic的过期时间设置短点,

可以这样设置:

./kafka-configs.sh --zookeeper localhost:2181 --alter --entity-name wordcounttopic --entity-type topics --add-config retention.ms=86400000

retention.ms=86400000 为一天,单位是毫秒。

查看设置:

./kafka-configs.sh --zookeeper localhost:2181 --describe --entity-name wordcounttopic --entity-type topics

Configs for topics:wordcounttopic are retention.ms=86400000

Q&A

如果没有立刻删除的话你可以设置下面参数。

./kafka-topics.sh --zookeeper localhost:2181 --alter --topic wordcounttopic --config cleanup.policy=delete

参考:https://sukbeta.github.io/kafka-set-topic-retention/

相关推荐

怎样成为私域总代理,从入门到精通的全面指南
beat365官网备用

怎样成为私域总代理,从入门到精通的全面指南

📅 07-14 👁️ 5613
PSP各类模拟器+游戏合集
谁有365比分链接

PSP各类模拟器+游戏合集

📅 07-04 👁️ 4668
带手套组装电脑能防静电吗?
谁有365比分链接

带手套组装电脑能防静电吗?

📅 07-10 👁️ 2328
世界杯四强对阵规则2022淘汰赛晋级全图一览
beat365官网备用

世界杯四强对阵规则2022淘汰赛晋级全图一览

📅 07-18 👁️ 9246
如何解读K线:新手交易指南
beat365官网备用

如何解读K线:新手交易指南

📅 07-15 👁️ 1349
网络上多吃菠萝是什么梗_是什么意思
365bet备用官网

网络上多吃菠萝是什么梗_是什么意思

📅 07-15 👁️ 7378