杜龙少(sdvdxl)

sink-hdfs

字数统计: 89阅读时长: 1 min
2016/03/14 Share
(文章比较久了可能已经过时)

hdfs根据时间自动划分文件夹
stream create --name dataset1 --definition "kafka --topic=kafka_test --zkconnect=10.10.1.20:2181 --queueSize=64 |hdfs --inputType=application/json --idleTimeout=10000 --partitionPath=dateFormat('yyyy/MM/dd/HH/mm')" --deploy
其中,–partitionPath=dateFormat(‘yyyy/MM/dd/HH/mm’)用来指定划分 策略,这个是说用年(四位)/月(两位)/天(2位)/时(2位)/分(2位)这种格式来划分

原文作者:杜龙少(sdvdxl)

原文链接:https://todu.top/posts/37291/

发表日期:2016-03-14 16:10:23

更新日期:2021-01-20 23:30:16

版权声明:本文采用知识共享署名-非商业性使用 4.0 国际许可协议进行许可

CATALOG