hdfs根据时间自动划分文件夹stream create --name dataset1 --definition "kafka --topic=kafka_test --zkconnect=10.10.1.20:2181 --queueSize=64 |hdfs --inputType=application/json --idleTimeout=10000 --partitionPath=dateFormat('yyyy/MM/dd/HH/mm')" --deploy
其中，–partitionPath=dateFormat(‘yyyy/MM/dd/HH/mm’)用来指定划分 策略，这个是说用年(四位)/月(两位)/天(2位)/时(2位)/分(2位)这种格式来划分
原文作者：杜龙少(sdvdxl)
原文链接：https://todu.top/posts/37291/
发表日期：2016-03-14 16:10:23
更新日期：2021-01-20 23:30:16
版权声明：本文采用知识共享署名-非商业性使用 4.0 国际许可协议进行许可