sink-hdfs
hdfs根据时间自动划分文件夹stream create --name dataset1 --definition "kafka --topic=kafka_test --zkconnect=10.10.1.20:2181 --queueSize=64 |hdfs --inputType=application/json --idleTimeout=10000 --partitionPath=dateFormat('yyyy/MM/dd/HH/mm')" --deploy
其中,–partitionPath=dateFormat(‘yyyy/MM/dd/HH/mm’)用来指定划分 策略,这个是说用年(四位)/月(两位)/天(2位)/时(2位)/分(2位)这种格式来划分
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 杜龙少!