sink-hdfs

Word count: 86 / Reading time: 1 min

 2016/03/14   Share

hdfs根据时间自动划分文件夹
stream create --name dataset1 --definition "kafka --topic=kafka_test --zkconnect=10.10.1.20:2181 --queueSize=64 |hdfs --inputType=application/json --idleTimeout=10000 --partitionPath=dateFormat('yyyy/MM/dd/HH/mm')" --deploy
其中，–partitionPath=dateFormat(‘yyyy/MM/dd/HH/mm’)用来指定划分策略，这个是说用年(四位)/月(两位)/天(2位)/时(2位)/分(2位)这种格式来划分

原文作者: sdvdxl

原文链接: http://todu.top/posts/37291/

发表日期: March 14th 2016, 4:10:23 pm

提问交流: 去博客源码处提Issue交流

Next Post

golang容易忽略导致入坑的方面
Previous Post

golang命令

CATALOG



缺失模块。
1、请确保node版本大于6.2
2、在博客根目录（注意不是archer根目录）执行以下命令：
npm i hexo-generator-json-content --save
3、在根目录_config.yml里添加配置：

jsonContent:
  meta: false
  pages: false
  posts:
    title: true
    date: true
    path: true
    text: false
    raw: false
    content: false
    slug: false
    updated: false
    comments: false
    link: false
    permalink: false
    excerpt: false
    categories: true
    tags: true