杜龙少(sdvdxl)

SpingXD结合Hadoop

Word count: 352 / Reading time: 1 min
2016/03/11 Share

前言

之前的文章介绍了Spring XD以分布式方式运行Spring-XD安装启动Hadoop集群的文章本文将简单介绍刚学LOW(⊙﹏⊙)bSpringXDHadoopHDFS结合配置和使用方法

准备

已经按照上述提到的两篇文章或者其他资料搭建并运行了SpringXDHadoop

配置SpringXD

  1. 运行命令jps找到AdminServerApplicationContainerServerApplication两项结束进程kill 进程pid
  2. 编辑SpingXD的配置文件server.yamlspring节点下增加以下hadoop的配置信息
1
2
3
4
5
6
hadoop:
<!-- 注意换成自己的hdfs地址 -->
fsUri: hdfs://10.10.1.110:8020
resourceManagerHost: 10.10.1.110
resourceManagerPort: 8032
yarnApplicationClasspath:

然后启动xd-adminbin/xd-adminxd-containerbin/xd-container

  1. 切换到hadoop用户下使用命令hadoop fs -mkdir /xd创建目录然后更改权限hadoop fs -chmod -R 777 /xd如果没有配置hadoop的环境变量则请进入hadoop的目录使用bin/hadoop命令代替hadoop
  2. 打开新的控制台进入xd-shell交互环境假如根据上面的Spring-XD配置文章配置了安全措施那么还需要执行下面的命令admin config server --uri http://xd-adminIP:9393 --username 用户名 --password 密码进行授权后登录
  3. 创建streamhdfs中写入数据stream create --name myhdfsstream1 --definition "time | hdfs" --deploy用命令hadoop fs ls /xd/myhdfsstream1即可看到有临时文件生成
CATALOG
  1. 1. 前言
  2. 2. 准备
  3. 3. 配置 SpringXD