前言

之前的文章介绍了Spring XD，以分布式方式运行Spring-XD和安装启动Hadoop集群的文章。本文将简单介绍（刚学，很LOW(⊙﹏⊙)b）SpringXD和Hadoop，HDFS结合配置和使用方法。

准备

已经按照上述提到的两篇文章或者其他资料搭建并运行了SpringXD和Hadoop。

配置SpringXD

  1. 运行命令jps找到AdminServerApplication和ContainerServerApplication两项，结束进程kill 进程pid。
  2. 编辑SpingXD的配置文件server.yaml，在spring节点下增加以下hadoop的配置信息：
1
2
3
4
5
6
hadoop:
	<!-- 注意换成自己的hdfs地址 -->
    fsUri: hdfs://10.10.1.110:8020
    resourceManagerHost: 10.10.1.110
    resourceManagerPort: 8032
    yarnApplicationClasspath:

然后启动xd-adminbin/xd-admin和xd-containerbin/xd-container。
3. 切换到hadoop用户下，使用命令hadoop fs -mkdir /xd创建目录，然后更改权限hadoop fs -chmod -R 777 /xd（如果没有配置hadoop的环境变量，则请进入hadoop的目录使用bin/hadoop命令代替hadoop）
4. 打开新的控制台，进入xd-shell交互环境，假如根据上面的Spring-XD配置文章配置了安全措施，那么还需要执行下面的命令admin config server --uri http://xd-adminIP:9393 --username 用户名 --password 密码进行授权后登录。
5. 创建stream，向hdfs中写入数据stream create --name myhdfsstream1 --definition "time | hdfs" --deploy，用命令hadoop fs ls /xd/myhdfsstream1即可看到有临时文件生成。