杜龙少(sdvdxl)

SpingXD结合Hadoop

字数统计: 337阅读时长: 1 min
2016/03/11 Share
(文章比较久了可能已经过时)

前言

之前的文章介绍了Spring XD以分布式方式运行Spring-XD安装启动Hadoop集群的文章。本文将简单介绍(刚学,很LOW(⊙﹏⊙)b)SpringXD和Hadoop,HDFS结合配置和使用方法。

准备

已经按照上述提到的两篇文章或者其他资料搭建并运行了SpringXD和Hadoop。

配置SpringXD

  1. 运行命令jps找到AdminServerApplicationContainerServerApplication两项,结束进程kill 进程pid
  2. 编辑SpingXD的配置文件server.yaml,在spring节点下增加以下hadoop的配置信息:
1
2
3
4
5
6
hadoop:
<!-- 注意换成自己的hdfs地址 -->
fsUri: hdfs://10.10.1.110:8020
resourceManagerHost: 10.10.1.110
resourceManagerPort: 8032
yarnApplicationClasspath:

然后启动xd-adminbin/xd-admin和xd-containerbin/xd-container
3. 切换到hadoop用户下,使用命令hadoop fs -mkdir /xd创建目录,然后更改权限hadoop fs -chmod -R 777 /xd(如果没有配置hadoop的环境变量,则请进入hadoop的目录使用bin/hadoop命令代替hadoop
4. 打开新的控制台,进入xd-shell交互环境,假如根据上面的Spring-XD配置文章配置了安全措施,那么还需要执行下面的命令admin config server --uri http://xd-adminIP:9393 --username 用户名 --password 密码进行授权后登录。
5. 创建stream,向hdfs中写入数据stream create --name myhdfsstream1 --definition "time | hdfs" --deploy,用命令hadoop fs ls /xd/myhdfsstream1即可看到有临时文件生成。

原文作者:杜龙少(sdvdxl)

原文链接:https://todu.top/posts/19943/

发表日期:2016-03-11 12:34:40

更新日期:2021-01-20 23:30:16

版权声明:本文采用知识共享署名-非商业性使用 4.0 国际许可协议进行许可

CATALOG
  1. 1. 前言
  2. 2. 准备
  3. 3. 配置SpringXD