Java 服务端架构
Spring、Netty、日志框架与工程化实战
🎨 视觉封面SpirngXD on YARN模式部署说明
Spring XD可以on yarn运行。
下载on yarn运行包并解压
wget http://repo.spring.io/release/org/springframework/xd/spring-xd/1.3.1.RELEASE/spring-xd-1.3.1.RELEASE-yarn.zip
unzip spring-xd-1.3.1.RELEASE-yarn.zip
部署本地Hadoop环境
要on yarn运行需要依赖本地的Hadoop环境。下载Hadoop安装包并解压。笔者试验环境中已经提供了针对Hadoop的自动化配置脚本，这里不再赘述。
xd on yarn配置
修改servers.yml配置文件，配置siteYarnAppClasspath和siteMapreduceAppClasspath
spring:
yarn:
siteYarnAppClasspath: "$HADOOP_HOME/etc/hahoop,$HADOOP_HOME/share/hadoop/common/*,$HADOOP_HOME/share/hadoop/common/lib/*,$HADOOP_HOME/share/hadoop/hdfs/*,$HADOOP_HOME/share/hadoop/hdfs/lib/*,$HADOOP_HOME/share/hadoop/yarn/*,$HADOOP_HOME/share/hadoop/yarn/lib/*"
siteMapreduceAppClasspath: "$HADOOP_HOME/share/hadoop/mapreduce/*,$HADOOP_HOME/share/hadoop/mapreduce/lib/*"
配置xd相关选项
可配置在yarn上运行几个admin几个container等，这里采用默认配置：
xd:
appmasterMemory: 512M
adminServers: 1
adminMemory: 512M
adminJavaOpts: -XX:MaxPermSize=128m
adminLocality: false
containers: 3
containerMemory: 512M
containerJavaOpts: -XX:MaxPermSize=128m
containerLocality: false
配置yarn环境地址
spring:
hadoop:
fsUri: hdfs://10.200.48.52:8020
resourceManagerHost: 10.200.48.52
resourceManagerPort: 8032
配置Zookeeper地址：
zk:
namespace: xdonyarn
client:
connect: 10.200.48.66:2181,10.200.48.67:2181,10.200.48.68:2181
与分布式环境相同，配置redis，jdbc等信息，这里略过。
部署到yarn
bin/xd-yarn push
列出已安装的应用
bin/xd-yarn pushed
NAME PATH
---- --------------------
app hdfs://node1:8020/xd
启动应用
bin/xd-yarn submit
查看状态信息
bin/xd-yarn submitted
APPLICATION ID USER NAME QUEUE TYPE STARTTIME FINISHTIME STATE FINALSTATUS ORIGINAL TRACKING URL
------------------------------ ---- --------- ------- ---- ---------------- ---------- ------- ----------- -------------------------
application_1472450074786_0046 rc spring-xd default XD 10/28/16 2:46 PM N/A RUNNING UNDEFINED http://10.200.48.54:46604
查看admin-ui地址
bin/xd-yarn admininfo
Admins: [http://10.200.48.55:47832]
通过浏览器访问
用浏览器打开地址http://10.200.48.55:47832/admin-ui 即可访问到springxd的ui界面。至此，部署完成。
通过xd-shell连接到管理节点
bin/xd-shell
然后在xd-shell下执行
xd:>admin config server --uri http://10.200.48.55:47832
Successfully targeted http://10.200.48.55:47832
即可像分布式模式一样执行操作。
所有代码开源上传至 GitHub：yummy-code 仓库 · GESP 专题站：GESP WIKI
欢迎加入：C++ GESP/CSP 考级答疑群（688906745） 与 Java/Python交流群（982860385），点击可直接加群。
猜你想读 · 相关文章推荐
Spring Framework 4.0 迁移指南 （官方文档翻译）
看到Spring Framework4.0发布的消息，看了下new future，<a href="http://www.coderli.com"OneCoder</a很喜欢spring这种追“时髦”的风格，groovy脚本配置和Java8都支持了。顺便就翻译了一下官方的迁移指南。对一般使用来说...
Spring集成Hibernate注解配置 无hibernate.cfg.xml文件，自动生成表配置
<p 本以为一个无足挂齿的小问题，没想到还折腾了一下。遂记录一下。主要搜索出的结果排名靠前的大多是在hibernate.cfg.xml中的配置方式。与我的环境不符。正确配置方式如下。已测试。</p <p 注：注释掉的配置value配置方式和prop配置方式，均有效。<br / </p
Spring Batch 初探、使用样例
<p 工作里用到了Spring Batch项目，以前我也是做并行计算的，听说过Spring Batch不过并没有去具体了解过。今天抽空看看官方文档进行下初步的了解。</p <p 官方文档地址：<a href="http://docs.spring.io/spring-batch/trunk/reference/html...
OneCoder (lihongzheshuai)
一个中年人的自留地，记录学习 C++、GESP/NOI、Java、Python 与算法架构的心得体会。本站唯一网址：coderli.com