Spring Hadoop Yarn HA问题调研

发表于 2017-03-24 | 阅读次数

Spring XD on Yarn在使用过程中发现不论是YarnClient还是AppMaster对Yarn HA的支持都不好。在Yarn的RM重启或切换的情况下，YarnClient必须修改配置文件中的RM地址才可以继续使用，即使在配置文件中配置了Yarn HA的相关配置也不生效。而AppMaster同样会因为长时间监测不到心跳而被Yarn Kill掉，导致XD服务挂掉。因此，此调研的目标实际是为了解决XD on Yarn对RM HA的支持问题。

阅读全文 »

SpringXD on yarn 使用Container工作组

发表于 2016-12-01 | 阅读次数

SpringXD on Yarn支持Container分组。可以更好的控制admin和container分配。

控制组内成员
以组单位整体控制生命周期
动态创建组
重启失败的容器

阅读全文 »

On Yarn模式下 Spring Flo for SpringXD UI部署

发表于 2016-11-10 | 阅读次数

配置Spring Flo可在SpringXD的admin-ui页面提供拖拽式的组合job的定义。

从Pivotal官方下载Flo for XD 1.0.1版本 https://network.pivotal.io/products/p-spring-flo

阅读全文 »

SpringXD 自定义Job模块开发

发表于 2016-11-07 | 阅读次数

SpringXD中的Job实际即为Spring Batch中的Job，因此我们先按照Spring Batch的规范开发一个简单的Job。

阅读全文 »

SpirngXD on YARN模式部署说明

发表于 2016-11-01 | 阅读次数

Spring XD可以on yarn运行。

下载on yarn运行包并解压

wget http://repo.spring.io/release/org/springframework/xd/spring-xd/1.3.1.RELEASE/spring-xd-1.3.1.RELEASE-yarn.zip
unzip spring-xd-1.3.1.RELEASE-yarn.zip

部署本地Hadoop环境

要on yarn运行需要依赖本地的Hadoop环境。下载Hadoop安装包并解压。笔者试验环境中已经提供了针对Hadoop的自动化配置脚本，这里不再赘述。

xd on yarn配置

修改servers.yml配置文件，配置siteYarnAppClasspath和siteMapreduceAppClasspath

spring:
  yarn:
    siteYarnAppClasspath: "$HADOOP_HOME/etc/hahoop,$HADOOP_HOME/share/hadoop/common/*,$HADOOP_HOME/share/hadoop/common/lib/*,$HADOOP_HOME/share/hadoop/hdfs/*,$HADOOP_HOME/share/hadoop/hdfs/lib/*,$HADOOP_HOME/share/hadoop/yarn/*,$HADOOP_HOME/share/hadoop/yarn/lib/*"
    siteMapreduceAppClasspath: "$HADOOP_HOME/share/hadoop/mapreduce/*,$HADOOP_HOME/share/hadoop/mapreduce/lib/*"

配置xd相关选项

可配置在yarn上运行几个admin几个container等，这里采用默认配置：

xd:
  appmasterMemory: 512M
  adminServers: 1
  adminMemory: 512M
  adminJavaOpts: -XX:MaxPermSize=128m
  adminLocality: false
  containers: 3
  containerMemory: 512M
  containerJavaOpts: -XX:MaxPermSize=128m
  containerLocality: false

配置yarn环境地址

spring:
  hadoop:
    fsUri: hdfs://10.200.48.52:8020
    resourceManagerHost: 10.200.48.52
    resourceManagerPort: 8032

配置Zookeeper地址：

zk:
  namespace: xdonyarn
  client:
    connect: 10.200.48.66:2181,10.200.48.67:2181,10.200.48.68:2181

与分布式环境相同，配置redis，jdbc等信息，这里略过。

部署到yarn

bin/xd-yarn push

列出已安装的应用

bin/xd-yarn pushed
  NAME  PATH
  ----  --------------------
  app   hdfs://node1:8020/xd

启动应用

bin/xd-yarn submit

查看状态信息

bin/xd-yarn submitted
  APPLICATION ID                  USER  NAME       QUEUE    TYPE  STARTTIME         FINISHTIME  STATE    FINALSTATUS  ORIGINAL TRACKING URL
  ------------------------------  ----  ---------  -------  ----  ----------------  ----------  -------  -----------  -------------------------
  application_1472450074786_0046  rc    spring-xd  default  XD    10/28/16 2:46 PM  N/A         RUNNING  UNDEFINED    http://10.200.48.54:46604

查看admin-ui地址

bin/xd-yarn admininfo
Admins: [http://10.200.48.55:47832]

通过浏览器访问

用浏览器打开地址http://10.200.48.55:47832/admin-ui 即可访问到springxd的ui界面。至此，部署完成。

通过xd-shell连接到管理节点

bin/xd-shell

然后在xd-shell下执行

xd:>admin config server --uri http://10.200.48.55:47832
Successfully targeted http://10.200.48.55:47832

即可像分布式模式一样执行操作。

阅读全文 »

SpringXD分布式模式部署

发表于 2016-10-21 | 阅读次数

Spring XD有两种运行模式：单机和分布式模式。这里关注分布式模式的部署和运行时特点。

阅读全文 »

Scala学习笔记 - 函数

发表于 2016-09-21 | 阅读次数

Scala做为支持函数式编程的语言，函数自然是其核心的特性，因此笔者对函数部分的学习自然会更加认真细致一些。但也仅仅是基础部分。

阅读全文 »

Scala学习笔记-基础语法

发表于 2016-09-20 | 阅读次数

上手学习Scala语言。先熟悉一下语法。对于Scala笔者也是完全的新手，对scala的设计思想和实现原理没有太多了解。错误在所难免，还望发现后不吝指教。

阅读全文 »

Zabbix源码编译安装

发表于 2016-08-19 | 阅读次数

Zabbix 源码编译部署说明。

阅读全文 »

Elasticsearch 集群部署说明

发表于 2016-08-15 | 阅读次数

记录Elasticsearch集群搭建的过程。

阅读全文 »