所有博文 (共252篇, 1/17页)

  • SpringXD on yarn 使用Container工作组

    SpringXD on Yarn支持Container分组。可以更好的控制admin和container分配。

    • 控制组内成员
    • 以组单位整体控制生命周期
    • 动态创建组
    • 重启失败的容器

  • On Yarn模式下 Spring Flo for SpringXD UI部署

    配置Spring Flo可在SpringXD的admin-ui页面提供拖拽式的组合job的定义。

    从Pivotal官方下载Flo for XD 1.0.1版本 https://network.pivotal.io/products/p-spring-flo

  • SpringXD 自定义Job模块开发

    SpringXD中的Job实际即为Spring Batch中的Job,因此我们先按照Spring Batch的规范开发一个简单的Job。

  • SpirngXD on YARN模式部署说明

    Spring XD可以on yarn运行。

    下载on yarn运行包并解压

    wget http://repo.spring.io/release/org/springframework/xd/spring-xd/1.3.1.RELEASE/spring-xd-1.3.1.RELEASE-yarn.zip
    unzip spring-xd-1.3.1.RELEASE-yarn.zip
    

    部署本地Hadoop环境

    要on yarn运行需要依赖本地的Hadoop环境。下载Hadoop安装包并解压。笔者试验环境中已经提供了针对...

  • SpringXD分布式模式部署

    Spring XD有两种运行模式:单机和分布式模式。这里关注分布式模式的部署和运行时特点。

  • Scala学习笔记 - 函数

    Scala做为支持函数式编程的语言,函数自然是其核心的特性,因此笔者对函数部分的学习自然会更加认真细致一些。但也仅仅是基础部分。

  • Scala学习笔记-基础语法

    上手学习Scala语言。先熟悉一下语法。对于Scala笔者也是完全的新手,对scala的设计思想和实现原理没有太多了解。错误在所难免,还望发现后不吝指教。

  • Zabbix源码编译安装

    Zabbix 源码编译部署说明。

  • Elasticsearch 集群部署说明

    记录Elasticsearch集群搭建的过程。

  • CentOS下vsftpd服务配置说明

    项目需要用到分用户的FTP服务器,因此花了一天时间学习了vsftpd服务的搭建和配置说明。记录如下。

  • yum安装MySQL5.7

    CentOS6.5系列默认安装的是MySQL5.1版本,并且默认的repo里也没有高版本的MySQL。

  • 事无巨细 HBase-1.2.1 集群搭建

    继续搭建HBase集群环境。HBase版本也比较杂,目前也有两大稳定的分支,1.1.x1.2.x。从官方文档了解到,支持Hadoop2.6.1+对应版本应该是1.2.x系列,因此这里选择1.2.1稳定版。1.1.xHadoop 2.6.1+上是未测试的。

  • 事无巨细 Spark 1.6.1 集群环境搭建

    还是在之前的Hadoop集群环境上继续搭建Spark-1.6.1环境

    下载安装

    下载Spark并解压

  • 事无巨细 Apache Kafka 0.9.0.1 集群环境搭建

    Kafka集群环境依赖于Zookeeper环境。因此我们的环境搭建实际分为两部分。Zookeeper环境搭建和Kafka环境搭建。

  • 事无巨细 Hive1.2.1 Hiveserver搭建详解

    上文介绍了Hadoop2.6.4集群搭建的详细步骤。现在我们在此基础上,搭建Hiveserver。同样,事无巨细,难免跑题。