CentOS下vsftpd服务配置说明

发表于 2016-08-05 | 阅读次数

项目需要用到分用户的FTP服务器，因此花了一天时间学习了vsftpd服务的搭建和配置说明。记录如下。

阅读全文 »

yum安装MySQL5.7

发表于 2016-05-19 | 阅读次数

CentOS6.5系列默认安装的是MySQL5.1版本，并且默认的repo里也没有高版本的MySQL。

阅读全文 »

事无巨细 HBase-1.2.1 集群搭建

发表于 2016-04-29 | 阅读次数

继续搭建HBase集群环境。HBase版本也比较杂，目前也有两大稳定的分支，1.1.x和1.2.x。从官方文档了解到，支持Hadoop2.6.1+对应版本应该是1.2.x系列，因此这里选择1.2.1稳定版。1.1.x在Hadoop 2.6.1+上是未测试的。

阅读全文 »

事无巨细 Spark 1.6.1 集群环境搭建

发表于 2016-04-29 | 阅读次数

还是在之前的Hadoop集群环境上继续搭建Spark-1.6.1环境

下载安装

下载Spark并解压

阅读全文 »

事无巨细 Apache Kafka 0.9.0.1 集群环境搭建

发表于 2016-04-29 | 阅读次数

Kafka集群环境依赖于Zookeeper环境。因此我们的环境搭建实际分为两部分。Zookeeper环境搭建和Kafka环境搭建。

阅读全文 »

事无巨细 Hive1.2.1 Hiveserver搭建详解

发表于 2016-04-27 | 阅读次数

上文介绍了Hadoop2.6.4集群搭建的详细步骤。现在我们在此基础上，搭建Hiveserver。同样，事无巨细，难免跑题。

阅读全文 »

事无巨细 Hadoop2.6.4 环境搭建步骤详解

发表于 2016-04-20 | 阅读次数

本文详细记录了OneCoder通过自己的Mac环境，在开发服务器(CentOS 6.5)上搭建Hadoop的详细过程。因为事无巨细，所以可能会”跑题”。

ssh连接免密码配置

由于配置过程中需要频繁的进行ssh连接到开发服务器执行命令以及通过scp命令向服务器拷贝文件等依赖ssh连接的操作。所以，配置本地环境跟服务器之间的ssh免密码连接可以有效的提升工作效率。

由于我本机已经生成过公钥，所以我只需将已有的公钥拷贝到服务器即可。推荐使用ssh-copy-id命令，简单又不会出错。手动copy 再append的公钥文件尾，容易因为操作问题，造成无法正确识别公钥。

注：如果你没有生成过公钥，可通过ssh-keygen命令生成公钥。走默认配置即可。

在我的mac上，居然还没有安装ssh-copy-id命令。通过brew 命令安装即可。

brew install ssh-copy-id

然后copy公钥到指定主机

ssh-copy-id root@172.20.2.14

其中， root@172.20.2.14改为你需要访问的服务器的 用户名@IP。根据提示输入一次密码。成功后，所有基于ssh的命令你只需要通过用户名@IP 即可直接访问服务器。

新用户、用户组创建

为了更好的权限控制，养成良好的Linux使用习惯，我们首先创建一个管理和使用hadoop集群的用户(组)dps-hadoop。这也是hadoop集群管理所需要的环境配置。

groupadd dps-hadoop
useradd -d /home/dps-hadoop -g dps-hadoop dps-hadoop

考虑到难免需要使用sudo提权的情况，给该用户配置到sudo名单下, 修改/etc/sudoers文件。

vim /etc/sudoers

新增一行记录：

dps-hadoop ALL=(ALL) ALL

此后，我们均使用dps-hadoop用户进行操作。

配置本地DNS服务器

之前我介绍了如何用Docker搭建本地的DNS服务器，这里终于派上用处。如果你没有本地DNS服务器，那么你修改/etc/hosts文件也可以。对于CentOS，临时生效的配置文件在

/etc/resolv.conf

你可以看到该文件开头提示你，该文件是自动生成的。重启网络服务会覆盖，永久配置修改

/etc/sysconfig/network-scripts/ifcfg-eth0

修改其中的

DNS1=172.20.2.24

其中ifcfg-eth0，改为你自己的网卡名即可。

安装JDK

Hadoop是Java开发的，自然需要依赖jre运行。我采用了比较本的方法，现在oracle官网下载jdk-8u77到本地，再通过scp命令拷贝到服务器的方式。进入jdk所在文件夹执行

scp jdk-8u77-linux-x64.rpm dps-hadoop@172.20.2.14:~/download

其实通过wget也可以下载，但是网上给出的命令

wget --no-cookie --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F" http://download.oracle.com/otn-pub/java/jdk/7u10-b18/jdk-7u10-linux-i586.rpm

我试了多次均未成功。我自己有个笨方法，就是先通过浏览器获取下载获取到真正的下载地址

然后再通过wget下载：

wget http://download.oracle.com/otn-pub/java/jdk/8u77-b03/jdk-8u77-linux-x64.rpm?AuthParam=1460511903_6b2f8345927b3fc4f961fbcaba6a01b3

下载后，你可能需要进行一次重命名，将多余的?AuthParam后缀去掉。

mv jdk-8u77-linux-x64.rpm?AuthParam=1460511903_6b2f8345927b3fc4f961fbcaba6a01b3 jdk-8u77-linux-x64.rpm

最后，安装jdk

rpm -i jdk-8u77-linux-x64.rpm

配置JAVA_HOME

修改dps-hadoop用户自己的环境变量配置文件。

vim ~/.bashrc

注意：网上提到了配置环境变量的方式有很多，粗暴的就是直接配置在/etc/environment或/etc/profile等全局配置文件中，对所有用户生效。不推荐这种做法。对于用户级的变量也有两个~/.bash_profile和~/.bashrc，区别请自行研究。如果你想通过执行start-dfs.sh等脚本，远程起停hadoop集群，那么请配置在~/.bashrc中，否则hadoop会找不到你配置的环境变量。

例如：Error: JAVA_HOME is not set and could not be found.

添加

export JAVA_HOME="/usr/java/jdk1.8.0_77"

不建议配置到/etc/environment 下，因为会对所有用户生效。

安装Hadoop 2.6.4

根据官网介绍，Hadoop项目实际包含以下模块：

Hadoop Common: The common utilities that support the other Hadoop modules.
Hadoop Distributed File System (HDFS™): A distributed file system that provides high-throughput access to application data.
Hadoop YARN: A framework for job scheduling and cluster resource management.
Hadoop MapReduce: A YARN-based system for parallel processing of large data sets.

首先，直接通过wget，从镜像站下载。

wget http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz

解压到用户目录

tar -xvzf hadoop-2.6.4.tar.gz -C ~/

配置HADOOP_HOME，同样修改~/.bashrc文件。增加

export HADOOP_HOME="/home/dps-hadoop/hadoop-2.6.4"

在其他节点重复上述所有配置操作。

添加用户
配置dps-hadoop用户，从master到各slave节点间的ssh免密码访问。
修改DNS服务器地址
安装JDK
下载解压Hadoop
配置Hadoop环境变量

配置集群

从模块角度理解，配置hadoop集群应包括HDFS、YARN和MapReduce这三部分配置。

HDFS配置

不考虑调优，仅从功能可运行上来理解，HDFS配置需要分别配置namenode、datanode的ip和端口号。数据备份份数。数据存放地址。因此配置如下：

namenode

core-site.xml

<configuration>
    <property>
            <name>hadoop.tmp.dir</name>
            <value>/home/dps-hadoop/tmpdata</value>
     </property>
     <property>
           <name>fs.default.name</name>
              <value>hdfs://master:54000/</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    
    <property>
            <name>dfs.namenode.name.dir</name>
            <value>/home/dps-hadoop//namedata</value>
     </property>
    <property>
            <name>dfs.replication</name>
            <value>2</value>
     </property>
</configuration>

Datanode

core-site.xml

<configuration>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/dps-hadoop/tmpdata</value>
         </property>
         <property>
           <name>fs.default.name</name>
              <value>hdfs://master:54000/</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    
    <property>
            <name>dfs.datanode.data.dir</name>
            <value>/home/dps-hadoop/datadir</value>
     </property>
</configuration>

这里只有core-site.xml里的hadoop.tmp.dir的配置是我们之前没有提到的。该配置是修改临时文件的存储路径，避免因为系统重启造成的临时文件的丢失，从而导致集群不可能用的情况出现。

2016-04-28注：
	<property>
           <name>fs.default.name</name>
           <value>hdfs://master:54000/</value>
    </property>
该配置必须配置在core-site.xml配置文件中，之前的配置是错误的。否则，各个hdfs节点不在一个集群中。

启动HDFS集群

跟使用硬盘一样，HDFS使用前也需要格式化

bin/hdfs namenode -format

然后启动

sbin/start-dfs.sh

通过控制台，可查看HDFS集群状态

http://172.20.2.14:50070/

一个插曲

启动时候发现一个WARN日志。

16/04/19 13:59:18 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

无法加载本地库。从stackoverflow上答案来看，主要有三种可能。

没有指定java.library.path环境变量。
本地库跟系统不兼容。（64位系统，提供的是32位的本地库）
GLIBC版本不兼容

通过file命令查看

file lib/native/*

已经是64位的本地库。

修改log4j.properties 打开本地加载的debug级别

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=DEBUG

再次启动发现问题

16/04/19 14:27:00 DEBUG util.NativeCodeLoader: Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError: /home/dps-hadoop/hadoop-2.6.4/lib/native/libhadoop.so.1.0.0: /lib64/libc.so.6: version `GLIBC_2.14’ not found (required by /home/dps-hadoop/hadoop-2.6.4/lib/native/libhadoop.so.1.0.0)

通过

ldd --version

发现我本地环境的版本是2.12的。这个不升级系统版本很难解决。把log 改成ERROR，暂时眼不见心不烦吧。

YARN配置

在YARN里，主节点称为ResourceManager，从节点称为NodeManager。根据理解，需要告知NodeManager, ResouceManager的通信地址。对于ResourceManager来说，所以的从节点已经配置在slaves中了。因此，配置如下：

NodeManager

yarn-site.xml

<configuration>
    <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>master</value>
        </property>
</configuration>

启动yarn，主节点执行

.sbin/start-yarn.sh

MapReduce JobHistoryServer

对于MapReduce，默认无需特殊配置。Hadoop提供了一个管理任务执行历史的服务JobHistoryServer。按需启动即可。

mr-jobhistory-daemon.sh stop historyserver

至此，一个基本的Hadoop集群已经启动完成。

集群管理环境 WebUI地址

Hadoop默认提供了查看集群状态的Web服务，在主节点上启动。默认端口如下。

HDFS集群管理，默认端口50070。 http://master:50070/
ResourceManager管理，默认端口8088 http://master:8088/
JobHistory 默认端口19888 http://master:19888

阅读全文 »

Docker下搭建DNS服务器dnsmasq

发表于 2016-04-15 | 阅读次数

为方便Hadoop集群管理，决定利用docker环境手动搭建一个DNS服务器。

1. 配置容器

选择andyshinn/dnsmasq的docker镜像，2.75版本。执行命令

docker run -d -p 53:53/tcp -p 53:53/udp --cap-add=NET_ADMIN --name dns-server andyshinn/dnsmasq:2.75

本以为顺利完成，结果报错：

docker: Error response from daemon: failed to create endpoint dns-server on network bridge: Error starting userland proxy: listen tcp 0.0.0.0:53: bind: address already in use.

dns服务默认是用的53端口被占用了。查看本机端口占用情况：

netstat -lnp|grep 53

发现在宿主机器上有一个dnsmasq服务。google一番了解到，原来是ubuntu默认安装了dnsmasq-base服务。官网提到：

Note that the package “dnsmasq” interferes with Network Manager which can use “dnsmasq-base” to provide DHCP services when sharing an internet connection. Therefore, if you use network manager (fine in simple set-ups only), then install dnsmasq-base, but not dnsmasq. If you have a more complicated set-up, uninstall network manager, use dnsmasq, or similar software (bind9, dhcpd, etc), and configure things by hand.

通过kill 停掉该服务。再次执行上述命令，通过

docker ps

查看，容器启动成功。

2. 配置DNS服务

进入容器

docker exec -it dns-server /bin/sh

首先配置上行的真正的dns服务器地址，毕竟你只是个本地代理，不了解外部规则。创建文件：

vi /etc/resolv.dnsmasq

添加内容：

nameserver 114.114.114.114
nameserver 8.8.8.8

配置本地解析规则，这才是我们的真实目的。新建配置文件

vi /etc/dnsmasqhosts

添加解析规则

20.2.14 master
20.2.15 slave15
20.2.16 slave16

修改dnsmasq配置文件，指定使用上述两个我们自定义的配置文件

vi /etc/dnsmasq.conf

修改下述两个配置

resolv-file=/etc/resolv.dnsmasq
addn-hosts=/etc/dnsmasqhosts

回到宿主，重启dns-server容器服务。

docker restart dns-server

通过本机验证

修改本机dns服务器地址：

通过dig命令查看

dig master

一切如愿。

阅读全文 »

Mybatis-PageHelper Reentrantlock锁使用问题

发表于 2016-04-12 | 阅读次数

Mybatis-PageHelper应该是目前使用比较广泛的一个Mybatis分页插件。我在几个项目里都引入了该插件。今天偶然阅读其源码，却发现了一个不小的问题。

注：我阅读的是最新的4.1.3的源码。

该分页插件的核心是PageHelper类，该类实现了Mybatis提供的Interceptor接口。接口定义的intercept方法实现如下：

/**
 * Mybatis拦截器方法
 *
 * @param invocation 拦截器入参
 * @return 返回执行结果
 * @throws Throwable 抛出异常
 */
public Object intercept(Invocation invocation) throws Throwable {
    if (autoRuntimeDialect) {
        SqlUtil sqlUtil = getSqlUtil(invocation);
        return sqlUtil.processPage(invocation);
    } else {
        if (autoDialect) {
            initSqlUtil(invocation);
        }
        return sqlUtil.processPage(invocation);
    }
}

其中，getSqlUtil方法，实现如下：

/**
 * 根据daatsource创建对应的sqlUtil
 *
 * @param invocation
 */
public SqlUtil getSqlUtil(Invocation invocation) {
    MappedStatement ms = (MappedStatement) invocation.getArgs()[0];
    //改为对dataSource做缓存
    DataSource dataSource = ms.getConfiguration().getEnvironment().getDataSource();
    String url = getUrl(dataSource);
    if (urlSqlUtilMap.containsKey(url)) {
        return urlSqlUtilMap.get(url);
    }
    ReentrantLock lock = new ReentrantLock(); //这里我认为是有问题的。
    try {
        lock.lock();
        if (urlSqlUtilMap.containsKey(url)) {
            return urlSqlUtilMap.get(url);
        }
        if (StringUtil.isEmpty(url)) {
            throw new RuntimeException("无法自动获取jdbcUrl，请在分页插件中配置dialect参数!");
        }
        String dialect = Dialect.fromJdbcUrl(url);
        if (dialect == null) {
            throw new RuntimeException("无法自动获取数据库类型，请通过dialect参数指定!");
        }
        SqlUtil sqlUtil = new SqlUtil(dialect);
        if (this.properties != null) {
            sqlUtil.setProperties(properties);
        } else if (this.sqlUtilConfig != null) {
            sqlUtil.setSqlUtilConfig(this.sqlUtilConfig);
        }
        urlSqlUtilMap.put(url, sqlUtil);
        return sqlUtil;
    } finally {
        lock.unlock();
    }
}

这里有个加锁的操作，使用的是Reentrantlock局部变量。这里是有问题的，局部变量的lock是无法起到锁的作用的。这段代码实际上仍不是线程安全的。将该lock变量提升为类的全局变量即可解决。

private ReentrantLock lock = new ReentrantLock();

/**
 * 根据datasource创建对应的sqlUtil
 *
 * @param invocation
 */
public SqlUtil getSqlUtil(Invocation invocation) {
    MappedStatement ms = (MappedStatement) invocation.getArgs()[0];
    //改为对dataSource做缓存
    DataSource dataSource = ms.getConfiguration().getEnvironment().getDataSource();
    String url = getUrl(dataSource);
    if (urlSqlUtilMap.containsKey(url)) {
        return urlSqlUtilMap.get(url);
    }
    try {
        lock.lock();
       ...

顺便也修改了一个datasource拼写错误的问题。

给作者提交了Pull Request。

阅读全文 »

镜像博客站点解决百度Spider无法爬取Github Pages问题

发表于 2016-04-07 | 阅读次数

最近，不知是因为哪根筋的问题，我突然去百度统计关注了一下博客的访问情况。意外的发现博客的访问量较之以前大减，而且几乎看不到来自百度搜索的访问。我意识到，这应该我博客的百度索引出现了问题。去百度站长工具查询索引量，果然不出所料

从3月7日开始，索引量瞬间归零。我努力的回忆当时发生了什么。突然想起我的一篇日记《20160302 博客再次迁移和房产证办理》。该日记写在3月2日的，也就是说在3月2日左右，我把博客从Gitcafe迁移到Github。之前在Gitcafe的时候，百度索引一直是正常的。从Gitcafe迁移出去是因为Gitcafe被coding.net收购了，服务也全部迁移到coding.net了，而当时提供的迁移工具用的很不友好，也没快速找到pages服务的迁移办法，就索性直接迁到Github了，这是后话了。

于是，我上网搜索了一下Github百度索引变为零的原因，这才知道原来Github早已屏蔽百度Spider的爬取，原因似乎是因为百度Spider爬取给Github造成的压力过大，影响到正常服务。也怪我自己居然连这个都不知道。出于好奇，我还是用Chrome的User-Agent Switcher工具模拟百度Spider访问了一下Github，果然如此。

原因找到了，剩下就是找解决问题的办法了。靠谱的办法基本有两个，一个是利用CDN加速，一个利用镜像站。其实本质原理都是一样的，就是让百度Spider访问到非Github服务提供的页面，自然就解决了Github封禁百度Spider的问题。由于我的域名一直没有做备案，所以国内的CDN服务（如又拍云等）基本都无法使用，所有只有采用镜像站的方法。

镜像站办法可用的最关键点是DNSPod提供的智能DNS功能。

DNSPod支持根据不同的线路配置不同的规则，而其中有条线路类型就是百度。因此，我们可以将来自百度Spider的请求分发到非Github的镜像站上，用户的请求分发到原始的Github服务。这里，OneCoder采用的镜像站就是前面提到的coding.net提供的pages服务。我把百度线路的CNAME值都指向了coding.net的pages服务地址，默认线路指向Github的pages服务。通过百度站长工具里的抓取诊断功能查看，一切终于恢复了正常。

你可能会问：“为什么不直接用coding.net的服务？”这个问题就有点尴尬了，经历了Gitcafe的收购事件，对国内这种新出现的平台少了许多底气，另外在试用coding.net服务的过程中，对服务的稳定性和正确性也产生了一些疑问，所以暂且只能用做镜像站了。

阅读全文 »