项目需要用到分用户的FTP服务器，因此花了一天时间学习了vsftpd服务的搭建和配置说明。记录如下。 安装 yum install vsftpd ftp 配置虚拟用户 虚拟用户即可以登录Ftp，不能登录系统。配置原理即开启vsftpd的虚拟用户功能，并配合pam管理用户认证 修改配置文件/etc/vsftpd/vsftpd.conf # 关闭匿名访问 anonymous_en...

CentOS6.5系列默认安装的是MySQL5.1版本，并且默认的repo里也没有高版本的MySQL。 卸载低版本MySQL 先通过 rpm -qa|grep mysql 命令查到mysql安装包详细的名称。然后用命令 rpm -e mysql-**** --nodeps 卸载即可 添加MySQL5.7 Repo源 在目录/etc/yum.repos.d/下新建mys...

继续搭建HBase集群环境。HBase版本也比较杂，目前也有两大稳定的分支，1.1.x和1.2.x。从官方文档了解到，支持Hadoop2.6.1+对应版本应该是1.2.x系列，因此这里选择1.2.1稳定版。1.1.x在Hadoop 2.6.1+上是未测试的。 下载HBase 同样，通过镜像站下载 wget http://mirrors.cnnic.cn/apache/hbase/1...

还是在之前的Hadoop集群环境上继续搭建Spark-1.6.1环境 下载安装 下载Spark并解压 wget http://mirrors.cnnic.cn/apache/spark/spark-1.6.1/spark-1.6.1-bin-hadoop2.6.tgz tar -xvzf spark-1.6.1-bin-hadoop2.6.tgz -C /home/dps-hado...

Kafka集群环境依赖于Zookeeper环境。因此我们的环境搭建实际分为两部分。Zookeeper环境搭建和Kafka环境搭建。 Zookeeper 3.4.8集群搭建 部署安装包 下载 wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.8/zookeeper-3.4.8.tar.gz 解压 tar -...

上文介绍了Hadoop2.6.4集群搭建的详细步骤。现在我们在此基础上，搭建Hiveserver。同样，事无巨细，难免跑题。 环境需求列表 Hive1.2版本开始，依赖Java1.7+，0.14-1.1版本依赖Java1.6+。推荐用Java1.8 推荐使用Hadoop2.x 系列。Hive2.0开始不再支持Hadoop1.x系列。0.13版之前的Hive也仍支持Hadoop...

本文详细记录了OneCoder通过自己的Mac环境，在开发服务器(CentOS 6.5)上搭建Hadoop的详细过程。因为事无巨细，所以可能会”跑题”。 ssh连接免密码配置 由于配置过程中需要频繁的进行ssh连接到开发服务器执行命令以及通过scp命令向服务器拷贝文件等依赖ssh连接的操作。所以，配置本地环境跟服务器之间的ssh免密码连接可以有效的提升工作效率。 由于我本机已经生成过公...

为方便Hadoop集群管理，决定利用docker环境手动搭建一个DNS服务器。 1. 配置容器 选择andyshinn/dnsmasq的docker镜像，2.75版本。执行命令 docker run -d -p 53:53/tcp -p 53:53/udp --cap-add=NET_ADMIN --name dns-server andyshinn/dnsmasq:2.75 本以...

Mybatis-PageHelper应该是目前使用比较广泛的一个Mybatis分页插件。我在几个项目里都引入了该插件。今天偶然阅读其源码，却发现了一个不小的问题。 注：我阅读的是最新的4.1.3的源码。 该分页插件的核心是PageHelper类，该类实现了Mybatis提供的Interceptor接口。接口定义的intercept方法实现如下： /** * Mybatis拦截...

最近，不知是因为哪根筋的问题，我突然去百度统计关注了一下博客的访问情况。意外的发现博客的访问量较之以前大减，而且几乎看不到来自百度搜索的访问。我意识到，这应该我博客的百度索引出现了问题。去百度站长工具查询索引量，果然不出所料 从3月7日开始，索引量瞬间归零。我努力的回忆当时发生了什么。突然想起我的一篇日记《20160302 博客再次迁移和房产证办理》。该日记写在3月2日的，也就是说在3...