Python 与大数据
MySQL、Hadoop、自动化与基础工具
🎨 视觉封面Flume(ng) 自定义sink实现和属性注入
最近需要利用flume来做收集远端日志,所以学习一些flume最基本的用法。这里仅作记录。
远端日志收集的整体思路是远端自定义实现log4j的appender把消息发送到flume端,flume端自定义实现一个sink来按照我们的规则保存日志。
自定义Sink代码:
public class LocalFileLogSink extends AbstractSink implements Configurable {
private static final Logger logger = LoggerFactory
. getLogger(LocalFileLogSink .class );
private static final String PROP_KEY_ROOTPATH = "rootPath";
private String rootPath;
@Override
public void configure(Context context) {
String rootPath = context.getString(PROP_KEY_ROOTPATH );
setRootPath(rootPath);
}
@Override
public Status process() throws EventDeliveryException {
logger .debug("Do process" );
}
}
实现Configurable接口,即可在初始化时,通过configure方法从context中获取配置的参数的值。这里,我们是想从flume的配置文件中获取rootPath的值,也就是日志保存的根路径。在flume-conf.properties中配置如下:
agent.sinks = loggerSink
agent.sinks.loggerSink.rootPath = ./logs
loggerSink是自定义sink的名称,我们取值时的key,只需要loggerSink后面的部分即可,即这里的rootPath。
实际业务逻辑的执行,是通过继承复写AbstractSink中的process方法实现。从基类的getChannel方法中获取信道,从中取出Event处理即可。
Channel ch = getChannel();
Transaction txn = ch.getTransaction();
txn.begin();
try {
logger .debug("Get event." );
Event event = ch.take();
txn.commit();
status = Status. READY ;
return status;
}finally {
Log. info( "trx close.");
txn.close();
}
所有代码开源上传至 GitHub:yummy-code 仓库 · GESP 专题站:GESP WIKI
欢迎加入:C++ GESP/CSP 考级答疑群(688906745) 与 Java/Python交流群(982860385),点击可直接加群。
猜你想读 · 相关文章推荐
HBase利用bulk load批量导入数据
<a href="http://onecoder"OneCoder</a只是一个初学者,记录的只是自己的一个过程。不足之处还望指导。 看网上说导入大量数据,用bulk load的方式效率比较高。bulk load可以将固定格式的数据文件转换为HFile文件导入,当然也可以直接导入HFile文件。所以<a href="h...
海量数据测试,利用数据库查询拷贝快速构造测试数据
这也是<a href="http://www.coderli.com"OneCoder</a在数据测试过程中遇到的问题,不一定有多少普试性,但是也许可以解决你的问题。 海量数据测试,数据导入一般是非常耗时的过程。<a href="http://www.coderli.com"OneCoder</a这里面对大约2T左右数...
HBase 利用Coprocessor实现聚合函数
<p HBase默认不支持聚合函数(sum,avg等)。可利用HBase的coprocessor特性实现。这样做的好处是利用regionserver在服务端进行运算。效率高,避免客户端取回大量数据,占用网络带宽,消耗大量内存等。</p <p 实现方式:</p <p 利用HBase提供的endPoint类型的Aggreg...
OneCoder (lihongzheshuai)
一个中年人的自留地,记录学习 C++、GESP/NOI、Java、Python 与算法架构的心得体会。本站唯一网址:coderli.com