image
VincentWei

天地间,浩然正气长存,为天地立心,为生民立命,为往圣继绝学,为万世开太平!

开篇随口说说

15年毕业伊始到16年,大数据还是如火如荼,Hadoop生态圈百花齐放,基于HDFS的分布式文件系统之上,以批处理见长的MapReduce和兼顾流处理(微批处理)和批处理的内存计算Spark等引擎引擎为支撑,构建大数据应用成常态。在采集端,flume,logstash,Fluentd主要对日志数据进行监控采集,衍生出ELK的各种架构形态,还有传统的kettle,DI工具,虽说效率极差,但是基于作业项和转换项的可插拔式设计,在关系型数据库中曾经占领一席之地,sqoop1/2全量或增量HIVE,HDFS和No...

Continue Reading »
分享到: