云计算与大数据的发展

发表自话题：2020无视征信大数据秒下5万

大数据平台融合云计算

摘自 恒生电子副总 张良友

云计算与大数据的发展路线必将交接、碰撞，而这已经成为现实。为什么大家开始对大数据讳莫如深呢？大数据给人留下的印象：花钱多，灵活度低，令人头疼的运营管理等等。好在近年来，Modern Data Warehouse这个概念火了起来，利用云计算的壳解释了现代大数据存在的合理性。而随着企业日新月异的数据需求和技术的进步，更新的架构层出不穷。

以DaaS为例，其既是Function-as-a-Service (FaaS)的一种，也是SaaS的自然延伸，最终目的都是尽可能远离IaaS以及服务本身的运维，把资源最大限度地解放出来进行业务功能的开发，是目前大数据领域最接近这种serverless概念的产品，也许它会成为云时代最好的大数据平台。

大数据庞大生态体系

整个大数据技术家族十分庞大，从数据生产、数据交换、数据存储、数据工程、数据科学计算、数据应用到数据消费整个工程体系中涉及到30多个技术组件。笔者将会重点介绍其中关键的几个：

Sqoop：Sqoop是一款开源的工具，主要用于在Hadoop、Hive与传统的数据库(MySql)间进行数据的传递，可以将一个关系型数据库（例如：MySQL，Oracle等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

Flume：Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

Kafka：Kafka是一种高吞吐量的分布式发布订阅消息系统。

Spark：Spark是当前最流行的开源大数据内存计算框架。可以基于Hadoop上存储的大数据进行计算。

Hbase：HBase是一个分布式的、面向列的开源数据库。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。

Hive：Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

ZooKeeper：Zookeeper是Google的Chubby一个开源的实现。它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。

Apache Flink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架

Yarn(分布式资源管理器），YARN是下一代MapReduce，即MRv2，是在第一代MapReduce基础上演变而来的，主要是为了解决原始Hadoop扩展性较差，不支持多计算框架而提出的。

Yarn是下一代Hadoop计算平台，Yarn是一个通用的运行时框架，用户可以编写自己的计算框架，在该运行环境中运行。

图6：大数据技术生态

另外除了上述强大的开源家族支撑以外，还有众多商业文化的公司和组织也在提供技术、产品和服务，围绕整个大数据的生态体系当中。比如有老牌的Oracle、IBM、HP、Teradata，也有兴欣的Cloudera、星环、阿里、华为、snowflake等。可谓是众星捧月，琳琅满目。

总之，大数据技术的兴起正完成对各传统领域的颠覆。全球范围内，运用大数据推动经济发展、完善社会治理、提升政府服务和监管能力正成为趋势。各国已相继制定实施大数据战略性文件，大力推动大数据发展和应用。从全球大数据发展的趋势来看，大数据产业推动社会生产要素的网络化共享、集约化整合、协作开发和高效利用，改变了传统的生产方式和经济运行机制，可显著提升经济运行水平和效率。

中国是数据生产大国。目前，中国互联网、移动互联网用户规模居全球第一，拥有丰富的数据资源和应用市场优势。笔者认为，如果能在大数据管理和分析技术的研发与应用方面取得突破，可持续推动创新企业和创新应用的高速成长。

作者简介：恒生电子研发中心副总经理，大数据团队负责人。中国社科院硕士，北京大学计算机学士。有十多年金融和互联网行业经验。在大数据、人工智能方面有丰富的实践经验。曾就职于易宝支付、中国惠普、旷视科技等企业。

标签组：[大数据] [云计算] [hadoop] [flume] [yarn] 

上一篇：宝岛眼镜引入“医疗级验光黑科技”，90秒输出2000个眼科大数据！

下一篇：浙江各行业精准客源专为中小销售团队量身定制,大数据营销获客有哪些优势?