【华为云技术分享】上亿条数据，如何查询分析简单又高效？

发表自话题：个人风控查询免费

正值618大促，小张遇到了一个棘手的问题，需要在一周内将公司近1年电商部门的营收和线下门店经营数据进行联合分析。

这将产生哪些数据难题呢？

他在第一时间联系了集团CTO，希望将各部门数据在一天内导出给他。

这时候，CTO犯难了：

公司现有的资源池可自如应对TB级数据量，而小张要的数据量粗略估计达到了PB级，大大超出了公司现有资源池承受范围，只能以时间为代价导出；而为了不常见场景扩大公司资源池，整体的成本太高。

面对小张遇到的棘手问题，云湖湖推荐了一款华为云大数据查询分析神器——数据湖探索(DLI)服务；一个DLI即可撬动EB级数据量联合查询，每CU仅需0.35元/小时（1CU=1Core4G Mem），1CU包月仅需150元。

数据湖探索(DLI)服务 2.0是完全兼容Apache Spark和Apache Flink生态的Serverless大数据计算分析服务，用户仅需使用标准SQL或程序即可查询分析各类异构数据源。

DLI是如何解决小张问题的呢？

DLI服务架构——Serverless

DLI是无服务器化的大数据查询分析服务它的优势在于:

DLI Serverless架构就可轻松解决小张成本、资源不足和临时性业务需求的问题。

1、DLI核心引擎——Spark+Flink

Spark是用于大规模数据处理的统一分析引擎，聚焦于查询计算分析。DLI在开源Spark基础上进行了大量的性能优化与服务化改造，不仅兼容Apache Spark生态和接口，性能较开源提升了2.5倍，在小时级即可实现EB级数据查询分析。

同时，DLI也提供用于实时处理的Flink引擎。

2、DLI王牌功能——跨源分析

DLI支持云上多种云服务、自建数据库以及线下数据库，可直接实现多数据源跨库分析，构建企业的统一视图。

小张将线下数仓A与数仓B同时接入DLI，就可直接在DLI上进行联合查询。避免了两仓数据迁移再重新建仓进行联合查询的过程，轻松搞定跨库查询。

数据湖探索(DLI)服务的其他优势

数据湖探索(DLI)服务的应用场景

数据库分析+DLI 2.0 ：一键建仓 保留数据库的易用体验

痛点：

解决方案：

仅使用标准SQL即可完成大数据查询分析

精准营销+DLI 2.0：电商智能推荐 跨库跨源海量数据秒级查询

痛点：

解决方案：

DLI跨源能力，轻松打破数据孤岛。现已支持10类数据源和线下自建数据。

日志分析+DLI 2.0：公司必备场景 按量计费成本更低

痛点：

解决方案：

DLI按量计费，单CU每小时仅需0.35元。

实时风控+DLI 2.0：金融、运维等实时场景 减少风险事件发生

痛点：

数据刷新不及时，风险事件频繁发生

需要深入了解Flink后台架构进行实时数据分析

解决方案：

风控系统对实时性要求很高，DLI采用高性能计算资源，单CPU每秒吞吐1千~2万条消息。

Serverless大数据服务是一种面向未来的形态。随着逐个攻破当前存在的问题，它在大数据分析所占的比重一定会逐年增加。真正把大数据分析变成跟水和电一样随取随用，每个企业都能用得起的工具。华为云数据湖探索(DLI)服务能够助力企业轻松完成异构数据源的批处理、流处理等，挖掘和探索数据价值。

了解更多内容，可登入华为云数据湖探索(DLI)服务官

点击这里→了解更多精彩内容

相关推荐

华为云“智能数据湖”解决之道

华为云多元计算+AI 打造企业级智能数据湖

玩转云上数据湖，解析Serverless 技术落地

数据湖&数据库，别再傻傻分不清了

标签组：[大数据] [华为] [云计算] [数据库] 

上一篇：车险定损管理系统

下一篇：HBase Rowkey设计指南、rowkey设计案例剖析、什么是热点问题 15