大数据平台是什么？
大数据处理的基础平台
数仓建设和数据管理的平台
贴合业务、面向应用的数据分析和使用的工具
面临的问题？
如何管理一个大的单体集群，如何接入数据
数据接入之后如何存储和查询数据，如何管理数据
怎样保障数据安全、如何将数据展示给客户。
大数据平台的能力
数据存储&构建数仓
大数据平台所面临的数据种类多种多样，包括结构化和非结构化数据
对不同类型的数据提供对应的存储模型和查询方式
快速计算
- 离线批处理
- 实时流计算
- 机器学习预测分析
数据接入
-
数据具有来源多、类型杂、数据量大等特点
-
大数据平台需要能够对接各种来源和各种类型的海量数据
保障数据安全
-
不仅需要考虑平台本身的安全，更重要的是数据的安全问题
-
对数据进行隔离和访问授权、对用户进行访问控制
数据管理&数据治理
- 随处可见的数据不统一
- 难以完成的数据质量
- 难以完成的数据模型梳理
数据查询&可视化
优秀快速的数据查询引擎可以帮助我们的数据平台接纳更多的用户
数据的核心价值在于通过对历史数据的分析，展现出数据的趋势
集群的监控和管理
面对很多服务器以及部署的很多大数据组件和服务
对集群进行完善的管理和监控可以提高数据平台的稳定性
为什么需要大数据平台
量变引起质变
数据量越来越大、维度越来越多
海量数据下，交互难度和技术难道越来越大
用户专业程度逐步提升，老的方案无法满足需求
为了解决哪些问题？
- 企业对数据、效率的要求提高，从而开展大数据平台建设
- 大数据平台建设即为构建企业的数据资产运营中心
- 大数据平台的目标是发挥数据的价值，支持企业的发展
为什么要有大数据？
3个解决和2个提升
-
解决“坐井观天”问题
-
解决“一叶障目”问题
-
解决“瞎子摸象”问题
-
提升“一叶知秋”的能力
-
提升“运筹帷幄，决胜千里”的能力
大数据平台设计
稳定性：大数据平台支持量级较大的数据处理和程序计算
可扩展性：随着数据和业务的增加，可扩展是必修课
安全性：保障数据安全是大数据平台不可忽视的问题
Step1 工具化：以业务维度对常用操作工具化，避免重复劳动
Step2 平台化：将多种组件和工具集合起来，做成统一平台
Step3 产品化：在平台的基础上提高易用性，达到产品级输出
大数据技术栈
各大名企技术栈
- 美团
- 七牛云
- 知乎
- 滴滴
