企业大数据湖总体规划及大数据湖一体化运营管理建设方案大数据湖一体化运营管理建设方案企业大数据湖总体规划及大数据湖一体化运营管理建设方案2目录背景：大数据湖的发展背景与建设理念1生态圈：探索新兴业务入湖建设模式3共享：大数据湖统一访问共享规划4运营：大数据湖一体化运营管理建设5体系：大数据湖体系规划与建设思路2企业大数据湖总体规划及大数据湖一体化运营管理建设方案3数据架构与承载体系的演变过程完整性、一致性、交互稳定性，并发性，异常可恢复性数据库时代关系型数据库解决了信息时代的数据资源存储和管理，实现了电子化的文件柜采用数据模型表示数据结构，冗余小面向事务管理，具有ACID特性数据统一管理和控制，易维护和扩充程序与数据独立，具有良好用户接口1数据仓库时代DW研究和解决了从数据库中获取信息的问题，通过OLAP、数据挖掘等帮助企业决策分析，构建商业智能（BI）面向主题的，关注用户重点业务集成的，跨越历史、区域、系统…稳定的，具有只读性质，以查询为主以时间序列存储，非规范化管理2大数据平台时代面对大数据5V特点，采用分布式、并行化的存储和计算架构，提升数据处理能力对象：PB级，80%以上非结构化数据技术：分布式架构、云计算、虚拟化等CAP原理：CAPBASE目标：线性扩展、弹性计算、实时响应、动态调节31970’s1990’sBillInmon提出DW概念E.F.Codd发明DBMS2000’sGoogle发布三篇论文存储经济性、高性能、高扩展、高并发、灵活模型适配性企业级跨域整合、业务扩展性、架构设计合理性、流程规范性企业大数据湖总体规划及大数据湖一体化运营管理建设方案4背景：数据快速入湖，分析更加智能，应用更加多样，服务更加开放更多企业数据将进入数据湖，来自传统系统的数据和传感器等新型数据资源不断融合，数据孤岛将继续被打破。随着大数据分析能力的不断提高，人工智能的重要性被逐步提升。当今最先进的机器学习和人工智能系统正在超越传统的基于规则的算法，创建出能够理解、学习、预测、适应，甚至可以自主操作的系统。数据服务数据应用数据分析数据治理数据平台•以更加深度的数据开放，跨行业大数据关联。•以更多样的应用能力，构建针对性行业解决方案。•数据平台存储方式向数据湖模式转变，多数据汇聚。•支持结构化，半结构化和非结构化数据多数据入湖•。•入湖即治理，针对性对数据源系统输入数据制定入湖标准•数据驱动治理规范，以数据为核心实时制定治理规范...