引言
在数智化浪潮席卷各行各业的当下,,数据已成为企业的核心生产要素,,,如何挖掘、、释放企业数据价值,,,,让企业数据从 “沉睡的资源” 真正成为 “增长的动力”。。 「洞见数据」专题将持续聚焦企业的数据需求,,,为您介绍数据价值释放的技术、、、、能力、、、、场景、、、价值等。。。
领玩BIP企业级数据开发与应用全场景方案,,,,聚焦企业的数据能力和需求,,提供了不同形式的数据服务方案,,帮助企业连接、、、处理数据,,,,最终以看板和报表的方式实现丰富多样的数据可视化效果,,或者以DataAgent(数据智能体)的自然语言交互方式进行智能问数。。。
方案1:基于业务数据,,,开发看板和报表
方案2:基于数仓的关系建模方式进行自助分析
方案3:基于数仓的维度建模方式进行商业分析
本文我们聚焦第二种方案——基于数仓的关系建模方式进行自助分析。。。。针对数据量不大的情况,,,,企业可通过“关系建模+自助ETL+智能分析”的组合能力,,,解决数据采集、、、建模、、、、加工整理,,,,以及分析展示的需求。。。
1
企业需求:基于数仓的批量化
数据处理、、、自助分析
快速发展、、、、成长的中大型企业,,对数据价值挖掘的需求已不仅仅是建立从业务系统到数据看板的简单衔接,,,面对日益增长的业务数据量,,需要基于数仓进行批量化、、规范化的数据采集、、、开发、、、建模,,在数据标准化的基础上实现多样化的数据分析、、、展现。。。。
在数据处理层面,,,,面对多来源数据,,需要打通连接丰富的数据源,,,将分散在各系统的数据高效、、准确地汇聚至数仓,,,,基于数据仓库技术进行数据整理和标准化;由于数据量不大,,建议数据仓库后,,,可通过自助式ETL进行数据的建模与加工处理,,支撑后续的数据分析、、、决策与业务应用。。。
在数据展现层面,,经过数据建模、、加工后,,企业需要基于BI工具进行数据分析展现,,,,形成各类丰富形式的分析图表、、、、大屏展现。。。面对多样化的数据分析需求,,,往往需要将报表、、、、BI工具产品实现平民化、、、自助化,,,,能够支持业务人员可以进行自助的数据分析、、、数据探索,,形成简单高效的人人看板场景能力。。
2
产品匹配:
数据开发平台+智能分析
针对大中型企业的这一需求,,,,领玩BIP提供了“基于数仓的关系建模方式进行自助分析”这一解决方案,,,其核心产品组合是依靠数据开发平台的数据采集、、关系建模、、、自助ETL,,以及智能分析平台的数据分析产品。。。
领玩BIP开发平台为企业提供了全链路数据开发服务,,包括:多源异构数据采集(如数据库、、、、日志、、、API等)、、、数据仓库分层规范化建模方式,,可视化ETL流程配置实现数据清洗、、、转换与加载,,同时提供SQL/Python双模式开发环境。。。通过标准化数据管道降低开发复杂度,,提升数据交付效率,,降低维护成本。。
数据开发平台首先通过数据数据同步,,,建立 “业务数据源” 与 “数仓分析层” 的连接纽带,,进而通过创建关系模型,,实现数据开发的基础模型设计和物化;自助ETL则为企业提供画布式开发界面,,,,可拖拽的方式,,可视化地实现数据清洗、、加工和转换,,更加高效便捷。。。
经过采集、、清洗和加工后的数据流转到智能分析平台。。。。智能分析是基于全新微服务架构的新一代分析平台,,,它基于数据湖技术,,,为企业提供了数据分析和展现能力,,同时能够便捷的被业务应用集成,,,实现数据驱动的业务改进,,,实现场景化、、、嵌入式、、、、沉浸式的全新体验。。。。
3
五个步骤,,,,建立从数据采集、、
开发到分析的完整能力
借助数据开发和智能分析平台,,,,企业通过以下五个步骤建立从数据采集、、、开发到分析展现的完整能力。。。
步骤1:数据采集——实现数据从源头到目标数据库的同步
数据采集主要实现数据从源头到目标数据库的同步,,包含同步任务、、、、错误中心、、数据对比三个关键能力。。。
• 海量数据批量同步:数据移动提供高并发、、、高吞吐量的数据同步能力,,让企业轻松处理海量数据,,,,加速企业各类业务的数据流转;
• 数据库类型多:支持20余种结构化、、、非结构化数据库的异构同步,,,,覆盖国产类数据库,,,,如达梦等,,,,从而打破数据孤岛,,,盘活企业数据资源;
• 业务数据实时同步:支持实时读取、、、、清洗转换和写入的全量、、增量数据处理能力,,,提高数据时效性,,,满足企业快速决策。。
步骤2:关系建模——实现数据开发的基础模型设计和物化
关系模型可实现逻辑模型的管理、、逻辑模型的物化,,,,并支持引用标准创建模型,,,使模型更加规范,,,是数据治理、、数据标准建设的重要应用场景之一,,,,为后续建设跨物理引擎、、、、标准化的数据模型,,,,打破数据交换瓶颈,,,,提高数据开发效率提供基础保障。。。
• 贯通业务与治理:支持多种字段来源方式,,包括业务对象、、、、定版数据标准、、表字段元数据、、、关系模型;
• 支持维度建模:支持将关系模型进行数据预处理并注册为维度表或事实表,,充当维度又充当事实表进行统计,,有效减少数据量;
• 支持物理模型管理:可增删改物理表,,,支持配置索引,,,提升查询效率;
• 模型即任务:支持取数规则和删除规则,,,可进行多表连接后并行写入目标表,,,,支持主子表物理删除,,可按生成规则定义的或自定义的自助ETL任务。。
步骤3:自助ETL——可视化地实现数据清洗、、、加工和转换
企业在数智化转型过程中,,关键要有干净的数据,,,,需要进行数据的清洗和转换,,,,领玩BIP自助 ETL 作为数据开发、、数据加工的可视化数据处理工具,,提供 20 多种异构数据源的连接、、、抽取、、、加工、、清洗转换、、、、加载的能力。。
企业可通过画布式拖拉拽即可完成数据装载、、、清洗转换过程,,大大降低数据开发任务的工作量,,,各组件还可配置与智能分析产品组合,,,帮忙企业快速完成数据处理。。
步骤4:语义模型——实现 “技术数据业务化”
基于语义模型,,智能分析平台能够将技术层面的数据库表、、字段转化为业务人员可理解的模型,,,实现 “技术数据业务化”,,, 便于用户进行各类数据可视化展现、、业务报表的统计分析等,,,,目前平台已累计预置语义模型1100多个,,,,大幅降低企业建模门槛。。
步骤5:数据分析——可视化与报表设计,,,,满足多元需求
领玩BIP智能分析平台提供可视化拖拽式的配置界面,,,让用户便捷设置报表的样式、、、、交互和布局,,,快速生成专业且炫酷的数据看板;同时,,支持实时查询、、动态报表生成及即时分析,,,适用于业务分析、、、、自助分析及嵌入式分析等场景。。。
上文我们已经介绍了仪表板、、、数字大屏、、、自由报表、、、移动分析、、、智能报告等多种形式的数据分析方案。。除此以外,,为了降低分析产品的学习与使用门槛,,,让人人都可拥有和配置自己的看板,,,,领玩BIP还面向非技术人员提供了自助分析平台,,让各个岗位的业务人员通过简单、、高效的交互,,,,搭建符合自己需求的的数据分析场景。。。。
领玩BIP“基于数仓的关系建模方式进行自助分析”这一解决方案为大中型企业建立了从数据采集、、、开发到分析展现的完整能力,,,,其核心是基于关系建模建立“企业级数据整合的骨架”,,,,基于一致性、、、、规范性的数据支撑灵活的数据分析需求。。。
伴随企业的不断发展,,,业务数据量的扩展,,关系建模作为企业数据仓库的底层基础模型,,,未来可在此基础上进行维度建模,,满足大数据量下多维度的复杂数据查询分析需求。。
关于维度建模的方式,,,我们将在后续的内容中进行介绍,,,,请持续关注「洞见数据」专题。。
洞见数据
电子书下载