大发welcome

在主题为“科技赋能—金融业数字化转型与生长”的中国金融科技论坛上，，
，，大发welcome信息上地大数据研究院数据科学家卜仁海做了题为《关于湖仓一体数据平台的思索》的演讲。。
。

以下为演讲实录：

首先，，
，，我们来看一下数据平台的生长历程。。
。

约莫20多年前，，
，，信息化水平较高的行业的头部企业，，
，，最先建设数据客栈。。
。其时的数据主要是企业内部系统的结构化数据，，
，，数据应用主要是BI剖析及报表。。
。随着营业需求及数据形态的转变，，
，，最先建设数据湖。。
。缘故原由是加入剖析的非结构化数据逐渐增多，，
，，数据应用也有了新的扩展，，
，，实时盘算、人工智能、机械学习等场景逐渐增多。。
。

最近几年，，
，，最先盛行起了湖仓一体的数据平台看法。。
。

需要说明的是，，
，，这张图来自外洋，，
，，图里没有泛起数据客栈，，
，，这并不是说数据客栈消逝了。。
。当我们说数据客栈、数据湖的时间，，
，，着实有两种说法，，
，，一种说法是指硬件平台，，
，，一种说法是指数据的组织结构。。
。这张图里说的是硬件平台，，
，，指的是用一个硬件平台来实现湖和仓的建设，，
，，也被以为是真正的湖仓一体。。
。

海内在妄想建设湖仓一体的时间，，
，，在方法上会相对无邪些。。
。

海内建设湖仓一体的方法

接下来，，
，，我们来看一下海内建设湖仓一体的几种方法。。
。方法一和方法二我们可以以为是逻辑上的一体，，
，，方法三是平台级的一体。。
。

方法一接纳融合的方法，，
，，数仓平台和数据湖平台间保存现实上的数据复制，，
，，若是数据的治理、调理等自动化水平较低，，
，，流程不完善，，
，，则不但仅是数据冗余的问题，，
，，还涉及到应用效率等方面的问题

方法二接纳编织的方法，，
，，数仓平台和数据湖平台间可以不必数据复制，，
，，营业职员的会见接口是Fabric组件，，
，，由此组件剖析优化会见语句，，
，，盘算处可以是仓、湖以及Fabric组件，，
，，详细要看Fabric组件的优化战略和能力。。
。需要说明的是，，
，，Fabric的会见语句通常不会完全笼罩仓、湖数据库的所有语句。。
。

方法三是真正物理平台上的一体，，
，，或者说其上的各个数据库可以直接会见相互的文件系统和存储结构，，
，，这也是最理想的情形。。
。

湖仓一体数据平台的优势

为什么说湖仓一体或许率是数据平台的趋势呢，，
，，它有什么利益呢？？？？

首先，，
，，它可以容纳多模态的数据，，
，，好比音频、视频、图片、文档等。。
。其次，，
，，富厚的盘算引擎，，
，，简朴的说，，
，，就是无论什么样的数据，，
，，都可以相对容易的找到其对应的盘算引擎并安排。。
。并且是存算疏散的，，
，，也就是说，，
，，存储部件和盘算部件是疏散的，，
，，可以各自弹性扩展。。
。流批盘算一体。。
。支持人工智能、机械学习。。
。

数据平台履历了分的历程，，
，，目的是为了知足差别数据的差别盘算需求，，
，，现现在正逐渐走向合的阶段，，
，，目的是为了易管易用、简朴高效。。
。手艺总是在一直前进的，，
，，湖仓一体尚在逐步生长阶段。。
。通过我们对差别湖仓产品平台的相识，，
，，以及对未来湖仓一体的期待，，
，，这里简朴提出一点想法，，
，，请各人品评指正。。
。

对未来湖仓一体的期待

好比，，
，，我们是否可以将存算疏散分地再彻底一些？？？？

企业的数据是越来越多的，，
，，盘算基于数据，，
，，同样也不会是局限的。。
。拿数据库来说，，
，，关系型数据库、图数据库、KV数据库、时序数据库、向量数据库等等。。
。另外，，
，，大模子又为我们提供了一个新的数据盘算场景。。
。也就是从逻辑上看，，
，，数据的存储和数据的盘算，，
，，自然的是可以疏散的。。
。只是由于一些非手艺壁垒及其它缘故原由，，
，，导致差别数据库间难以实现直接的数据会见。。
。

这里我们只从存手艺角度，，
，，思量将企业对数据的存和算建设成两个疏散的中心，，
，，也就是湖仓一体的两个主要组件。。
。

存储中心需要思量的是怎样建设一个高效的存储架构和网络架构，，
，，怎样实现一个高效的数据会识趣制和接口，，
，，它应该有自己的文件系统、寻址机制、缓存机制等等。。
。

盘算中心需要思量的是怎样设计一个高效无邪的资源治理和调理战略，，
，，怎样无邪设置接入其它盘算引擎组件，，
，，怎样实现一个高效的缓存机制镌汰与存储中心的数据吞吐等等。。
。关于像大模子这类盘算应用，，
，，我们虽然也希望湖仓一体有这个能力承接。。
。

虽然，，
，，这些仅是对湖仓一体未来能力的畅想，，
，，未必就是各家企业的场景应用需求。。
。各企业基于自身数据基础、目今数据应用的痛点和需求以及未来数据架构结构及妄想，，
，，对湖仓一体的期待各有差别。。
。

湖仓一体系统架构

我们先从湖仓一体系统架构的角度简朴看下系统建设内容。。
。

这里的系统架构是从功效层面叙述框架内容的。。
。系统架构的意义不但可以用来界说各框架的规范、界线、接口、制度、流程等内容，，
，，还可以用来评估目今数据系统建设及运营情形，，
，，指引接下来的建设内容等。。
。

此图仅作参考，，
，，各企业可按自身现真相形做响应改动，，
，，但需要注重的是不要把产品平台当成框架自己。。
。好比大发welcome信息的数据开发平台“六合上甲”，，
，，平台自己包括了需求治理、数据建模、数据开发、收罗交流、数据效劳、数据治理等内容，，
，，它跨接了系统框架的多个组成部分，，
，，需要通过规范接口对接各框架组件，，
，，“六合上甲”产品自己不是系统框架。。
。图中的探索、标签、指标着实是数据产品治理框架的现实组成产品，，
，，这里用产品平台来说明其为框架与产品的区别。。
。

湖仓一体数据架构

接下来再看一下湖仓一体的数据架构情形

这里是接纳方法三物理一体的实现方法设计的简朴数据架构，，
，，仅供参考。。
。关于数据量、营业量、重漂后不高的企业而言，，
，，数据客栈可以基于应用建设，，
，，即数仓只要知足企业级报表和部分数据剖析的需求即可，，
，，需求相对牢靠且稳固。。
。关于营业部分迅速无邪的剖析应用而言，，
，，其数据源可以来自标准化数据区。。
。

标准化数据区关于那些对数据流向管控严酷，，
，，要求通常数据需求可由数仓提供的，，
，，不允许从湖区直接取数的企业而言，，
，，可以不建设。。
。但同时会对数仓的建设及其数据产品运维推广事情要求较高。。
。

数据架构中界说的数据区不是简朴的数据容器，，
，，它同时也界说了规范、界线、制度、流程、接口等等，，
，，数据产品的开发运维及响应的资源设置是其运营的要害。。
。部分企业在数据运营中的痛点多几几何与此相关，，
，，这不是有了湖仓一体就能解决的问题，，
，，但却可以通过湖仓一体建设为契机，，
，，通过咨询及效劳的方法，，
，，资助企业及其各部分建设相配套的数据团队，，
，，来实现企业的数字化转型。。
。