随着数字智能浸透到各行各业, 数据 需求、数据用户数量、数据起源同时迸发式增长。 这给企业的数据工程效率、老本以及数据的有序控制带来了渺小的应战。 周伟林将传统的ETL工程革新为痛点,总结为“ETL差距”。 如何超过鸿沟,成功数据消费劲百倍优化? 数据控制迫切须要新思想、新 架构 、新技术。 它开创了一种新的数据工程范例,经过智能化形式消弭手动 ETL。 这就是“NoETL”概念。
NoETL的外围是转变数据消费的驱能源。 传统ETL由ETL工程师驱动,而NoETL由ETL代理()驱动,相当于为每个企业提供了一批24/7继续在线的ETL专家,成功ETL义务的“智能驾驶”。NoETL与近年来继续遭到更多关注的架构理念高度分歧。 旨在经过数据控制流程的高度智能化,缩小或消弭传统的基于人工的ETL操作,成功更高效的数据 交付 、经常使用和控制,重构数据消费劲。 数据工程架构重要有四大特点:
1.:走管道,无需关心数据位置;
2.:免运维,无需担忧义务运维;
3.:自我优化,无需担忧查问功能;
4.:变主动为主动,成功数据控制“智能驾驶”。
附丽NoETL数据工程架构思想,成功了数据虚构化 引擎 、数据语义引擎和主动元数据引擎三大外围技术打破,带来了新的数据集成处置打算、新的数据交互接口和新的数据控制形式。,这三大技术才干构成了产品体系的基石。
肖宇红引见了国际第一个逻辑数据平台。 经过数据虚构化引擎、AI增强战略引擎、主动元数据引擎,成功多源异构数据的逻辑整合与融合、自顺应数据减速、智能化数据链路编排、集中数据控制与控制等,协助企业轻松打破数据孤岛,数据交付效率优化10倍,存储和计算老本节俭50%以上。 矫捷数据预备打算已在 招商 银行实施并验证,成功了世界数据的一致接入和控制,显着优化业务效率和数据控制灵敏性,同时显着降落存储和计算老本以及ETL团队的累赘。
周全引见了世界首个成功操作者级血缘剖析的主动元数据平台。 借助精准片面的谱系剖析才干和主动元数据控制才干,完美处置企业数据控制中“明晰可见”和“无法控”的难题,让数据控制流程愈加智能化,轻松应答EB级数据 大数据控制需求。 基于语义剖析技术,成功了算子级的SQL脚本智能剖析和算子级谱系图构建,成功了全局字段计算语义的准确描写。 基于对元数据的深化剖析和开掘,为用户提供高置信度的倡导或设计。 经多家大型银行验证,协助客户极速定位链路意外,百倍完善模型控制,成功高效牢靠的全链路数据品质保证。
除了数据的整合和整合,企业在实践数据经常使用中经常面临目的控制的困境:目的口径凌乱、交付效率慢、重复开发老本高、维度不灵敏、解读艰巨等。针对上述疑问首席业务架构师杜雪芳引见了以运行理念设计的智能化目的平台。 该产品驳回独立的目的语义层,一次性定义目的,多处经常使用,真正成功了目的的“定义即消费”和“管用一体化”。 以证券行业客户为例,完美处置了业务目的口径不分歧的疑问。 目的开发周期从几周缩短到几分钟。 同时积攒了一致的数据资产,构成了一致的自上而下的数值言语。
作为NoETL架构的详细成功,这三款产品独特构成了“智能驾驶”数据工程和控制的处置打算。 周伟林强调,作为一家有着“NoETL重塑数据消费劲”决计的公司,其初衷和使命就是让数据随需应变。
作为中国数字化转型的上游企业之一,招商银行以为,经过数据洞察提高控制和营销的精准度,让经营和服务愈加精细化和共性化,是介入下一阶段数字银行竞争的外围能源。 经过多年探求,招商银行数字技术与业务场景的融合已逐渐进入深水区。 业务需求的灵敏性给数据模型带来了空间和期间复杂度的新应战,重要表如今报表查问和自助剖析的照应上。 速度、中心与分支机构之间的数据传递效率、数据同步和共享时的语义分歧性疑问等。张军军引见了招商银行商业智能团队如何独特应答上述应战,独特探求适用的矫捷数据处置打算。 该处置打算应用自助数据探求/预备工具和海量数据自顺应减速引擎,成功数据需求交付形式的翻新,为海量数据剖析提供新思绪。 同时,面向业务的“数据集/目的”允许跨BI工具、跨总部和分支机构、跨业务线的复用,有效促成企业级业务逻辑的积淀和经常使用分歧性。
张军军示意,招商银行实施了矫捷数据服务体系,该体系基于数据虚构化引擎,衔接多源异构数据源。 在此基础上提供数据预备、剖析和报告制造的工具; 它是面向用户的。 提供一致的数据语义服务,不只可以极速传递数据,还可以成功语义共享。 面向未来,招商银行将继续携手探求数据剖析智能化门路,推进业务从自助数据经常使用向智能数据经常使用更新。
本次大会充沛展现的NoETL驱动的数据工程架构附丽公司团队20年的大数据技术通常积攒,并已在国际率先经过三款产品的商业化成功最佳通常。 被列为2022年十大战略趋向技术之首,被国际公以为处置超大规模数据控制疑问、充沛监禁数据价值的趋向处置打算。 但因为这一技术体系在国际市场尚未构成明晰的意识,实施门路还不够明晰。 产品和业务成绩代表了国际整个细分畛域最先进的停顿,也为未来五年中国企业数智化树立的开展提供了通常阅历和树立目的。
企业数字化、智能化经营浪潮带来了愈加严格的数据控制当战。 面对愈加复杂的行业场景,作为面向未来的数据架构理念的引领者,咱们将仰仗先进的架构思想和技术长处,减速监禁企业数据后劲。 给整个行业的数据控制带来深入的改革。
对于
(大盈科技)是一家智能化数据控制软件提供商,国际架构理念的指导者。 以“让数据随时预备好”为使命,努力于消弭数据控制技术瓶颈,优化ETL工程智能化水平,协助企业顺利更新。 一代大数据基础设备。
自主研发的逻辑数据平台,允许异构数据的逻辑整合、集成和查问。 经过自顺应物化减速和智能回收技术,可成功秒级查问照应,节俭50%以上存储和计算老本; 主动元数据平台基于世界首创的经营商级血缘剖析技术,让复杂的数据链路明晰可见、可控制、可控制,成功愈加精细化、智能化的数据控制; 智能化目的平台扭转了“业务需求IT开发”的传统形式,允许业务人员从恣意粒度、恣意维度灵敏剖析目的生存网信息,成功目的“定义即开发,定义即服务”。