为什么每个组织都需要数据转换SaaS平台

近30年来，数据转换一直是组织提供分析就绪数据的重要组成部分.  多年来的数据转换过程主要集中在ETL中的“T”(提取、转换和加载).  在ETL管道中, 数据转换主要关注于清理数据并将其从源模式映射到目标模式.  随着组织的目标模式(星型和雪花型模式)越来越成熟，, 这些映射过程变得更加复杂.

从2010年代到今天，数据转换的作用已经扩大.  新的数据源和格式出现了, 数据湖等新平台被部署来支持这一点.  数据转换在帮助交付价值方面的作用变得越来越重要.  新, 复杂的数据格式需要规范化, 洁净, 与传统数据源(通常是现有的数据仓库)集成, 然后浓缩.

最后, 在2010年代后半期，数据准备成为分析师自助数据转换不可或缺的组成部分.  这个允许的个体, 更少的技术分析师可以对数据执行各种各样的转换，而无需依赖并等待IT和数据团队为他们创建数据转换管道.

近年来, 新的趋势已经出现，改变了人们思考和执行数据转换的方式, 包括:

• 云数据仓库——许多组织在云中部署新的或迁移现有的数据仓库，以利用经济优势, 灵活性, 现代建筑.  云数据仓库还提供了一个独特的平台来执行基于sql的数据转换.
• 英语教学(提取, 负载, 数据管道的处理模型已经从以前的ETL变成了ELT.  在ELT模型中, 数据转换步骤是最后一步(在加载源数据之后)，在云数据仓库中直接通过SQL脚本或更高级的工具执行.
• 多角色分析工程——数据工程是数据团队向业务交付数据的一项由内到外的任务, 一种新的分析工程过程已经出现.  分析工程涉及数据和分析团队之间的协作, 使用英语教学方法, 并在这些不同的角色之间分担工作量，使流程更高效.
• 云/SaaS——您的大部分数据驻留在云数据仓库中, 组织需要类似的基于saas的数据转换服务，以获得相同的经济效益, 灵活性, 并融入他们的现代建筑.

使用数据转换SaaS解决方案, 客户可以订阅并几乎立即获得对托管服务的访问, 使用数据转换工具创建模型, 管理和部署数据转换模型, 并运行这些管道，以确保有效的数据转换流程.

作为托管服务, 客户不需要自带或操作任何云计算或存储服务.  当SaaS平台专注于促进ELT流程中的转换时, 客户只需将系统指向他们现有的云数据仓库, 哪个提供数据存储和计算能力.

数据转换SaaS解决方案提供的一个明显且核心的好处类似于云和SaaS服务:可伸缩性, 灵活性, 和现代化.  除此之外，它还带来了其他好处，包括:

• 与现代数据栈的完美契合
• 与云数据仓库的直接集成
• 更现代的工具，具有有趣的新功能
• 数据文档和发现服务
• 整个团队的协作

让十大网赌正规网址下载更详细地探索其中的每一个.

随着组织将他们的分析转移到云端, 他们经常创造新的, 围绕工具和流程的现代数据堆栈包含云技术，并体现可伸缩性和灵活性.  新的现代数据栈通常包括:

1. 促进ELT过程中的EL的数据加载器;
2. 云数据仓库;
3. 数据转换工具，
4. 分析和/或数据科学工具
5. 数据操作/数据可观察性工具

现代数据栈组件, 项目1, 2, 4, 5都是易于订阅的SaaS/托管服务, 使用, 和操作.  因此, 数据转换即服务(数据转换 as a Service)更适合这个堆栈，它具有与其他基于云的SaaS服务类似的计算和操作优势, 并且更有效地与核心组件(如云数据仓库)集成(见下文)

随着组织创建他们的现代数据堆栈, 云数据仓库成为核心和主要的工作机器.  它为体系结构提供核心存储和计算(查询)功能.  它还提供了一个标准接口和组件，堆栈中的其他工具可以集成到该接口和组件中.

数据转换即服务平台将云数据仓库作为其“关键”, 与CDW提供的核心服务集成.  通过与CDW的集成，数据转换 SaaS平台将:

• 在CDW内创建和维护其数据模型;
• 采用CDW的SQL语言执行转换(通过直接SQL或通过高级建模生成的SQL—见下文), 和
• 使用CDW查询引擎进行处理，使用CDW存储引擎进行物化数据模型的存储.

这为数据转换创建了一个高效的执行模型，并使用了经济高效的CDW查询/计算和存储服务.

市场上有大量执行数据转换的工具.  有些是遗留工具，有些是更现代的工具.  尽管多年来，传统工具已经进行了多次翻新, 这些产品仍然采用老式的数据转换, 如图所示 Informatica 和 Talend.  甚至一些支持ELT过程的基于云/ saas的工具仍然有旧式的数据转换接口, 如图所示 Matillion.

一个好的数据转换即服务工具包含了分析工程过程中涉及多个角色的现代事实, 包括数据工程师, 分析工程师(更多的技术分析师), 数据分析师, 数据科学家.  这些角色通常有:

• 不同的技能组合，从高技术到低技术，
• 对数据使用方式的不同认识和理解，
• 不同的焦点在他们的角色和他们可以最好地利用他们的时间.

为此目的, SaaS数据转换工具将提供一个更现代的工具，允许每个角色参与数据转换过程, 最好地利用他们的技能，并确保他们花最多的时间做他们最擅长的事情.  例如, 通过易于使用的无代码或低代码数据转换接口，数据分析师可以将更多的时间花在分析上，而减少数据转换上.

一个高度现代化的SaaS数据转换平台应该支持三种不同的接口来支持多个角色:

• 无代码-非技术数据和业务分析
• 低代码-适用于稍微精通数据的数据分析师或希望比编码更高效的分析工程师
• 代码——适用于希望使用SQL进行控制和优化的数据和分析工程师.

数据文档通常分布在wiki页面中, 元数据管理系统, 或者早期版本的数据目录.  这些来源中的大多数仍然没有捕捉到很多关于数据的知识.  一些数据转换工具试图生成关于数据的文档, 但这通常只是从SQL代码中获取注释，然后生成wiki页面或添加有限的描述.

数据转换SaaS工具将包含捕获关于它正在处理的数据的尽可能多的信息的能力, 执行的转换, 以及生成的数据模型.  这将包括自动生成的文档和信息，如模式信息, 转换完成, 数据沿袭, 和审计.

数据转换SaaS工具还应该便于用户生成有关数据的信息, 从整个数据和分析社区获取额外的信息, 包括:

• 描述既可以解释数据，也可以最好地使用数据，
• 标签可以帮助组织和识别数据，
• 注释，它可以围绕数据添加简单的想法或促进协作，
• 业务元数据，将技术元数据转换为业务术语
• 状态和认证字段，它们描述数据对象的状态

在传统的数据工程过程中, 通常情况下，当数据团队需要解释分析团队的需求时，事情就会崩溃，而产生的数据集中出现了不匹配, 浪费宝贵的时间和精力.  这是因为数据团队对数据了解很多，但对业务如何使用数据知之甚少, 对于分析团队来说，反之亦然, 他们对数据知之甚少，但知道企业将如何使用这些数据.

除了支持与现代数据堆栈相关的多个角色, 数据转换平台促进了协作数据生命周期过程，消除了分析工程过程中的错误和不匹配:

• 分析团队可以使用无代码或低代码工具来交互式地创建和探索他们正在从数据中寻找的基本模型, 还要添加结果分析的描述，以显示业务将如何使用它,
• 然后，数据团队可以使用SQL或低代码工具，根据分析师提供的“规范”完全充实最终的数据管道和模型, 然后将这些操作化

这种协作过程消除了数据转换和建模中的错误, 将整个过程加快20-30倍.

虽然数据转换SaaS平台可以为数据和分析团队提供上述所有日常好处, 它带来的最重要的好处是:

• 由于生产力的提高，数据和分析工程成本降低了40%，
• 由于更高的生产力，数据和分析工程的投资回报率提高了300%;
• 通过更高的生产力和更快的数据可用性，您的云数据仓库的投资回报率可提高500%

Datameer是一个强大的SaaS数据转换平台，运行在Snowflake -您的现代, 可扩展的云数据仓库——结合起来提供高度可扩展和灵活的环境，将数据转换为有意义的分析.  使用Datameer，您可以:

• 允许非技术分析团队成员处理复杂数据，而无需使用Datameer的无代码和低代码数据转换接口编写代码,
• 轻松地将大量捕获的数据与主数据和其他数据组合在一起，以创建上下文丰富的数据, 有意义的数据集进行分析,
• 充分丰富分析数据集，使用各种图形公式和函数为您的分析添加更多风味,
• 生成丰富的文档并添加用户提供的属性, 评论, 标签, 更多的是在整个分析社区中分享关于您的数据的可搜索知识,
• 使用类似目录的文档特性将您的数据治理流程众包，以实现更大的数据民主化和数据素养,
• 维护社区如何转换和使用数据的完整审计跟踪，以进一步支持您的治理和遵从性流程,
• 在Snowflake中直接部署和执行数据转换模型，以在保持较低的计算和存储成本的同时，获得对大量数据所需的可伸缩性.