Matillion和Datameer光谱

Matillion & Datameer

Datameer是一种非常易于使用的工具,它专注于您的ELT过程中的T,以实现更快的速度, 更可靠的数据转换.  Datameer提供了比Matillion更丰富的转换库和特性集,以支持更多的用例,并与雪花云数据仓库深度集成,以获得最佳性能和数据安全性.

关于informatica

什么是Matillion?

关于matillion

Matillion 是市场上较年轻的、基于云的ETL解决方案之一吗.  该平台涵盖了数据集成的所有三个方面——提取、转换和加载.  图形用户界面允许用户在不编码的情况下编排和运行数据管道.  平台灵活, 提供广泛的云连接器阵列, 基于云计算的定价模式也是如此.

Matillion是如何工作的?

Matillion是如何工作的

Matillion由三个组件组成:底层平台, 图形数据编排工具, 一个管理工具.  这三者结合在一起可以定义和操作ETL数据管道.

图形编排工具允许用户将“组件”串成一个数据流.  组件可以是数据源连接和提取, 数据分段和定义, 流控制, 转换, 消息传递, 并加载到目的地.  Matillion提供105个连接器和75个组件,其中25个用于转换.

管理工具允许管理员建立用户和安全, 运行作业, 配置系统, 执行其他行政工作.  为了安全, Matillion提供基于用户和角色的安全和访问控制, LDAP集成, 和单点登录(SSO)集成.

平台是系统的执行部分.  必须了解Matillion没有存储和执行引擎.  在数据流中处理的所有数据都以中间形式存储在云数据仓库表中.  所有数据管理和转换操作都下推到云数据仓库中.  Matillion的可伸缩性和性能取决于云数据仓库的可伸缩性和性能.

聚光灯下的图标

什么是Datameer?

Datameer 是一个强大的SaaS数据转换平台,运行在雪花-您的现代, 可伸缩的云数据仓库——提供了一个高度可伸缩和灵活的环境,可以将数据转换为有意义的分析.  使用Datameer,你可以:

  • 允许非技术分析团队成员处理复杂的数据,而不需要使用Datameer的无代码和低代码数据转换接口编写代码,
  • 在技术和非技术团队成员之间协作,构建数据模型和数据转换流,以实现这些模型, 每个人都在使用他们的技能和知识
  • 充分丰富的分析数据集,为您的分析添加更多的风味,使用不同的图形公式和函数数组,
  • 生成丰富的文档并添加用户提供的属性, 评论, 标签, 更多的是在整个分析社区中分享关于你的数据的可搜索知识,
  • 使用类似目录的文档特性将数据治理过程众包,以实现更大的数据民主化和数据素养,
  • 维护关于社区如何转换和使用数据的完整审计跟踪,以进一步支持您的治理和遵从性流程,
  • 直接在Snowflake中部署和执行数据转换模型,以获得对大量数据所需的可伸缩性,同时保持较低的计算和存储成本.

快速的比较

在高水平上, Datameer侧重于数据转换,是您的ELT中的T, 而Matillion是端到端ETL数据集成工具.  你可以在Matillion中进行数据转换,这是十大网赌正规网址下载在这里要关注的.  从数据转换的角度来看, Datameer和Matillion有几个不同的地方, 包括:

  • 适用于所有角色的工具:无代码、低代码和代码.
  • 发现、共享和重用数据转换组件.
  • 用一个类似excel的公式生成器和一个大型函数库充分丰富你的数据,
  • 让非技术分析师在没有任何编码或模式知识的情况下建模和转换数据.
  • 丰富的、可搜索的、类似目录的数据文档、属性、注释、标签等.
  • 与Snowflake深度集成,实现具有成本效益的可伸缩性.

让十大网赌正规网址下载更详细地探讨每一个问题.

Multi-Persona工具

Matillion的数据编排工具使得将数据流组合在一起的难度比公司公开的要大.  这是因为:

  • 细粒度组件, 执行高度特定的任务, 迫使用户将许多组件串在一起,即使是一个简单的数据流
  • 每个组件都需要大量的配置,需要用户花费大量的时间
  • 数据流要求您定义和管理中间形式的数据,这增加了流的复杂性
  • 每个转换都作为它自己的组件应用,迫使用户将大量的数据放在一起

这些因素的组合可能会导致包含许多组件的非常复杂的数据流.

Datameer希望吸引整个数据和分析团队中拥有许多不同技能的广泛受众——数据工程师, 分析工程师, 数据分析师, 和更多的.  一些角色可能更注重技术和代码,而另一些角色可能不那么注重技术,但更注重数据.

为了实现这个目标,Datameer提供了三种不同的用户体验:

  • 无代码——简单的拖放建模,允许非技术分析师创建特定于他们需求的基础模型.
  • 低代码——一个向导驱动的类似excel的界面,允许非技术分析师丰富数据并显著提高数据工程师的生产率.
  • 代码——完整的SQL编码和脚本,使您的数据工程团队能够控制创建和部署高度优化的数据模型.

每种方法都允许团队成员在使用各种技能的同时参与数据转换过程.  在这三个ux中创建的模型可以混合和匹配在一起.

可发现性、共享和重用性

更快的管道定义

在Matillion中,您可以创建可重用的函数组件,并将它们应用于不同的数据管道.  但是当你重复使用这些时,你是在复制.  除了, 您需要在数据管道中重新创建模式——您没有在云数据仓库中重用现有的模式.

在Datameer中,共享工作区是一个基本组件.  数据工程师, 数据分析师, 业务分析师, 数据科学家可以在共享的工作空间中一起工作,使用不同的工具——代码——创建和重用模型, low-code, 没有代码.  除了在建模方面的合作, 更广泛的团队可以共享关于工作空间和模型的知识, 包括:

  • 添加既能解释数据又能最好地使用数据的描述,
  • 应用标签可以帮助组织和识别数据,
  • 提供评论,可以添加关于数据的简单想法,或支持协作,
  • 添加业务元数据,将技术元数据转换为业务术语
  • 设置描述数据对象状态的属性或状态和认证字段

除了, 所有关于模型的记录信息都可以通过Datameer的google式分面搜索完全发现.

 

完整的数据浓缩

数据准备

Matillion的主要设计要点是允许用户提取, 负载, 并以数据映射的形式进行简单的数据转换.  它包含一组有限的函数,用于在数据中创建新字段.

Datameer提供了图形公式构建器和深度函数数组,可以用计算列丰富数据集.  在SnowSQL (Snowflake的SQL版本)中可用的任何函数都可以在Datameer中使用, Datameer将这些函数一一映射到SnowSQL,以获得最佳性能.

人图标

让非技术分析师参与进来

混合云

Matillion要求ETL开发人员具备强大的Python和SQL编码技能. 这对于非技术、非编码的团队成员来说是很难使用的.

Datameer为不同的角色提供了不同的接口——无代码、低代码和代码.  技术程序员会喜欢使用sql风格的代码接口.  技术水平较低的人员可以使用无代码的完全图形化界面或低代码excel风格的公式界面来定义数据模型和转换.  不管它们是如何建造的, 数据模型被转换成SQL并放入雪花实例中. 在任何接口中构建的模型都可以在较大的数据流中混合匹配.

丰富的,类似目录的数据文档

安全性和治理

Matillion很少提供记录数据模型和转换的方法.  此外,它不提供发现现有数据模型和流的搜索.

Datameer有助于尽可能多地捕获有关它正在处理的数据的信息, 执行的转换, 以及得到的数据模型.  这包括:

  • 自动生成的文档和信息,比如模式信息, 转换完成, 数据沿袭, 审计, 以及某些系统生成的属性
  • 用户提供的文档,如描述、标记、注释和业务元数据.

除了, 所有关于模型的记录信息都可以通过Datameer的google式分面搜索完全发现.

snowflake-logo

与雪花深度融合

snowflake-logo

Matillion确实与Snowflake集成以在Snowflake内部执行数据转换.  但是集成是高级的,需要用户执行定义和映射模式的复杂过程.

Datameer使用已经提取和加载的数据直接在Snowflake中构建模型,以维护极高的数据安全性和易于管理.  使用Snowflake引擎执行转换,以充分利用其强大的功能和可伸缩性.  Datameer还对加载的原始数据进行库存和归档,以增加更多的知识和可发现性.

结论

数据表光谱与Matillion

Matillion是将云和SaaS数据源集成到云数据仓库的一种非常简单的方法——更适合于EL而不是T.  用户体验使得它不适合自助数据管道,而且对于精通数据的用户来说,成功创建数据管道仍然很困难和复杂.  其有限的转换功能和功能严重限制了您可以在何处以及如何使用Matillion.

Datameer主要关注英语教学中的T.  它是一个健壮的数据转换工具和平台,可以让你所有的角色都使用三种不同风格的界面, 让他们围绕数据建模共享和协作, 并与雪花有深度融合.

轻松转换和分析雪花数据!

了解更多
友情链接: 1 2 3 4 5 6 7 8 9 10