介绍和概述混合数据管道

2022年4月1日

我叫Aaron Burg,我是Progress Datadirect的销售工程师。感谢您加入我们的概述和简短的演示混合数据管道。我经常谈论混合数据管道,但是作为瑞士军刀,它确实是为了简化与广泛数据源的连接,然后为您提供一组API来访问该数据。无论是云中的数据,在本地数据,REST API中,您都可以使用一个ODBC或JDBC驱动程序或ODATA(基于标准的REST API)连接到这些API。

它还可以帮助您解决混合世界中的挑战,在混合世界中,您拥有一些可能在防火墙后面的数据。我们有一个小型代理,可以像OneDrive或Dropbox代理一样访问它。因此,您不必担心设置VPN或SSH隧道。最后,整个目标是将所有数据统一到我们的数据中心,因此您只需要向您的数据用户提供一组API,一组凭据,即能够完成他们的工作并访问环境中的数据。

当您更多地挖掘混合数据管道时,我们会支持广泛的数据源,包括云来源,诸如Salesforce或Oracle Marketing Cloud之类的东西,或Google BigQuery,我们支持您期望的关系来源,例如SQL服务器或DB2或Oracle。然后,我们还支持能够降低第三方JDBC驱动程序的能力,以了解我们可能没有的任何东西。Hybrid Data Pipeline是一个基于自动安装的Linux平台,可以在云中安装。您实际上也可以在Docker中运行它。因此,无论您想在哪里运行它。无论它在何处,在您的环境中最有意义。

我们最常看到混合数据管道的用例是外部数据网关。在这里,您拥有可能生活在SaaS环境中,云中的数据,并且您想将其安全地提供给可能不在安全网络上的客户或可能的人。这为您提供了通过HTTPS做到这一点的方法。您不必直接访问数据库。您还可以处理对此进行节流控件,以帮助保护您的后端数据。而且,使用ODATA,您甚至可以具体地获得更详细的限制,也许是他们看到的表格,类似的桌子。这为您提供了与网络之外的客户或网络外共享数据,内部数据集线器或内部使用数据网关共享数据的控制权,将成为您组织中拥有广泛的BI和分析用户的更多地方。这需要访问数据,但是您不想向他们分发一堆不同的驱动程序,不同的凭据,但是使用混合数据管道,您可以给他们单个驱动程序。

因此,一个ODBC驱动程序或JDBC驱动程序,甚至是此ODATA REST API访问。因此,他们可以访问已可视化或通过混合数据管道的任何数据源。然后,我提到了使用该小型本地连接器代理提到的云来接地访问,这可以帮助您解决云到地面问题而无需使用VPN。正如我提到的,在Linux上运行的是架构混合数据管道。您可以将其安装在云中,本地和使用docker,可以是部署的一个节点,也可以是多节点群集部署,以获得高可用性,如果您选择了加载均衡器,则位于加载均衡器后面,我们支持云负载均衡器,例如,对于Web插座,例如AWS,ALB或Azure应用程序网关。

然后,在后端混合数据管道将连接到您的数据源,您将使用ODBC,JDBC或ODATA API在正面消费。它还可以接触到云来源,例如Salesforce,您将使用相同的API访问它。同样,您可以使用远程位置的本地连接器来做同样的事情。无论您的数据是在远程站点,云站点还是混合数据管道本地网络上,都可以使用那些单一的API连接到它。

让我们快速演示这一点。Ehen您登录混合数据管道,您会看到我们的UI,UI中的所有内容也可以通过我们的管理API,通过REST API来完成。如果要将其集成到现有平台中,则可以做到这一点。我们有租户的概念。在这些租户中,有一些用户,然后这些用户具有关联的角色。用户的角色可能与将其连接到数据访问的单个API限制为颗粒状,一直到系统管理员,您可以通过如何控制用户访问来获得非常详细的信息。当您降低管理数据源时,每个用户都有自己的一组数据源。它们可以在用户之间共享。例如,在这种情况下,我将连接设置为SQL Server。

这是使用该基本代理实际运行的SQL Server。由于它不是我的演示实例本地的,因此将我的凭据放入数据库中,单击“测试连接”,就像我们使用ODBC或JDBC连接器可以启用访问权限一样。如果我来这里使用SQL测试工具,我已经安装了JDBC混合动力驱动程序。我将在HTTPS 443上连接到混合数据管道实例。让我们放入我的数据源名称,在这种情况下是SQL,它可能是Oracle服务器,可能是Salesforce没关系。同样的驱动程序,同一件事也适用于ODBC。这样做后,单击“连接”,它将使用我的混合数据管道凭据来验证混合数据管道。我不需要提供数据库凭据。您可以为ODBC或JDBC做到这一点,但是在这种情况下,我将其存储在混合数据管道中。

用户甚至不需要知道如何访问该后端源。就这样,看起来我直接连接到SQL Server。我可以运行查询,我们有数据。如果我们想启用或休息启用该数据源,我们可以转到HDP UI中的ODATA选项卡,然后很容易地执行此操作。您会在这里看到,在这种情况下,我将拿这张专辑和艺术家的桌子。我将将它们添加到ODATA API中。一旦我们这样做,当我回到这里时,我可以抓住此URL并将其放入浏览器中。在这里,您将看到我们现在可以访问。我将直接对混合数据管道进行身份验证,现在我们能够将这些数据作为JSON文档重新带回,就像我们使用JDBC驱动程序所看到的一样。

对于支持它的来源而言,这也是全部的。因此,如果我们回到混合数据管道,我想指出的其他一些内容,我们确实有一个SQL测试工具,当您在此处设置新的数据源以测试您与它们的连接时,这非常容易。在这种情况下,我很快连接到SQL Server,然后将产品中的相同数据带回到产品中。我们确实支持几种不同类型的身份验证。因此,您可以使用构建的Java插件来设置身份验证。我们确实支持LDAP,然后支持SAML身份验证以及OIDC。

感谢您观看此演讲。我们希望您发现它有用。不要犹豫要解决任何问题。您可以从我们的网站上下载完整的混合数据管道试用www.sasabralic.com/hdp

标签: 数据源datadirect演示如何产品概述