老狗VPS,稳如老狗!亚马逊云科技Amazon Glue服务功能升级,现在提供3种新功能:自定义可视化转换,该功能让客户可以在其团队中定义、重复使用和共享业务特定ETL逻辑;三种开源数据湖存储框架,该功能可以事务一致的方式在Amazon Simple Storage Service (Amazon S3) 中读取和写入数据;以及新连接器。
点击查看:亚马逊云科技免费套餐
Amazon Glue是一项无服务器、可扩展的数据集成服务,该服务使您可以更轻松地发现、准备、移动和集成多个来源的数据。借助这些新功能,数据工程师可以为Amazon Glue可视任务编辑器写入可重复使用的转换,以开源数据湖格式标准写入数据,并连接到更多原生数据存储。
您可以使用Apache Spark代码和用户输入表单定义Amazon Glue自定义可视化变换。此外,您还可以为输入表单指定验证,以帮助保护用户,使其免犯错误。将定义转换的文件保存到您的账户后,它会自动出现在可视化任务编辑器中可用转换的下拉列表中。
您可以调用可视化和基于代码的任务中的自定义可视化转换,并且在账户之间共享转换也非常简单。此外,在读取或写入数据时,数据湖框架简化了在Amazon S3上构建的数据湖中的增量数据处理。它们支持的功能包括时间旅行查询、ACID(原子性、一致性、隔离、耐久性)事务、流式摄取、变更数据捕获 (CDC)、upsert和删除。