云计算、AI、云原生、大数据等一站式技术学习平台

网站首页 > 教程文章 正文

DataWorks介绍 dataworks datastudio

jxf315 2024-12-16 13:52:25 教程文章 68 ℃

DataWorks介绍

一:控制台

以组织管理员(主账号)身份登录DataWorks控制台

DataWorks中的工作空间即MaxCompute中的项目

二:dataworks 使用场景

任务调度中一个重要的功能是任务之间的依赖

https://help.aliyun.com/document_detail/144913.html?spm=a2c4g.11186623.6.700.12c421fd5BfYLd


同步任务

在DataWorks中,通常通过数据集成功能,定期导入系统中产生的业务数据至工作区。SQL任务进行计算后,再定期导出计算结果至您指定的数据源中,以便进一步展示或运行使用

配置调度和依赖属性

DataWorks具有强大的调度能力,支持根据时间、依赖关系的节点触发机制。DataWorks可以为您保障每日千万级别的任务,根据DAG关系准确、准时运行,并且支持分钟、小时、天、周和月多种调度周期配置,详情请参见配置时间属性


三:数据集成

https://www.aliyun.com/product/bigdata/ide

数据集成(DataWorks)是阿里云重要的PaaS平台产品,对外提供稳定高效、弹性伸缩的数据同步平台,致力于在复杂网络环境下、丰富的异构数据源之间高速稳定地同步数据


如何在DataWorks中添加RDS MySQL数据源

1.登录DataWorks控制台,单击目标项目栏中的进入数据集成

2.在数据集成页面,单击左侧导航栏的数据源,然后单击新增数据源。

3.在新增数据源页面,选择MySQL

4.在新增MySQL数据源页面,按照页面提示进行参数配置

5.完成上述参数配置后,单击测试连通性进行连通性测试,测试通过后单击完成添加RDS MySQL数据源

说明 如果测试连通性时提示白名单错误,请参考添加白名单,在RDS MySQL实例中添加白名单


DataWorks是基于MaxCompute作为计算和存储引擎的用于工作流可视化开发和托管调度运维的海量数据离线加工分析平台,支持按照时间和依赖关系的任务全面托管调度。AnalyticDB for MySQL用户可以通过DataWorks强大的任务托管调度、任务依赖关系管理、任务运维功能等,调度和管理AnalyticDB for MySQL任务


本文为您介绍什么是DataWorks,以及DataWorks的功能和使用限制。

DataWorks(数据工场,原大数据开发套件)是阿里云重要的PaaS平台产品,为您提供数据集成数据开发数据地图数据质量数据服务等全方位的产品服务,一站式开发管理的界面,帮助企业专注于数据价值的挖掘和探索。

DataWorks支持多种计算和存储引擎服务,包括离线计算MaxCompute开源大数据引擎E-MapReduce实时计算(基于Flink)机器学习PAI图计算服务Graph Compute交互式分析服务等,并且支持用户自定义接入计算和存储服务。DataWorks为您提供全链路智能大数据及AI开发和治理服务。

您可以使用DataWorks,对数据进行传输、转换和集成等操作,从不同的数据存储引入数据,并进行转化和开发,最后将处理好的数据同步至其它数据系统。


最近发表
标签列表