网站首页 > 教程文章 正文
DataWorks介绍
一:控制台
以组织管理员(主账号)身份登录DataWorks控制台
DataWorks中的工作空间即MaxCompute中的项目
二:dataworks 使用场景
任务调度中一个重要的功能是任务之间的依赖
https://help.aliyun.com/document_detail/144913.html?spm=a2c4g.11186623.6.700.12c421fd5BfYLd
同步任务
在DataWorks中,通常通过数据集成功能,定期导入系统中产生的业务数据至工作区。SQL任务进行计算后,再定期导出计算结果至您指定的数据源中,以便进一步展示或运行使用
配置调度和依赖属性
DataWorks具有强大的调度能力,支持根据时间、依赖关系的节点触发机制。DataWorks可以为您保障每日千万级别的任务,根据DAG关系准确、准时运行,并且支持分钟、小时、天、周和月多种调度周期配置,详情请参见配置时间属性
三:数据集成
https://www.aliyun.com/product/bigdata/ide
数据集成(DataWorks)是阿里云重要的PaaS平台产品,对外提供稳定高效、弹性伸缩的数据同步平台,致力于在复杂网络环境下、丰富的异构数据源之间高速稳定地同步数据
如何在DataWorks中添加RDS MySQL数据源
1.登录DataWorks控制台,单击目标项目栏中的进入数据集成
2.在数据集成页面,单击左侧导航栏的数据源,然后单击新增数据源。
3.在新增数据源页面,选择MySQL
4.在新增MySQL数据源页面,按照页面提示进行参数配置
5.完成上述参数配置后,单击测试连通性进行连通性测试,测试通过后单击完成添加RDS MySQL数据源
说明 如果测试连通性时提示白名单错误,请参考添加白名单,在RDS MySQL实例中添加白名单
DataWorks是基于MaxCompute作为计算和存储引擎的用于工作流可视化开发和托管调度运维的海量数据离线加工分析平台,支持按照时间和依赖关系的任务全面托管调度。AnalyticDB for MySQL用户可以通过DataWorks强大的任务托管调度、任务依赖关系管理、任务运维功能等,调度和管理AnalyticDB for MySQL任务
本文为您介绍什么是DataWorks,以及DataWorks的功能和使用限制。
DataWorks(数据工场,原大数据开发套件)是阿里云重要的PaaS平台产品,为您提供数据集成、数据开发、数据地图、数据质量和数据服务等全方位的产品服务,一站式开发管理的界面,帮助企业专注于数据价值的挖掘和探索。
DataWorks支持多种计算和存储引擎服务,包括离线计算MaxCompute、开源大数据引擎E-MapReduce、实时计算(基于Flink)、机器学习PAI、图计算服务Graph Compute和交互式分析服务等,并且支持用户自定义接入计算和存储服务。DataWorks为您提供全链路智能大数据及AI开发和治理服务。
您可以使用DataWorks,对数据进行传输、转换和集成等操作,从不同的数据存储引入数据,并进行转化和开发,最后将处理好的数据同步至其它数据系统。
猜你喜欢
- 2024-12-16 大数据Hadoop之——数据同步工具DataX
- 2024-12-16 从0到1搭建车企数字化营销中台(2):客户数据平台
- 2024-12-16 SpringBoot整合dataworks springboot整合mybatis
- 2024-12-16 发布多款自研产品构建软硬件体系,阿里云做产品是否有边界?
- 2024-12-16 阿里云 DataWorks 支持 SelectDB & Apache Doris,MySQL 整库实时同步
- 最近发表
- 标签列表
-
- location.href (44)
- document.ready (36)
- git checkout -b (34)
- 跃点数 (35)
- 阿里云镜像地址 (33)
- qt qmessagebox (36)
- md5 sha1 (32)
- mybatis plus page (35)
- semaphore 使用详解 (32)
- update from 语句 (32)
- vue @scroll (38)
- 堆栈区别 (33)
- 在线子域名爆破 (32)
- 什么是容器 (33)
- sha1 md5 (33)
- navicat导出数据 (34)
- 阿里云acp考试 (33)
- 阿里云 nacos (34)
- redhat官网下载镜像 (36)
- srs服务器 (33)
- pico开发者 (33)
- https的端口号 (34)
- vscode更改主题 (35)
- 阿里云资源池 (34)
- os.path.join (33)