DolphinScheduler
作业帮基于 DolphinScheduler 的数据开发平台实践
摘要 随着任务数量、任务类型需求不断增长，对我们的数据开发平台提出了更高的要求。本文主要分享我们将调度引擎升级到 Apache DolphinScheduler 的实践经验，以及对数据开发平台的一些思考。 1. 背景 首先介绍下我们的大数据平台架构： 数据计算层承接了全公司的数据开发需求，负责运行各 ......
海豚²来了丨DolphinDB 集成 DolphinScheduler，任务调度更轻松
DolphinDB 是一款高性能时序数据库。DolphinDB 集成了功能强大的编程语言和高容量高速度的批流一体数据分析系统，为海量数据（特别是时间序列数据）的快速存储、检索、计算及分析提供一站式解决方案。在实际生产环境中，经常存在数据导入、转换、查询计算，更新等一系列流程任务，各个部分之间存在依赖 ......
Apache DolphinScheduler（海豚调度系统）介绍与环境部署
https://dolphinscheduler.apache.org/zh-cn/docs/3.2.0 一、概述 Apache DolphinScheduler（简称DolphinScheduler）是一种开源的、分布式的、易于使用的大数据工作流调度系统。它旨在为大数据处理提供一个可靠、高效和可扩 ......
dolphinscheduler worker节点挂掉后连接不上
Error creating bean with name 'zookeeperRegistry': Invocation of init method failed; nested exception is org.apache.dolphinscheduler.registry.api.Regi ......
dolphinscheduler报错：Connect to 192.168.xx.xx:8088 [192.168.xx.xx/110.173.196.1] failed: connect timed out
报错信息： 在dophin中抽取mysql的数据到hive中报错 [ERROR] 2023-10-20 15:33:10.461 org.apache.dolphinscheduler.common.utils.HttpUtils:[73] - Connect to 192.168.xx.xx:80 ......
dolphinscheduler任务实例不存在
报错日志： org.apache.dolphinscheduler.server.master.dispatch.exceptions.ExecuteException: fail to execute : Command [type=TASK_EXECUTE_REQUEST, opaque=106 ......
如何快速在 Apache DolphinScheduler 新扩展一个任务插件？
作者 | 代立冬 编辑 | Debra Chen Apache DolphinScheduler 是现代数据工作流编排平台，具有非常强大的可视化能力，DolphinScheduler 致力于使数据工程师、分析师、数据科学家等数据工作者都可以简单轻松地搭建各种数据工作流，让数据处理流程更简单可靠。 D ......
Apache DolphinScheduler 如何实现自动化打包+单机/集群部署？
Apache DolphinScheduler 是一款开源的分布式任务调度系统，旨在帮助用户实现复杂任务的自动化调度和管理。DolphinScheduler 支持多种任务类型，可以在单机或集群环境下运行。下面将介绍如何实现 DolphinScheduler 的自动化打包和单机/集群部署。 自动化打包 ......
用户案例 | 蜀海供应链基于 Apache DolphinScheduler 的数据表血缘探索与跨大版本升级经验
 ## 导读 蜀海供应链是集销售、研发、采购、生产、品保、仓储、运输、信息、金融为一体的餐饮供应链服务企 ......
实操教程 | 触发器实现 Apache DolphinScheduler 失败钉钉自动告警
 作者 | sqlboy-yuzhenc ## 背景介绍 在实际应用中，我们经常需要将特定的任务通知给特 ......
Apache DolphinScheduler 支持使用 OceanBase 作为元数据库啦!
 DolphinScheduler是一个开源的分布式任务调度系统，拥有分布式架构、多任务类型、可视化操作、分 ......
Apache DolphinScheduler 3.1.8 版本发布，修复 SeaTunnel 相关 Bug
 > 近日，Apache DolphinScheduler 发布了 3.1.8 版本。此版本主要基于 3 ......
dolphinscheduler docker-compose 运行简单说明
因为官方提供的dolphinscheduler 有一些问题，所以自己调整环境变量的配置，方便直接运行 运行 docker-compose 文件 version: "3" services: dolphinscheduler-postgresql: image: bitnami/postgresql: ......
dolphinscheduler 调度spark on k8s
dolphinscheduler 对于k8s的支持可以使用spark任务模式选择k8s 配置，当然也可以直接通过k8s 集成通过容器镜像模式运行，两种方式各有利弊，但是完全基于k8s模式会比较方便些 集成玩法说明 spark 任务模式 此模式我们需要配置SPARK_HOME 给每个dolphinsc ......
使用 Apache DolphinScheduler 进行 EMR 任务调度
 By AWS Team ## 前言 随着企业规模的扩大，业务数据的激增，我们会使用 Hadoop/Sp ......
DolphinScheduler3.1.7集成SAP HANA
## 源码地址：[GitHub - apache/dolphinscheduler at 3.1.7-release](https://github.com/apache/dolphinscheduler/tree/3.1.7-release) ## 个人fork gitee地址：[DolphinS ......
DolphinScheduler3.1.7离线手册
# DolphinScheduler3.1.7 ## DolphinScheduler简介 Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。 Apache D ......
用户案例 | Apache DolphinScheduler 离线调度在自如多业务场景下的应用与实践
 ## 用户案例 | 自如 随着自如业务的快速发展，不断增长的调度任务和历史逾万的存量任务对平台稳定性提 ......
重磅预告！Apache DolphinScheduler 3.2.0 新功能“剧透”
 近期，Apache DolphinScheduler 将迎来 3.2.0 版本的到来。本次发版为大版本 ......
9、DolphinScheduler工作流调度引擎_1
一、DS概述 1、DS是什么 官网：https://dolphinscheduler.apache.org/en-us/index.html logo: 跟Azkaban等流⾏的⼯工作流调度引擎⽐比较如下： 2、特性 3、谁在使用 二、DS源码编译 1、版本规划 DS在成为Apache孵化项⽬目之后 ......
拈花云科基于 Apache DolphinScheduler 在文旅业态下的实践
 作者｜云科NearFar X Lab团队 左益、周志银、洪守伟、陈超、武超 ## 一、导读 无锡拈花云科 ......
日均调度 10W+ 任务实例，DolphinScheduler 在蔚来汽车一站式数据治理开发平台的应用改造
 大家好我是张金明，在蔚来汽车担任大数据平台研发工程师。这次和大家分享的是 Apache DolphinS ......
通过 docker-compose 快速部署 DolphinScheduler 保姆级教程
[TOC] ## 一、概述 `Apache DolphinScheduler`（简称DolphinScheduler）是一种开源的、分布式的、易于使用的大数据工作流调度系统。它旨在为大数据处理提供一个可靠、高效和可扩展的调度解决方案。  长城汽车-IDC-数据中台部-刘永飞 高级工程师 我是长城汽车 IDC-数据中台部的刘永飞，给大 ......
Apache DolphinScheduler 3.0.6 发布，或将是最后一个 3.0.X 版本
Apache DolphinScheduler 于近日发布了 3.0.6 版本，主要针对 3.0.5 重要 bug 进行修复。如果之后没有发现重大问题，3.0.6 将会是 3.0.x 最后一个版本。 Bug修复 Master 重新连接 zk 后 slot 没有正常更新 #14014 父工作流失败时 ......
dolphinscheduler-3.1.5异常记录
1.背景 运行任务经常遇到TenantCode: test doesn't exist ，可是我已经通过test用户登录了服务器了，说明test用户是存在的。后来发现通过某个woker是不报错的，但是其他worker报错，实际上各个worker都是创建了test用户的。 2.解决 2.1猜测是缓存的 ......
dolphinscheduler3.1.5-全局参数使用注意事项
1. 每个工作流都应配置本身需要的全局参数，即使是作为sub_process 因为工作流的全局变量只能作用到当前 工作流中的任务节点及 下一级的子工作流的任务节点，再嵌套子工作流，就获取不到最上级工作流的全局变量了。 2. SQL任务类型，动态表名如何通过全局变量来获取 在SQL任务节点配置本地变量 ......
dolphinscheduler-3.1.5部署踩坑
sudo yum -y install psmisc ## 部署用户设置 echo 'user_name ALL=(ALL) NOPASSWD: NOPASSWD: ALL' >> /etc/sudoers sed -i 's/Defaults requirett/#Defaults require ......
dolphinscheduler工作流部署
python代码参考如下: import pymysql # 连接源数据库 source_conn = pymysql.connect( host='x.x.x.x', port=3306, user='root', password='pppp', database='dolphinschedul ......