Apache ShardingSphere ElasticJob中文文档

Contents1 简介 21.1 ElasticJob‐Lite . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21.2 ElasticJob‐Cloud . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 功能列表 43 环境要求 53.1 Java . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53.2 Maven . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53.3 ZooKeeper . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53.4 Mesos（仅 ElasticJob‐Cloud 使用） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 快速入门 64.1 ElasticJob‐Lite . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64.1.1 引入 Maven 依赖 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64.1.2 作业开发 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64.1.3 作业配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74.1.4 作业调度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74.2 ElasticJob‐Cloud . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74.2.1 引入 Maven 依赖 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74.2.2 作业开发 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84.2.3 作业启动 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84.2.4 作业打包 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84.2.5 API 鉴权 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84.2.6 作业发布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94.2.7 作业调度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95 概念 & 功能 105.1 调度模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105.1.1 进程内调度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105.1.2 进程级调度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105.2 弹性调度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10i5.2.1 分片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11分片项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11个性化分片参数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115.2.2 资源最大限度利用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125.2.3 高可用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125.2.4 ElasticJob‐Lite 实现原理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13弹性分布式实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13注册中心数据结构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14config 节点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14instances 节点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14sharding 节点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14servers 节点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14leader 节点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14流程图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155.3 资源分配 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155.3.1 作业运行模式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15瞬时作业 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15常驻作业 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155.3.2 调度器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155.3.3 作业应用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155.3.4 作业 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155.3.5 资源 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185.4 失效转移 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185.4.1 概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185.4.2 执行机制 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20通知执行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20问询执行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205.4.3 适用场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205.5 错过任务重执行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205.5.1 概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205.5.2 适用场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225.6 作业开放生态 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225.6.1 作业接口 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225.6.2 执行器接口 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226 用户手册 236.1 ElasticJob‐Lite . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236.1.1 简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236.1.2 对比 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246.1.3 使用手册 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24作业 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24作业监听器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43事件追踪 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47操作 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 506.1.4 配置手册 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55ii注册中心配置项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55作业配置项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55作业监听器配置项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57事件追踪配置项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57Java API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57Spring Boot Starter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58Spring 命名空间 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61内置策略 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64作业属性配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 686.1.5 运维手册 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69部署指南 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69导出作业信息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69作业运行状态监控 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70运维平台 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 716.2 ElasticJob‐Cloud . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 726.2.1 简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 726.2.2 对比 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 726.2.3 使用手册 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73开发指南 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73本地运行模式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 736.2.4 配置手册 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74鉴权 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74应用 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74作业 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 766.2.5 运维手册 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77部署指南 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77高可用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78运维平台 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 797 开发者手册 807.1 作业分片策略 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 807.2 线程池策略 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 807.3 已知实现类 详细说明 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 807.4 错误处理策略 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 807.5 作业类名称提供策略 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 817.6 线路规划 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 817.6.1 Kernel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 817.6.2 ElasticJob‐Lite . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 827.6.3 ElasticJob‐Cloud . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 838 下载 858.1 最新版本 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 858.1.1 ElasticJob ‐ 版本: 3.0.0‐RC1 ( 发布日期: Dec 25, 2020 ) . . . . . . . . . . . . . . . 858.1.2 ElasticJob‐UI ‐ 版本: 3.0.0‐RC1 ( 发布日期: Dec 31, 2020 ) . . . . . . . . . . . . . 858.2 全部版本 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85iii8.3 校验版本 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 869 采用公司 879.1 登记 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 879.2 谁在使用 ElasticJob? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 879.2.1 电子商务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 879.2.2 金融行业 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 889.2.3 数字化与云服务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 889.2.4 出行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 889.2.5 物流 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 899.2.6 房地产 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 899.2.7 互联网教育 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 899.2.8 互联网文娱 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 899.2.9 新闻资讯 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 899.2.10 通信科技 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 909.2.11 物联网 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 909.2.12 软件开发及服务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 909.2.13 医疗健康 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 909.2.14 零售业 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9110 FAQ 9210.1 阅读源码时为什么会出现编译错误? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9210.2 是否支持动态添加作业? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9210.3 为什么在代码或配置文件中修改了作业配置，注册中心配置却没有更新? . . . . . . . . . 9210.4 作业与注册中心无法通信会如何? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9310.5 ElasticJob‐Lite 有何使用限制? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9310.6 怀疑 ElasticJob‐Lite 在分布式环境中有问题，但无法重现又不能在线上环境调试，应该怎么做? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9310.7 ElasticJob‐Cloud 有何使用限制? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9310.8 在 ElasticJob‐Cloud 中添加任务后，为什么任务一直在 ready 状态，而不开始执行? . . . 9410.9 控制台界面无法正常显示? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9410.10 为什么控制台界面中的作业状态是分片待调整? . . . . . . . . . . . . . . . . . . . . . . . 9410.11 为什么首次启动存在任务调度延迟的情况？ . . . . . . . . . . . . . . . . . . . . . . . . . 9410.12 Windows 环 境 下， 运 行 ShardingSphere‐ElasticJob‐UI， 找 不 到 或 无 法 加 载 主 类org.apache.shardingsphere.elasticjob.lite.ui.Bootstrap，如何解决？ . . . . . . . . . . . 9410.13 运行 Cloud Scheduler 持续输出日志“Elastic job: IP:PORT has leadership”，不能正常运行 9511 博客 96