DataX-web安装使用教程

1. 环境准备

• MySQL (5.5+)  必选，对应客户端可以选装, Linux服务上若安装mysql的客户端可以通过部署脚本快速初始化数据库
• JDK (1.8.0_xxx)  必选
• Python (2.x) 必选 (支持Python3需要修改替换datax/bin下面的三个python文件，替换文件在doc/datax-web/datax-python3下) ，主要用于调度执行底层DataX的启动脚本，默认的方式是以Java子进程方式执行DataX，用户可以选择以Python方式来做自定义的改造

2.DataX安装

2.1 下载DataX安装包

DataX详情介绍：https://github.com/alibaba/DataX/blob/master/introduction.md

DataX官网下载地址：https://github.com/alibaba/DataX

网盘地址链接: https://pan.baidu.com/s/1qxCi1k36mbHWfuxfMpTfxg 提取码: 1234

2.2 安装DataX

上传后进行解压并检测安装是否成功

# 下载上传后进行解压
tar -zxvf /opt/software/datax.tar.gz -C /opt/modules/

# 运行自检脚本
python /opt/modules/datax/bin/datax.py /opt/modules/datax/job/job.json

当输出下图结果代表安装成功

​

3.DataX-web安装

3.1 下载DataX-web安装包

DataX-web官网下载地址：https://github.com/WeiYe-Jing/datax-web

网盘地址链接: https://pan.baidu.com/s/1UmFMHdVamfOOo4KEezBkeQ  提取码: 1234

3.2 安装DataX-web

3.2.1 上传后进行解压

# 下载上传后进行解压
tar -zxvf /opt/software/datax-web-2.1.2.tar.gz -C /opt/modules/

3.2.2 在Mysql中创建存放datax-web任务信息的库表

创建数据库dataxweb

# 创建 dataxweb 数据库
create database dataxweb;

在dataxweb中执行datax_web.sql脚本 

脚本位置为：/opt/modules/datax-web-2.1.2/bin/db/datax_web.sql

3.2.3 执行安装datax-web命令

# 执行安装命令
sh /opt/modules/datax-web-2.1.2/bin/install.sh

安装过程中需要下载一些插件，输入“Y”下载即可

安装过程中需要输入数据库配置，输入提前准备好的Mysql相关信息：ip port username password databaseName

3.2.4 DataX-web中配置datax路径

/opt/modules/datax-web-2.1.2/modules/datax-executor/conf/application.yml

# vi 编辑文本 application.yml
vi /opt/modules/datax-web-2.1.2/modules/datax-executor/conf/application.yml
# 最后一行添加DataX执行命令
pypath: /opt/modules/datax/bin/datax.py

3.2.5 启动 DataX-web

# 启动datax-web
sh /opt/modules/datax-web-2.1.2/bin/start-all.sh

4.DataX-web登录使用

4.1 登录DataX-web

登录地址：
http://{你的ip}:9527/index.html

用户名：
admin

密码：
123456

登录后报如下错误:Unknown column 't.user_id' in 'field list'。

这个错误表示DataX Web的数据库表结构不完整。具体问题是：job_info表中缺少 user_id字段。

我们可以手动添加缺失字段

— 检查表结构
DESC job_info;

— 添加缺失的user_id字段
ALTER TABLE job_info ADD COLUMN user_id VARCHAR(50) DEFAULT NULL COMMENT '用户ID' AFTER update_time;

— 验证字段是否添加成功
DESC job_info;

4.2 使用DataX-web

新建项目

创建DataX任务模板，以后创建的任务使用相关的模板。

创建数据库链接

下面开始配置数据同步任务，可以批量配置，也可单独配置，本次以单独配置为例

点击 “构建” 生成任务json，选择 “选择模版” 选择对应的调度模板绑定任务。

查看并执行任务

点击执行一次后便可手动执行，如需定时执行可将状态部分改成启动。

查看任务执行状况

查看任务报错信息

报错原因：

        DataX配置了总bps限速（1048576字节/秒 = 1MB/秒），同时配置了3个channel，但没有配置单个channel的bps值

修复：增大 byte ，修改核心配置文件：/opt/modules/datax/conf/core.json

将byte值从默认的1048576调整为更高的正整数5m（如5242880），并确保record不为负数（如设为1000或删除record字段）。

# 修改 byte record 参数
"transport": {
"channel": {
"class": "com.alibaba.datax.core.transport.channel.memory.MemoryChannel",
"speed": {
"byte": 5242880,// 修改为正整数（如5MB）JSON不支持注释
"record": 1000 // 确保record值不为负数（可选）JSON不支持注释
},
"flowControlInterval": 20,
"capacity": 512,
"byteCapacity": 67108864
},
"exchanger": {
"class": "com.alibaba.datax.core.plugin.BufferedRecordExchanger",
"bufferSize": 32
}
},

修改完配置再次执行