From 1dc534311374195b4dcc4d0c7564721c3ba78558 Mon Sep 17 00:00:00 2001 From: "dependabot[bot]" <49699333+dependabot[bot]@users.noreply.github.com> Date: Tue, 13 Oct 2020 04:48:28 +0000 Subject: [PATCH 01/10] Bump junit from 4.11 to 4.13.1 in /elasticsearchwriter Bumps [junit](https://github.com/junit-team/junit4) from 4.11 to 4.13.1. - [Release notes](https://github.com/junit-team/junit4/releases) - [Changelog](https://github.com/junit-team/junit4/blob/main/doc/ReleaseNotes4.11.md) - [Commits](https://github.com/junit-team/junit4/compare/r4.11...r4.13.1) Signed-off-by: dependabot[bot] --- elasticsearchwriter/pom.xml | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/elasticsearchwriter/pom.xml b/elasticsearchwriter/pom.xml index 2a246805..a60dbd88 100644 --- a/elasticsearchwriter/pom.xml +++ b/elasticsearchwriter/pom.xml @@ -50,7 +50,7 @@ junit junit - 4.11 + 4.13.1 test From 787421fa8b775db0b8e6d68af91a9ad04d5a193f Mon Sep 17 00:00:00 2001 From: wz497345846 <497345846@qq.com> Date: Tue, 24 Aug 2021 16:05:15 +0800 Subject: [PATCH 02/10] Update mongodbwriter.md MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 错别字 --- mongodbwriter/doc/mongodbwriter.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/mongodbwriter/doc/mongodbwriter.md b/mongodbwriter/doc/mongodbwriter.md index e30008db..74de8a0a 100644 --- a/mongodbwriter/doc/mongodbwriter.md +++ b/mongodbwriter/doc/mongodbwriter.md @@ -139,7 +139,7 @@ MongoDBWriter通过Datax框架获取Reader生成的数据，然后将Datax支持 * splitter：特殊分隔符，当且仅当要处理的字符串要用分隔符分隔为字符数组时，才使用这个参数，通过这个参数指定的分隔符，将字符串分隔存储到MongoDB的数组中。【选填】 * upsertInfo：指定了传输数据时更新的信息。【选填】 * isUpsert：当设置为true时，表示针对相同的upsertKey做更新操作。【选填】 -* upsertKey：upsertKey指定了没行记录的业务主键。用来做更新时使用。【选填】 +* upsertKey：upsertKey指定了每行记录的业务主键。用来做更新时使用。【选填】 #### 5 类型转换 @@ -154,4 +154,4 @@ MongoDBWriter通过Datax框架获取Reader生成的数据，然后将Datax支持 #### 6 性能报告 -#### 7 测试报告 \ No newline at end of file +#### 7 测试报告 From 09374d259686bb37e533d12f5b616febf87314a8 Mon Sep 17 00:00:00 2001 From: Longda Feng Date: Fri, 24 Sep 2021 11:52:46 +0800 Subject: [PATCH 03/10] Add OceanBase supporting list. --- README.md | 3 ++- introduction.md | 1 + 2 files changed, 3 insertions(+), 1 deletion(-) diff --git a/README.md b/README.md index 681de048..37a21022 100644 --- a/README.md +++ b/README.md @@ -3,7 +3,7 @@ # DataX -DataX 是阿里云 [DataWorks数据集成](https://www.aliyun.com/product/bigdata/ide) 的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步功能。 +DataX 是阿里云 [DataWorks数据集成](https://www.aliyun.com/product/bigdata/ide) 的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步功能。 # DataX 商业版本 阿里云DataWorks数据集成是DataX团队在阿里云上的商业化产品，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动能力，以及繁杂业务背景下的数据同步解决方案。目前已经支持云上近3000家客户，单日同步数据超过3万亿条。DataWorks数据集成目前支持离线50+种数据源，可以进行整库迁移、批量上云、增量同步、分库分表等各类同步解决方案。2020年更新实时同步能力，2020年更新实时同步能力，支持10+种数据源的读写任意组合。提供MySQL，Oracle等多种数据源到阿里云MaxCompute，Hologres等大数据引擎的一键全增量同步解决方案。 @@ -39,6 +39,7 @@ DataX目前已经有了比较全面的插件体系，主流的RDBMS数据库、N | ------------ | ---------- | :-------: | :-------: |:-------: | | RDBMS 关系型数据库 | MySQL | √ | √ |[读](https://github.com/alibaba/DataX/blob/master/mysqlreader/doc/mysqlreader.md) 、[写](https://github.com/alibaba/DataX/blob/master/mysqlwriter/doc/mysqlwriter.md)| |             | Oracle     |     √     |     √     |[读](https://github.com/alibaba/DataX/blob/master/oraclereader/doc/oraclereader.md) 、[写](https://github.com/alibaba/DataX/blob/master/oraclewriter/doc/oraclewriter.md)| +|             | OceanBase  |     √     |     √     |[读](https://open.oceanbase.com/docs/community/oceanbase-database/V3.1.0/use-datax-to-full-migration-data-to-oceanbase) 、[写](https://open.oceanbase.com/docs/community/oceanbase-database/V3.1.0/use-datax-to-full-migration-data-to-oceanbase)| | | SQLServer | √ | √ |[读](https://github.com/alibaba/DataX/blob/master/sqlserverreader/doc/sqlserverreader.md) 、[写](https://github.com/alibaba/DataX/blob/master/sqlserverwriter/doc/sqlserverwriter.md)| | | PostgreSQL | √ | √ |[读](https://github.com/alibaba/DataX/blob/master/postgresqlreader/doc/postgresqlreader.md) 、[写](https://github.com/alibaba/DataX/blob/master/postgresqlwriter/doc/postgresqlwriter.md)| | | DRDS | √ | √ |[读](https://github.com/alibaba/DataX/blob/master/drdsreader/doc/drdsreader.md) 、[写](https://github.com/alibaba/DataX/blob/master/drdswriter/doc/drdswriter.md)| diff --git a/introduction.md b/introduction.md index b27607c7..d08ad98d 100644 --- a/introduction.md +++ b/introduction.md @@ -36,6 +36,7 @@ DataX本身作为离线数据同步框架，采用Framework + plugin架构构建 | ------------ | ---------- | :-------: | :-------: |:-------: | | RDBMS 关系型数据库 | MySQL | √ | √ |[读](https://github.com/alibaba/DataX/blob/master/mysqlreader/doc/mysqlreader.md) 、[写](https://github.com/alibaba/DataX/blob/master/mysqlwriter/doc/mysqlwriter.md)| |             | Oracle     |     √     |     √     |[读](https://github.com/alibaba/DataX/blob/master/oraclereader/doc/oraclereader.md) 、[写](https://github.com/alibaba/DataX/blob/master/oraclewriter/doc/oraclewriter.md)| +|             | OceanBase  |     √     |     √     |[读](https://open.oceanbase.com/docs/community/oceanbase-database/V3.1.0/use-datax-to-full-migration-data-to-oceanbase) 、[写](https://open.oceanbase.com/docs/community/oceanbase-database/V3.1.0/use-datax-to-full-migration-data-to-oceanbase)| | | SQLServer | √ | √ |[读](https://github.com/alibaba/DataX/blob/master/sqlserverreader/doc/sqlserverreader.md) 、[写](https://github.com/alibaba/DataX/blob/master/sqlserverwriter/doc/sqlserverwriter.md)| | | PostgreSQL | √ | √ |[读](https://github.com/alibaba/DataX/blob/master/postgresqlreader/doc/postgresqlreader.md) 、[写](https://github.com/alibaba/DataX/blob/master/postgresqlwriter/doc/postgresqlwriter.md)| | | DRDS | √ | √ |[读](https://github.com/alibaba/DataX/blob/master/drdsreader/doc/drdsreader.md) 、[写](https://github.com/alibaba/DataX/blob/master/drdswriter/doc/drdswriter.md)| From 26df387f0fbb0eb1cdabc1752a09823f984b65aa Mon Sep 17 00:00:00 2001 From: hexsmith Date: Fri, 24 Sep 2021 21:13:08 +0800 Subject: [PATCH 04/10] Update mongodbreader.md --- mongodbreader/doc/mongodbreader.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/mongodbreader/doc/mongodbreader.md b/mongodbreader/doc/mongodbreader.md index 6d1e6a99..b61493e6 100644 --- a/mongodbreader/doc/mongodbreader.md +++ b/mongodbreader/doc/mongodbreader.md @@ -8,7 +8,7 @@ MongoDBReader 插件利用 MongoDB 的java客户端MongoClient进行MongoDB的 MongoDBReader通过Datax框架从MongoDB并行的读取数据，通过主控的JOB程序按照指定的规则对MongoDB中的数据进行分片，并行读取，然后将MongoDB支持的类型通过逐一判断转换成Datax支持的类型。 #### 3 功能说明 -* 该示例从ODPS读一份数据到MongoDB。 +* 该示例从MongoDB读一份数据到ODPS。 { "job": { @@ -147,4 +147,4 @@ MongoDBReader通过Datax框架从MongoDB并行的读取数据，通过主控的J #### 6 性能报告 -#### 7 测试报告 \ No newline at end of file +#### 7 测试报告 From 7cfd0e36215fcbc7f4d8854421ab3f980754f33c Mon Sep 17 00:00:00 2001 From: hexsmith Date: Fri, 24 Sep 2021 21:23:09 +0800 Subject: [PATCH 05/10] Update hbase11xwriter.md --- hbase11xwriter/doc/hbase11xwriter.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/hbase11xwriter/doc/hbase11xwriter.md b/hbase11xwriter/doc/hbase11xwriter.md index ff20abe9..02fd5507 100644 --- a/hbase11xwriter/doc/hbase11xwriter.md +++ b/hbase11xwriter/doc/hbase11xwriter.md @@ -202,7 +202,7 @@ HbaseWriter 插件实现了从向Hbase中写取数据。在底层实现上，Hba * 描述：要写入的hbase字段。index：指定该列对应reader端column的索引，从0开始；name：指定hbase表中的列，必须为 列族:列名 的格式；type：指定写入数据类型，用于转换HBase byte[]。配置格式如下： - ``` +``` "column": [ { "index":1, From 2632974c524bda68ac827e2dd1b6694ad9a58cdb Mon Sep 17 00:00:00 2001 From: hexsmith Date: Fri, 24 Sep 2021 21:23:59 +0800 Subject: [PATCH 06/10] Update hbase11xwriter.md --- hbase11xwriter/doc/hbase11xwriter.md | 3 ++- 1 file changed, 2 insertions(+), 1 deletion(-) diff --git a/hbase11xwriter/doc/hbase11xwriter.md b/hbase11xwriter/doc/hbase11xwriter.md index 02fd5507..cc519b28 100644 --- a/hbase11xwriter/doc/hbase11xwriter.md +++ b/hbase11xwriter/doc/hbase11xwriter.md @@ -203,6 +203,7 @@ HbaseWriter 插件实现了从向Hbase中写取数据。在底层实现上，Hba * 描述：要写入的hbase字段。index：指定该列对应reader端column的索引，从0开始；name：指定hbase表中的列，必须为 列族:列名 的格式；type：指定写入数据类型，用于转换HBase byte[]。配置格式如下： ``` + "column": [ { "index":1, @@ -216,7 +217,7 @@ HbaseWriter 插件实现了从向Hbase中写取数据。在底层实现上，Hba } ］ - ``` +``` * 必选：是
From 8e37018d78d2bd76a23cbf51183b72db59912f7a Mon Sep 17 00:00:00 2001 From: hexsmith Date: Fri, 24 Sep 2021 21:25:35 +0800 Subject: [PATCH 07/10] Update hbase11xwriter.md --- hbase11xwriter/doc/hbase11xwriter.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/hbase11xwriter/doc/hbase11xwriter.md b/hbase11xwriter/doc/hbase11xwriter.md index cc519b28..300cbfa4 100644 --- a/hbase11xwriter/doc/hbase11xwriter.md +++ b/hbase11xwriter/doc/hbase11xwriter.md @@ -219,9 +219,9 @@ HbaseWriter 插件实现了从向Hbase中写取数据。在底层实现上，Hba ``` - * 必选：是
+* 必选：是
- * 默认值：无
+* 默认值：无
* **rowkeyColumn** From a080664e1ae379b922296f90e1ded3f6101ee413 Mon Sep 17 00:00:00 2001 From: hexsmith Date: Fri, 24 Sep 2021 21:26:43 +0800 Subject: [PATCH 08/10] Update hbase11xwriter.md --- hbase11xwriter/doc/hbase11xwriter.md | 34 ++++++++++++++-------------- 1 file changed, 17 insertions(+), 17 deletions(-) diff --git a/hbase11xwriter/doc/hbase11xwriter.md b/hbase11xwriter/doc/hbase11xwriter.md index 300cbfa4..f44a610c 100644 --- a/hbase11xwriter/doc/hbase11xwriter.md +++ b/hbase11xwriter/doc/hbase11xwriter.md @@ -202,26 +202,26 @@ HbaseWriter 插件实现了从向Hbase中写取数据。在底层实现上，Hba * 描述：要写入的hbase字段。index：指定该列对应reader端column的索引，从0开始；name：指定hbase表中的列，必须为 列族:列名 的格式；type：指定写入数据类型，用于转换HBase byte[]。配置格式如下： -``` + ``` -"column": [ - { - "index":1, - "name": "cf1:q1", - "type": "string" - }, - { - "index":2, - "name": "cf1:q2", - "type": "string" - } - ］ - -``` + "column": [ + { + "index":1, + "name": "cf1:q1", + "type": "string" + }, + { + "index":2, + "name": "cf1:q2", + "type": "string" + } + ］ -* 必选：是
+ ``` + + * 必选：是
-* 默认值：无
+ * 默认值：无
* **rowkeyColumn** From 133269e69e890bfa337685ecf797dd2ff035c338 Mon Sep 17 00:00:00 2001 From: hexsmith Date: Fri, 24 Sep 2021 21:28:05 +0800 Subject: [PATCH 09/10] Update hbase11xwriter.md --- hbase11xwriter/doc/hbase11xwriter.md | 36 ++++++++++++++-------------- 1 file changed, 18 insertions(+), 18 deletions(-) diff --git a/hbase11xwriter/doc/hbase11xwriter.md b/hbase11xwriter/doc/hbase11xwriter.md index f44a610c..969f2e47 100644 --- a/hbase11xwriter/doc/hbase11xwriter.md +++ b/hbase11xwriter/doc/hbase11xwriter.md @@ -228,17 +228,17 @@ HbaseWriter 插件实现了从向Hbase中写取数据。在底层实现上，Hba * 描述：要写入的hbase的rowkey列。index：指定该列对应reader端column的索引，从0开始，若为常量index为－1；type：指定写入数据类型，用于转换HBase byte[]；value：配置常量，常作为多个字段的拼接符。hbasewriter会将rowkeyColumn中所有列按照配置顺序进行拼接作为写入hbase的rowkey，不能全为常量。配置格式如下： ``` -"rowkeyColumn": [ - { - "index":0, - "type":"string" - }, - { - "index":-1, - "type":"string", - "value":"_" - } - ] + "rowkeyColumn": [ + { + "index":0, + "type":"string" + }, + { + "index":-1, + "type":"string", + "value":"_" + } + ] ``` @@ -251,19 +251,19 @@ HbaseWriter 插件实现了从向Hbase中写取数据。在底层实现上，Hba * 描述：指定写入hbase的时间戳。支持：当前时间、指定时间列，指定时间，三者选一。若不配置表示用当前时间。index：指定对应reader端column的索引，从0开始，需保证能转换为long,若是Date类型，会尝试用yyyy-MM-dd HH:mm:ss和yyyy-MM-dd HH:mm:ss SSS去解析；若为指定时间index为－1；value：指定时间的值,long值。配置格式如下： ``` -"versionColumn":{ - "index":1 -} + "versionColumn":{ + "index":1 + } ``` 或者 ``` -"versionColumn":{ - "index":－1, - "value":123456789 -} + "versionColumn":{ + "index":－1, + "value":123456789 + } ``` From 65104b79eded393a25795ca4c7c06c021ceea06a Mon Sep 17 00:00:00 2001 From: PeineLiang Date: Thu, 30 Sep 2021 11:46:18 +0800 Subject: [PATCH 10/10] Update json syntax error --- drdsreader/doc/drdsreader.md | 2 +- postgresqlreader/doc/postgresqlreader.md | 2 +- 2 files changed, 2 insertions(+), 2 deletions(-) diff --git a/drdsreader/doc/drdsreader.md b/drdsreader/doc/drdsreader.md index 25df9200..c54e6bd1 100644 --- a/drdsreader/doc/drdsreader.md +++ b/drdsreader/doc/drdsreader.md @@ -50,7 +50,7 @@ DRDS的插件目前DataX只适配了Mysql引擎的场景，DRDS对于DataX而言 // 数据库连接密码 "password": "root", "column": [ - "id"，"name" + "id","name" ], "connection": [ { diff --git a/postgresqlreader/doc/postgresqlreader.md b/postgresqlreader/doc/postgresqlreader.md index fed2c7e9..02c354ab 100644 --- a/postgresqlreader/doc/postgresqlreader.md +++ b/postgresqlreader/doc/postgresqlreader.md @@ -48,7 +48,7 @@ PostgresqlReader插件实现了从PostgreSQL读取数据。在底层实现上， // 数据库连接密码 "password": "xx", "column": [ - "id"，"name" + "id","name" ], //切分主键 "splitPk": "id",