mirror of
https://github.com/alibaba/DataX.git
synced 2025-05-02 04:59:51 +08:00
Merge branch 'alibaba:master' into master
This commit is contained in:
commit
cf2b141e7c
@ -125,7 +125,7 @@ DorisWriter 通过Doris原生支持Stream load方式导入数据, DorisWriter
|
||||
|
||||
* **maxBatchRows**
|
||||
|
||||
- 描述:每批次导入数据的最大行数。和 **maxBatchSize** 共同控制每批次的导入数量。每批次数据达到两个阈值之一,即开始导入这一批次的数据。
|
||||
- 描述:每批次导入数据的最大行数。和 **batchSize** 共同控制每批次的导入数量。每批次数据达到两个阈值之一,即开始导入这一批次的数据。
|
||||
- 必选:否
|
||||
- 默认值:500000
|
||||
|
||||
|
@ -68,6 +68,8 @@ public enum DataBaseType {
|
||||
break;
|
||||
case Oscar:
|
||||
break;
|
||||
case StarRocks:
|
||||
break;
|
||||
default:
|
||||
throw DataXException.asDataXException(DBUtilErrorCode.UNSUPPORTED_TYPE, "unsupported database type.");
|
||||
}
|
||||
|
@ -177,7 +177,7 @@ PostgresqlReader插件实现了从PostgreSQL读取数据。在底层实现上,
|
||||
|
||||
* **splitPk**
|
||||
|
||||
* 描述:PostgresqlReader进行数据抽取时,如果指定splitPk,表示用户希望使用splitPk代表的字段进行数据分片,DataX因此会启动并发任务进行数据同步,这样可以大大提供数据同步的效能。
|
||||
* 描述:PostgresqlReader进行数据抽取时,如果指定splitPk,表示用户希望使用splitPk代表的字段进行数据分片,DataX因此会启动并发任务进行数据同步,这样可以大大提高数据同步的效能。
|
||||
|
||||
推荐splitPk用户使用表主键,因为表主键通常情况下比较均匀,因此切分出来的分片也不容易出现数据热点。
|
||||
|
||||
|
Loading…
Reference in New Issue
Block a user