From 21f2539ce6c1f72cf704e03bdd89ba939023ee81 Mon Sep 17 00:00:00 2001 From: XuDaojie Date: Fri, 3 Jul 2020 14:47:28 +0800 Subject: [PATCH] =?UTF-8?q?=E8=A1=A5=E5=85=85mongodbreader=E6=96=87?= =?UTF-8?q?=E6=A1=A3=EF=BC=8C=E4=BF=AE=E6=AD=A3=E9=83=A8=E5=88=86=E6=96=87?= =?UTF-8?q?=E6=A1=A3=E9=94=99=E8=AF=AF=E3=80=82?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- dataxPluginDev.md | 2 +- mongodbreader/doc/mongodbreader.md | 1 + transformer/doc/transformer.md | 2 +- 3 files changed, 3 insertions(+), 2 deletions(-) diff --git a/dataxPluginDev.md b/dataxPluginDev.md index e4828d5a..62567a3b 100644 --- a/dataxPluginDev.md +++ b/dataxPluginDev.md @@ -435,7 +435,7 @@ DataX的内部类型在实现上会选用不同的java类型： #### 如何处理脏数据 -在`Reader.Task`和`Writer.Task`中，功过`AbstractTaskPlugin.getPluginCollector()`可以拿到一个`TaskPluginCollector`，它提供了一系列`collectDirtyRecord`的方法。当脏数据出现时，只需要调用合适的`collectDirtyRecord`方法，把被认为是脏数据的`Record`传入即可。 +在`Reader.Task`和`Writer.Task`中，通过`AbstractTaskPlugin.getTaskPluginCollector()`可以拿到一个`TaskPluginCollector`，它提供了一系列`collectDirtyRecord`的方法。当脏数据出现时，只需要调用合适的`collectDirtyRecord`方法，把被认为是脏数据的`Record`传入即可。 用户可以在任务的配置中指定脏数据限制条数或者百分比限制，当脏数据超出限制时，框架会结束同步任务，退出。插件需要保证脏数据都被收集到，其他工作交给框架就好。 diff --git a/mongodbreader/doc/mongodbreader.md b/mongodbreader/doc/mongodbreader.md index 3535d5b7..6d1e6a99 100644 --- a/mongodbreader/doc/mongodbreader.md +++ b/mongodbreader/doc/mongodbreader.md @@ -132,6 +132,7 @@ MongoDBReader通过Datax框架从MongoDB并行的读取数据，通过主控的J * name：Column的名字。【必填】 * type：Column的类型。【选填】 * splitter：因为MongoDB支持数组类型，但是Datax框架本身不支持数组类型，所以mongoDB读出来的数组类型要通过这个分隔符合并成字符串。【选填】 +* query: MongoDB的额外查询条件。【选填】 #### 5 类型转换 diff --git a/transformer/doc/transformer.md b/transformer/doc/transformer.md index 84fab96a..247ab39b 100644 --- a/transformer/doc/transformer.md +++ b/transformer/doc/transformer.md @@ -2,7 +2,7 @@ ## Transformer定义 -在数据同步、传输过程中，存在用户对于数据传输进行特殊定制化的需求场景，包括裁剪列、转换列等工作，可以借助ETL的T过程实现(Transformer)。DataX包含了完成的E(Extract)、T(Transformer)、L(Load)支持。 +在数据同步、传输过程中，存在用户对于数据传输进行特殊定制化的需求场景，包括裁剪列、转换列等工作，可以借助ETL的T过程实现(Transformer)。DataX包含了完整的E(Extract)、T(Transformer)、L(Load)支持。 ## 运行模型