mirror of
https://github.com/alibaba/DataX.git
synced 2025-05-02 05:11:42 +08:00
补充mongodbreader文档,修正部分文档错误。
This commit is contained in:
parent
e2aed2e9e0
commit
21f2539ce6
@ -435,7 +435,7 @@ DataX的内部类型在实现上会选用不同的java类型:
|
||||
|
||||
#### 如何处理脏数据
|
||||
|
||||
在`Reader.Task`和`Writer.Task`中,功过`AbstractTaskPlugin.getPluginCollector()`可以拿到一个`TaskPluginCollector`,它提供了一系列`collectDirtyRecord`的方法。当脏数据出现时,只需要调用合适的`collectDirtyRecord`方法,把被认为是脏数据的`Record`传入即可。
|
||||
在`Reader.Task`和`Writer.Task`中,通过`AbstractTaskPlugin.getTaskPluginCollector()`可以拿到一个`TaskPluginCollector`,它提供了一系列`collectDirtyRecord`的方法。当脏数据出现时,只需要调用合适的`collectDirtyRecord`方法,把被认为是脏数据的`Record`传入即可。
|
||||
|
||||
用户可以在任务的配置中指定脏数据限制条数或者百分比限制,当脏数据超出限制时,框架会结束同步任务,退出。插件需要保证脏数据都被收集到,其他工作交给框架就好。
|
||||
|
||||
|
@ -132,6 +132,7 @@ MongoDBReader通过Datax框架从MongoDB并行的读取数据,通过主控的J
|
||||
* name:Column的名字。【必填】
|
||||
* type:Column的类型。【选填】
|
||||
* splitter:因为MongoDB支持数组类型,但是Datax框架本身不支持数组类型,所以mongoDB读出来的数组类型要通过这个分隔符合并成字符串。【选填】
|
||||
* query: MongoDB的额外查询条件。【选填】
|
||||
|
||||
#### 5 类型转换
|
||||
|
||||
|
@ -2,7 +2,7 @@
|
||||
|
||||
## Transformer定义
|
||||
|
||||
在数据同步、传输过程中,存在用户对于数据传输进行特殊定制化的需求场景,包括裁剪列、转换列等工作,可以借助ETL的T过程实现(Transformer)。DataX包含了完成的E(Extract)、T(Transformer)、L(Load)支持。
|
||||
在数据同步、传输过程中,存在用户对于数据传输进行特殊定制化的需求场景,包括裁剪列、转换列等工作,可以借助ETL的T过程实现(Transformer)。DataX包含了完整的E(Extract)、T(Transformer)、L(Load)支持。
|
||||
|
||||
## 运行模型
|
||||
|
||||
|
Loading…
Reference in New Issue
Block a user