diff --git a/hbase11xreader/doc/hbase11xreader.md b/hbase11xreader/doc/hbase11xreader.md index 21afae8f..d51c7254 100644 --- a/hbase11xreader/doc/hbase11xreader.md +++ b/hbase11xreader/doc/hbase11xreader.md @@ -96,37 +96,6 @@ ROW COLUMN+CELL | xiaoming | info:company| 1457082189826 | alibaba | -3、HbaseReader中有一个必填配置项是:hbaseConfig,需要你联系 HBase PE,将hbase-site.xml 中与连接 HBase 相关的配置项提取出来,以 json 格式填入,同时可以补充更多HBase client的配置,如:设置scan的cache(hbase.client.scanner.caching)、batch来优化与服务器的交互。 - - -如:hbase-site.xml的配置内容如下 - -``` - - - hbase.rootdir - hdfs://ip:9000/hbase - - - hbase.cluster.distributed - true - - - hbase.zookeeper.quorum - *** - - -``` -转换后的json为: - -``` -"hbaseConfig": { - "hbase.rootdir": "hdfs: //ip:9000/hbase", - "hbase.cluster.distributed": "true", - "hbase.zookeeper.quorum": "***" - } -``` - ### 1.2 限制 1、目前不支持动态列的读取。考虑网络传输流量(支持动态列,需要先将hbase所有列的数据读取出来,再按规则进行过滤),现支持的两种读取模式中需要用户明确指定要读取的列。 @@ -162,8 +131,6 @@ ROW COLUMN+CELL "name": "hbase11xreader", "parameter": { "hbaseConfig": { - "hbase.rootdir": "hdfs: //xxxx: 9000/hbase", - "hbase.cluster.distributed": "true", "hbase.zookeeper.quorum": "xxxf" }, "table": "users", @@ -237,8 +204,6 @@ ROW COLUMN+CELL "name": "hbase11xreader", "parameter": { "hbaseConfig": { - "hbase.rootdir": "hdfs: //xxx 9000/hbase", - "hbase.cluster.distributed": "true", "hbase.zookeeper.quorum": "xxx" }, "table": "users", @@ -301,7 +266,7 @@ ROW COLUMN+CELL * **hbaseConfig** - * 描述:每个HBase集群提供给DataX客户端连接的配置信息存放在hbase-site.xml,请联系你的HBase PE提供配置信息,并转换为JSON格式。同时可以补充更多HBase client的配置,如:设置scan的cache、batch来优化与服务器的交互。 + * 描述:连接HBase集群需要的配置信息,JSON格式。必填的项是hbase.zookeeper.quorum,表示HBase的ZK链接地址。同时可以补充更多HBase client的配置,如:设置scan的cache、batch来优化与服务器的交互。 * 必选:是
diff --git a/hbase11xwriter/doc/hbase11xwriter.md b/hbase11xwriter/doc/hbase11xwriter.md index cec8144d..ff20abe9 100644 --- a/hbase11xwriter/doc/hbase11xwriter.md +++ b/hbase11xwriter/doc/hbase11xwriter.md @@ -31,37 +31,6 @@ HbaseWriter 插件实现了从向Hbase中写取数据。在底层实现上,Hba 3、写入hbase的时间戳(版本)支持:用当前时间作为版本,指定源端列作为版本,指定一个时间 三种方式作为版本; -4、HbaseWriter中有一个必填配置项是:hbaseConfig,需要你联系 HBase PE,将hbase-site.xml 中与连接 HBase 相关的配置项提取出来,以 json 格式填入,同时可以补充更多HBase client的配置来优化与服务器的交互。 - - -如:hbase-site.xml的配置内容如下 - -``` - - - hbase.rootdir - hdfs://ip:9000/hbase - - - hbase.cluster.distributed - true - - - hbase.zookeeper.quorum - *** - - -``` -转换后的json为: - -``` -"hbaseConfig": { - "hbase.rootdir": "hdfs: //ip: 9000/hbase", - "hbase.cluster.distributed": "true", - "hbase.zookeeper.quorum": "***" - } -``` - ### 1.2 限制 1、目前只支持源端为横表写入,不支持竖表(源端读出的为四元组: rowKey,family:qualifier,timestamp,value)模式的数据写入;本期目标主要是替换DataX2中的habsewriter,下次迭代考虑支持。 @@ -133,8 +102,6 @@ HbaseWriter 插件实现了从向Hbase中写取数据。在底层实现上,Hba "name": "hbase11xwriter", "parameter": { "hbaseConfig": { - "hbase.rootdir": "hdfs: //ip: 9000/hbase", - "hbase.cluster.distributed": "true", "hbase.zookeeper.quorum": "***" }, "table": "writer", @@ -200,7 +167,7 @@ HbaseWriter 插件实现了从向Hbase中写取数据。在底层实现上,Hba * **hbaseConfig** - * 描述:每个HBase集群提供给DataX客户端连接的配置信息存放在hbase-site.xml,请联系你的HBase PE提供配置信息,并转换为JSON格式。同时可以补充更多HBase client的配置,如:设置scan的cache、batch来优化与服务器的交互。 + * 描述:连接HBase集群需要的配置信息,JSON格式。必填的项是hbase.zookeeper.quorum,表示HBase的ZK链接地址。同时可以补充更多HBase client的配置,如:设置scan的cache、batch来优化与服务器的交互。 * 必选:是