github/DataX
5
0
Fork 0
mirror of https://github.com/alibaba/DataX.git synced 2025-05-02 03:01:58 +08:00
Code Issues Packages Projects Releases Wiki Activity

修改hbaseConfig相关描述

Browse Source
This commit is contained in:
mazhenlin 2018-03-26 15:23:25 +08:00
parent baee63f8c3
commit a768739d4a
2 changed files with 2 additions and 70 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

37
hbase11xreader/doc/hbase11xreader.md
View File

@ -96,37 +96,6 @@ ROW COLUMN+CELL
| xiaoming | info:company| 1457082189826 | alibaba |
3、HbaseReader中有一个必填配置项是：hbaseConfig，需要你联系 HBase PE，将hbase-site.xml 中与连接 HBase 相关的配置项提取出来，以 json 格式填入，同时可以补充更多HBase client的配置，如：设置scan的cache（hbase.client.scanner.caching）、batch来优化与服务器的交互。
如：hbase-site.xml的配置内容如下
```
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://ip:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>***</value>
</property>
</configuration>
```
转换后的json为：
```
"hbaseConfig": {
"hbase.rootdir": "hdfs: //ip:9000/hbase",
"hbase.cluster.distributed": "true",
"hbase.zookeeper.quorum": "***"
}
```
### 1.2 限制
1、目前不支持动态列的读取。考虑网络传输流量（支持动态列，需要先将hbase所有列的数据读取出来，再按规则进行过滤），现支持的两种读取模式中需要用户明确指定要读取的列。
@ -162,8 +131,6 @@ ROW COLUMN+CELL
"name": "hbase11xreader",
"parameter": {
"hbaseConfig": {
"hbase.rootdir": "hdfs: //xxxx: 9000/hbase",
"hbase.cluster.distributed": "true",
"hbase.zookeeper.quorum": "xxxf"
},
"table": "users",
@ -237,8 +204,6 @@ ROW COLUMN+CELL
"name": "hbase11xreader",
"parameter": {
"hbaseConfig": {
"hbase.rootdir": "hdfs: //xxx 9000/hbase",
"hbase.cluster.distributed": "true",
"hbase.zookeeper.quorum": "xxx"
},
"table": "users",
@ -301,7 +266,7 @@ ROW COLUMN+CELL
* **hbaseConfig**
* 描述：每个HBase集群提供给DataX客户端连接的配置信息存放在hbase-site.xml，请联系你的HBase PE提供配置信息，并转换为JSON格式。同时可以补充更多HBase client的配置，如：设置scan的cache、batch来优化与服务器的交互。
* 描述：连接HBase集群需要的配置信息，JSON格式。必填的项是hbase.zookeeper.quorum，表示HBase的ZK链接地址。同时可以补充更多HBase client的配置，如：设置scan的cache、batch来优化与服务器的交互。
* 必选：是 <br />

35
hbase11xwriter/doc/hbase11xwriter.md
View File

@ -31,37 +31,6 @@ HbaseWriter 插件实现了从向Hbase中写取数据。在底层实现上，Hba
3、写入hbase的时间戳（版本）支持：用当前时间作为版本，指定源端列作为版本，指定一个时间 三种方式作为版本；
4、HbaseWriter中有一个必填配置项是：hbaseConfig，需要你联系 HBase PE，将hbase-site.xml 中与连接 HBase 相关的配置项提取出来，以 json 格式填入，同时可以补充更多HBase client的配置来优化与服务器的交互。
如：hbase-site.xml的配置内容如下
```
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://ip:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>***</value>
</property>
</configuration>
```
转换后的json为：
```
"hbaseConfig": {
"hbase.rootdir": "hdfs: //ip: 9000/hbase",
"hbase.cluster.distributed": "true",
"hbase.zookeeper.quorum": "***"
}
```
### 1.2 限制
1、目前只支持源端为横表写入，不支持竖表（源端读出的为四元组: rowKey，family:qualifier，timestamp，value）模式的数据写入；本期目标主要是替换DataX2中的habsewriter，下次迭代考虑支持。
@ -133,8 +102,6 @@ HbaseWriter 插件实现了从向Hbase中写取数据。在底层实现上，Hba
"name": "hbase11xwriter",
"parameter": {
"hbaseConfig": {
"hbase.rootdir": "hdfs: //ip: 9000/hbase",
"hbase.cluster.distributed": "true",
"hbase.zookeeper.quorum": "***"
},
"table": "writer",
@ -200,7 +167,7 @@ HbaseWriter 插件实现了从向Hbase中写取数据。在底层实现上，Hba
* **hbaseConfig**
* 描述：每个HBase集群提供给DataX客户端连接的配置信息存放在hbase-site.xml，请联系你的HBase PE提供配置信息，并转换为JSON格式。同时可以补充更多HBase client的配置，如：设置scan的cache、batch来优化与服务器的交互。
* 描述：连接HBase集群需要的配置信息，JSON格式。必填的项是hbase.zookeeper.quorum，表示HBase的ZK链接地址。同时可以补充更多HBase client的配置，如：设置scan的cache、batch来优化与服务器的交互。
* 必选：是 <br />