Skip to content
Projects
Groups
Snippets
Help
Loading...
Help
Support
Submit feedback
Contribute to GitLab
Sign in
Toggle navigation
D
DataX
Project
Project
Details
Activity
Releases
Cycle Analytics
Repository
Repository
Files
Commits
Branches
Tags
Contributors
Graph
Compare
Charts
Issues
0
Issues
0
List
Boards
Labels
Milestones
Merge Requests
0
Merge Requests
0
CI / CD
CI / CD
Pipelines
Jobs
Schedules
Charts
Wiki
Wiki
Snippets
Snippets
Members
Members
Collapse sidebar
Close sidebar
Activity
Graph
Charts
Create a new issue
Jobs
Commits
Issue Boards
Open sidebar
risk-feature
DataX
Commits
3d159edb
Commit
3d159edb
authored
Mar 27, 2018
by
祁然
Browse files
Options
Browse Files
Download
Plain Diff
Merge branch 'hbasedoc' into 'master'
修改hbaseConfig相关描述 See merge request !1
parents
baee63f8
a768739d
Changes
2
Hide whitespace changes
Inline
Side-by-side
Showing
2 changed files
with
2 additions
and
70 deletions
+2
-70
hbase11xreader.md
hbase11xreader/doc/hbase11xreader.md
+1
-36
hbase11xwriter.md
hbase11xwriter/doc/hbase11xwriter.md
+1
-34
No files found.
hbase11xreader/doc/hbase11xreader.md
View file @
3d159edb
...
@@ -96,37 +96,6 @@ ROW COLUMN+CELL
...
@@ -96,37 +96,6 @@ ROW COLUMN+CELL
| xiaoming | info:company| 1457082189826 | alibaba |
| xiaoming | info:company| 1457082189826 | alibaba |
3、HbaseReader中有一个必填配置项是:hbaseConfig,需要你联系 HBase PE,将hbase-site.xml 中与连接 HBase 相关的配置项提取出来,以 json 格式填入,同时可以补充更多HBase client的配置,如:设置scan的cache(hbase.client.scanner.caching)、batch来优化与服务器的交互。
如:hbase-site.xml的配置内容如下
```
<configuration>
<property>
<name>
hbase.rootdir
</name>
<value>
hdfs://ip:9000/hbase
</value>
</property>
<property>
<name>
hbase.cluster.distributed
</name>
<value>
true
</value>
</property>
<property>
<name>
hbase.zookeeper.quorum
</name>
<value>
**
*
</value>
</property>
</configuration>
```
转换后的json为:
```
"hbaseConfig": {
"hbase.rootdir": "hdfs: //ip:9000/hbase",
"hbase.cluster.distributed": "true",
"hbase.zookeeper.quorum": "
**
*
"
}
```
### 1.2 限制
### 1.2 限制
1、目前不支持动态列的读取。考虑网络传输流量(支持动态列,需要先将hbase所有列的数据读取出来,再按规则进行过滤),现支持的两种读取模式中需要用户明确指定要读取的列。
1、目前不支持动态列的读取。考虑网络传输流量(支持动态列,需要先将hbase所有列的数据读取出来,再按规则进行过滤),现支持的两种读取模式中需要用户明确指定要读取的列。
...
@@ -162,8 +131,6 @@ ROW COLUMN+CELL
...
@@ -162,8 +131,6 @@ ROW COLUMN+CELL
"name": "hbase11xreader",
"name": "hbase11xreader",
"parameter": {
"parameter": {
"hbaseConfig": {
"hbaseConfig": {
"hbase.rootdir": "hdfs: //xxxx: 9000/hbase",
"hbase.cluster.distributed": "true",
"hbase.zookeeper.quorum": "xxxf"
"hbase.zookeeper.quorum": "xxxf"
},
},
"table": "users",
"table": "users",
...
@@ -237,8 +204,6 @@ ROW COLUMN+CELL
...
@@ -237,8 +204,6 @@ ROW COLUMN+CELL
"name": "hbase11xreader",
"name": "hbase11xreader",
"parameter": {
"parameter": {
"hbaseConfig": {
"hbaseConfig": {
"hbase.rootdir": "hdfs: //xxx 9000/hbase",
"hbase.cluster.distributed": "true",
"hbase.zookeeper.quorum": "xxx"
"hbase.zookeeper.quorum": "xxx"
},
},
"table": "users",
"table": "users",
...
@@ -301,7 +266,7 @@ ROW COLUMN+CELL
...
@@ -301,7 +266,7 @@ ROW COLUMN+CELL
* **hbaseConfig**
* **hbaseConfig**
* 描述:
每个HBase集群提供给DataX客户端连接的配置信息存放在hbase-site.xml,请联系你的HBase PE提供配置信息,并转换为JSON格式
。同时可以补充更多HBase client的配置,如:设置scan的cache、batch来优化与服务器的交互。
* 描述:
连接HBase集群需要的配置信息,JSON格式。必填的项是hbase.zookeeper.quorum,表示HBase的ZK链接地址
。同时可以补充更多HBase client的配置,如:设置scan的cache、batch来优化与服务器的交互。
* 必选:是 <br />
* 必选:是 <br />
...
...
hbase11xwriter/doc/hbase11xwriter.md
View file @
3d159edb
...
@@ -31,37 +31,6 @@ HbaseWriter 插件实现了从向Hbase中写取数据。在底层实现上,Hba
...
@@ -31,37 +31,6 @@ HbaseWriter 插件实现了从向Hbase中写取数据。在底层实现上,Hba
3、写入hbase的时间戳(版本)支持:用当前时间作为版本,指定源端列作为版本,指定一个时间 三种方式作为版本;
3、写入hbase的时间戳(版本)支持:用当前时间作为版本,指定源端列作为版本,指定一个时间 三种方式作为版本;
4、HbaseWriter中有一个必填配置项是:hbaseConfig,需要你联系 HBase PE,将hbase-site.xml 中与连接 HBase 相关的配置项提取出来,以 json 格式填入,同时可以补充更多HBase client的配置来优化与服务器的交互。
如:hbase-site.xml的配置内容如下
```
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://ip:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>***</value>
</property>
</configuration>
```
转换后的json为:
```
"hbaseConfig": {
"hbase.rootdir": "hdfs: //ip: 9000/hbase",
"hbase.cluster.distributed": "true",
"hbase.zookeeper.quorum": "***"
}
```
### 1.2 限制
### 1.2 限制
1、目前只支持源端为横表写入,不支持竖表(源端读出的为四元组: rowKey,family:qualifier,timestamp,value)模式的数据写入;本期目标主要是替换DataX2中的habsewriter,下次迭代考虑支持。
1、目前只支持源端为横表写入,不支持竖表(源端读出的为四元组: rowKey,family:qualifier,timestamp,value)模式的数据写入;本期目标主要是替换DataX2中的habsewriter,下次迭代考虑支持。
...
@@ -133,8 +102,6 @@ HbaseWriter 插件实现了从向Hbase中写取数据。在底层实现上,Hba
...
@@ -133,8 +102,6 @@ HbaseWriter 插件实现了从向Hbase中写取数据。在底层实现上,Hba
"name": "hbase11xwriter",
"name": "hbase11xwriter",
"parameter": {
"parameter": {
"hbaseConfig": {
"hbaseConfig": {
"hbase.rootdir": "hdfs: //ip: 9000/hbase",
"hbase.cluster.distributed": "true",
"hbase.zookeeper.quorum": "***"
"hbase.zookeeper.quorum": "***"
},
},
"table": "writer",
"table": "writer",
...
@@ -200,7 +167,7 @@ HbaseWriter 插件实现了从向Hbase中写取数据。在底层实现上,Hba
...
@@ -200,7 +167,7 @@ HbaseWriter 插件实现了从向Hbase中写取数据。在底层实现上,Hba
*
**hbaseConfig**
*
**hbaseConfig**
* 描述:
每个HBase集群提供给DataX客户端连接的配置信息存放在hbase-site.xml,请联系你的HBase PE提供配置信息,并转换为JSON格式
。同时可以补充更多HBase client的配置,如:设置scan的cache、batch来优化与服务器的交互。
* 描述:
连接HBase集群需要的配置信息,JSON格式。必填的项是hbase.zookeeper.quorum,表示HBase的ZK链接地址
。同时可以补充更多HBase client的配置,如:设置scan的cache、batch来优化与服务器的交互。
*
必选:是
<br
/>
*
必选:是
<br
/>
...
...
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment