专注于快乐的事情

Hadoop常用组件操作

测试环境安装

QuickStart VM是一个包含了分布式数据处理平台的虚拟镜像,方便用户试运行CDH,并了解CDH的新功能、新组件。
Docker也可以作为快速启动项来部署启动Apache Hadoop和Cloudera,而且速度要比其他启动方式更快。
使用的镜像为cloudera/quickstart:latest

预装软件包(MySQL、Oozie、Hadoop、Hive、Zookeeper、Storm、Kafka以及Spark等等)。

#hdfs#

常用命令

hadoop fs -mkdir /user/root/temp

hadoop fs -ls /user/root/

hadoop fs -put express-deployment.json /user/root/temp/

hadoop fs -ls /user/root/temp/

参考

hbase测试

启动

hbase shell

查看状态

status

创建表

建立一个表scores,有两个列族grad和courese

create 'scores','grad','courese'
create 'test','a'

查看表

list

查看表结构

describe ‘scores’

插入数据

put ‘表名’,’行键名’,’列名’,’单元格值’,’时间戳’,时间戳可以省略

put ‘scores’,’Tom’,’courese:math’,’100’
put ‘scores’,’Mark’,’courese:english’,’120’

put ‘scores’,’Mark’,’grad’,’60’
put ‘scores’,’Mark’,’grad’,’61’
put ‘scores’,’Mark’,’gradxx’,’6’

查看数据

//查看表所有记录
scan ‘scores’

//条件查询
get ‘scores’,’Mark’
get ‘scores’,’Mark’,’grad’

###修改表结构(新增列族’ranking’)

增加一列族

alter ‘scores’,NAME=’ranking’

put ‘scores’,’Tom’,’ranking’,1
put ‘scores’,’Mark’,’ranking’,2
put ‘scores’,’Mark’,’ranking:m1’,7

###删除表
disable ‘hbasename’

drop ‘scores’

web页面进行访问

hive测试

启动
hive

zookeeper

启动

zookeeper-client

进入后,可以执行的命令

显示根目录下文件:ls /
创建文件,并设置初始内容: create /zk "test"
获取文件内容: get /zk
修改文件内容: set /zk "zkbak"
删除文件: delete /zk

参考

参考

https://hub.docker.com/r/cloudera/clusterdock/

https://wenku.baidu.com/view/1c2ad6ee43323968001c92be.html

从MySQL到Hive
https://www.cnblogs.com/charlist/p/7122198.html
https://blog.csdn.net/scgaliguodong123_/article/details/46626779

评论系统未开启,无法评论!