专注于快乐的事情

分布式

PySpark的背后原理

本文转自http://sharkdtu.com/posts/pyspark-internal.html Spark主要是由Scala语言开发,为了方便和其他系统集成而不引入scala相关依赖,部分实现使用Java语言开发,例如Exte...

Hive学习

Hive学习创建一个最简单的数据库create database IF NOT EXISTS testdb;数据库在HDFS上存储的位置为/user/hive/warehouse/testdb.db 指定数据库在HDFS上存储的位置c...

CDH学习和安装

测试环境安装docker pull cloudera/quickstart:latest docker rm cloudera -f docker run –name cloudera –privileged=true –hostna...

Hadoop常用组件操作

测试环境安装QuickStart VM是一个包含了分布式数据处理平台的虚拟镜像,方便用户试运行CDH,并了解CDH的新功能、新组件。Docker也可以作为快速启动项来部署启动Apache Hadoop和Cloudera,而且速度要比其...

Hbase学习

HBase的特性容量巨大HBase的单表可以有百亿行、百万列 面向列HBase是面向列的存储和权限控制,并支持列独立检索。 vs传统行式数据库 数据是按行存储的 没有索引的查询使用大量I/O 建立索引和物化视图需要花费大量的时间和资...

Docker下MongoDB复制集

安装过程安装docker run -p27018:27017--name mongo0 -d mongo:3.6.2-jessie --replSet "rs0" --bind_ip_all docker run ...

Elasticsearch入门学习

docker安装假设宿主机ip为10.168.1.111下载 docker pull elasticsearch:5.6.4 docker pull mobz/elasticsearch-head:5 安装esmaster...

使用容器构建dubbo服务

背景安装步骤假设运行docker的机器为10.168.1.111 创建Tomcat容器docker pull chaimm/tomcat:1.1docker run --name gaoxi-user-1 -p 8082:8080 -...

k8s入门

背景安装步骤安装docker包$ sudo apt-get install \ apt-transport-https \ ca-certificates \ curl \ software-propertie...

Docker常用操作

docker概念三个基本概念(镜像/容器/仓库) 服务启用停用sudo service docker startsudo service docker stop Docker初步使用 docker run -i -t --name m...