查看: 638|回复: 0

[PHP学习] Ceph v12.2 Luminous基于ubuntu16.04集群部署

发表于 2017-10-29 08:31:52
太阳http代理AD

第一次接触ceph集群,感谢官方的指导文档和许多网友提供的教程,糊糊涂涂算是把集群部署起来了。由于Luminous12.2刚发布不久,部署起来跟旧版本还是有些许差别,所以以此做下笔记也给需要的人做下参考。
Ps. 刚开始接触ceph的同学,十分建议先把官方文档看一遍。

ceph官方文档

1. Ceph介绍

Ceph 是一个高性能、可靠、可扩展的开源存储平台。它是一个自由的分布式存储系统,提供了对象、块和文件级存储的接口,并可以不受单点故障的影响而运行。

Ceph集群结构: (1)Ceph Admin-管理节点,用来安装ceph-deploy 进行ceph部署使用,基本上大部分操作都在这台机器上。 (2)Ceph OSD (ceph-osd) - 控制数据存储,数据复制和恢复。Ceph 集群需要至少两个 Ceph OSD 服务器。这次安装中我们将使用三个 Ubuntu 服务器。 (3)Ceph Monitor (ceph-mon) - 监控集群状态并运行 OSD 映射 和 CRUSH 映射。这里我们使用一个服务器。 (4)Ceph Meta Data Server (ceph-mds) - 如果你想把 Ceph 作为文件系统使用,就需要这个。

2. OS系统

Ubuntu 16.04.3

3. Ceph 版本

Ceph v12.2 Luminous

4. 设置固定IP和修改主机名(所有节点)

(1)设置对应的固定IP(每个节点分别设置)

  1. 192.168.31.131 admin_server
  2. 192.168.31.132 mon_server
  3. 192.168.31.133 osd_server_1
  4. 192.168.31.134 osd_server_2
复制代码
(2)修改/etc/hostname,修改为对应的主机名

(3)修改/etc/hosts
将以下添加到hosts

  1. 192.168.31.132 mon_server
  2. 192.168.31.133 osd_server_1
  3. 192.168.31.134 osd_server_2
复制代码
5. 修改apt源(所有节点) (1)修改/etc/apt/sources.list,增加网易下载源(xenial 是ununtu16.04的版本代号,不同版本不一样)
  1. deb http://mirrors.163.com/ubuntu/ xenial main restricted universe multiverse
  2. deb http://mirrors.163.com/ubuntu/ xenial-security main restricted universe multiverse
  3. deb http://mirrors.163.com/ubuntu/ xenial-updates main restricted universe multiverse
  4. deb http://mirrors.163.com/ubuntu/ xenial-backports main restricted universe multiverse
  5. ## 测试版源
  6. deb http://mirrors.163.com/ubuntu/ xenial-proposed main restricted universe multiverse
  7. ## 源码
  8. deb-src http://mirrors.163.com/ubuntu/ xenial main restricted universe multiverse
  9. deb-src http://mirrors.163.com/ubuntu/ xenial-security main restricted universe multiverse
  10. deb-src http://mirrors.163.com/ubuntu/ xenial-updates main restricted universe multiverse
  11. deb-src http://mirrors.163.com/ubuntu/ xenial-backports main restricted universe multiverse
  12. ##测试版源
  13. deb-src http://mirrors.163.com/ubuntu/ xenial-proposed main restricted universe multiverse
复制代码
(2)更新
  1. sudo apt-get update
  2. sudo apt-get install
复制代码
6. OS环境配置(所有节点) (1)安装ntp:用于同步所有节点的日期和时间
sudo apt-get install ntp (2)安装SSH: 用于admin控制其它节点
sudo apt-get install openssh-server 7. 创建ceph用户(所有节点)
  1. sudo useradd -d /home/cephuser -m cephuser
  2. sudo passwd cephuser
  3. echo "cephuser ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cephuser
  4. sudo chmod 0440 /etc/sudoers.d/cephuser
复制代码
8. 安装ceph apt key(admin节点) (1)安装key(使用163源)
  1. wget -q -O- 'http://mirrors.163.com/ceph/keys/release.asc' | sudo apt-key add -
  2. echo deb http://mirrors.163.com/ceph/debian-luminous/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list
复制代码
(2)安装ceph-deploy
sudo apt-get update && sudo apt-get install -y ceph-deploy 9. 创建ssh信任(admin) (1)生成公钥
ssh-keygen

(全按回车键,默认)

  1. Generating public/private key pair.
  2. Enter file in which to save the key (/ceph-admin/.ssh/id_rsa):
  3. Enter passphrase (empty for no passphrase):
  4. Enter same passphrase again:
  5. Your identification has been saved in /ceph-admin/.ssh/id_rsa.
  6. Your public key has been saved in /ceph-admin/.ssh/id_rsa.pub.
复制代码
(2)复制public key到其它节点需在普通用户权限下执行,在对话窗口输入yes,然后输入对端用户密码
  1. ssh-copy-id cephuser@mon_server
  2. ssh-copy-id cephuser@osd_server_1
  3. ssh-copy-id cephuser@osd_server_2
复制代码
(3)修改 ~/.ssh/config
添加以下内容:
  1. Host mon_server
  2. Hostname mon_server
  3. User cephuser
  4. Host osd_server_1
  5. Hostname osd_server_1
  6. User cephuser
  7. Host osd_server_2
  8. Hostname osd_server_2
  9. User cephuser
复制代码
10. 开始创建集群(admin) (1)使用ceph-deploy部署。 首先需要创建工作环境,该环境会保存所有的配置文件:
  1. mkdir ~/my-cluster
  2. cd ~/my-cluster
复制代码
(2)创建集群,其中mon_server是monitor节点,执行该命令会生成ceph配置文件、monitor密钥文件以及日志文件。
ceph-deploy new mon_server (3)修改默认冗余份数(此参数只有当OSD节点小于3的时候才需要修改,默认的冗余份数是3,如果是2节点需要设置为2,如果osd节点大于2,则此步骤省略),修改ceph.conf文件,第一个参数2是副本数量,第二个2000是 日志大小约为2G,在[global]下增加以下内容:
  1. osd pool default size = 2
  2. osd journal size = 2000
复制代码
(4)配置网卡和网络(OSD节点单网卡请忽略)
OSD节点是双网卡,因此需要设置使用的网卡和网络地址

修改ceph.conf文件,在[global]下增加以下内容:

  1. public network = 192.168.31.0/24
  2. cluster network = 10.10.100.0/24
复制代码
(5)开始安装ceph
注:因为CFW的问题,管理节点ceph-Deploy前Ceph镜像源修改非常重要,这里采用了网易镜像
  1. export CEPH_DEPLOY_REPO_URL=http://mirrors.163.com/ceph/debian-luminous/
  2. export CEPH_DEPLOY_GPG_URL=http://mirrors.163.com/ceph/keys/release.asc
复制代码
(6)在所有节点开始安装ceph
ceph-deploy install admin_server mon_server osd_server_1 osd_server_2 (7)初始化mon节点和收集密钥信息
ceph-deploy mon create-initial

执行完毕,目录应该有以下文件:

  1. {cluster-name}.client.admin.keyring
  2. {cluster-name}.bootstrap-osd.keyring
  3. {cluster-name}.bootstrap-mds.keyring
  4. {cluster-name}.bootstrap-rgw.keyring
复制代码

完成以上步骤,安装完成,但还没有配置osd节点。

(8) 配置osd节点
lsblk命令查看磁盘结构,假设选择的是/dev/sdb(使用虚拟机的话,可以添加磁盘)

格式化对应的磁盘:

  1. ceph-deploy disk zap osd_server_1:sdb
  2. ceph-deploy disk zap osd_server_2:sdb
复制代码

以上步骤会清空磁盘的所有数据。 接下来创建osd,注意由于我们只是测试,故没有使用单独的磁盘作为journal,实际在生产环境下,需要配备SSD分区作为journal,能够最大化IO吞吐量。

  1. ceph-deploy osd create osd_server_1:sdb
  2. ceph-deploy osd create osd_server_2:sdb
复制代码
(9)配置admin节点
admin节点同时也作为我们的client节点,需要拷贝其他节点的配置文件以及密钥,使得不需要指定mon地址以及用户信息就可以直接管理我们的ceph集群,执行以下命令即可:
  1. ceph-deploy admin admin_server mon_server osd_server_1 osd_server_2
  2. sudo chmod +r /etc/ceph/ceph.client.admin.keyring # 保证具有读取的密钥的权限
复制代码

(10)配置mgr
运行ceph health,打印:
HEALTH_WARN no active mgr
自从ceph 12开始,manager是必须的。应该为每个运行monitor的机器添加一个mgr,否则集群处于WARN状态。(具体可以参考Luminous的release日志)
在mon_server上创建名称为mon_mgr的mgr服务
ceph-deploy mgr create mon_server:mon_mgr
查看状态:

  1. hcy@admin_server:~/my-cluster$ ceph health
  2. HEALTH_OK
  3. hcy@admin_server:~/my-cluster$ ceph -s
  4. cluster:
  5. id: 7981a8fc-378d-4564-95cf-e464d46bdd38
  6. health: HEALTH_OK
  7. services:
  8. mon: 1 daemons, quorum mon_server
  9. mgr: mon_mgr(active)
  10. osd: 2 osds: 2 up, 2 in
  11. data:
  12. pools: 0 pools, 0 pgs
  13. objects: 0 objects, 0 bytes
  14. usage: 2108 MB used, 28409 MB / 30517 MB avail
  15. pgs:
复制代码
(11)访问dashboard
启用dashboard(mon_server节点)

ceph mgr module enable dashboard
通过 http://192.168.31.132:7000 访问dashboard

dashboard的port默认为7000,可以执行ceph config-key set mgr/dashboard/server_port $PORT修改port。
也可以执行ceph config-key set mgr/dashboard/server_addr $IP指定dashboard的访问IP。

至此Ceph的集群搭建算是完成了,下一步会进行块设备的搭建。

参考:

CEPH 分布式存储部署手册 (Ubuntu 14.04)
如何在 Ubuntu 16.04 中安装 Ceph 存储集群
CentOS7.2部署Luminous版Ceph-12.2.0



太阳http代理AD
回复

使用道具 举报