Ceph安装和离线源制作(mimic版本)

环境

系统：Centos 7（系统最小化安装）
版本：Ceph mimic

系统配置

配置主机名hostname、hosts、关闭firewalld、ssh无密码登录、ntp时间同步等，过程略。

保存下载rpm包，安装或升级的同时保留RPM包。yum 默认情况下，升级或者安装后会删除下载的rpm包。不过，我们也可以设置不删除下载的rpm包。

vim/etc/yum.conf
[main]
cachedir=/var/cache/yum
keepcache=0

将 keepcache=0 修改为 keepcache=1，安装或者升级后，在目录 /var/cache/yum 下就会有下载的 rpm 包了。

配置源，使用阿里源

1
2
3

rm -f /etc/yum.repos.d/*
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

删除阿里内网地址

1	sed -i '/aliyuncs.com/d' /etc/yum.repos.d/*.repo

创建ceph源

echo '
[ceph-noarch]
name=Ceph noarch packages
baseurl=https://mirrors.aliyun.com/ceph/rpm-mimic/el7/noarch
enabled=1
gpgcheck=1
priority=1
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
'>/etc/yum.repos.d/ceph.repo

生成缓存

1	yum clean all && yum makecache

指定安装版本的源

1 2	export CEPH_DEPLOY_REPO_URL=https://mirrors.aliyun.com/ceph/rpm-mimic/el7 export CEPH_DEPLOY_GPG_URL=https://mirrors.aliyun.com/ceph/keys/release.asc

安装Ceph

ceph-node1：Ceph mon+osd节点
ceph-node2：Ceph mon+osd节点
ceph-node3；Ceph mon+osd节点

安装ceph-deploy配置工具

1	yum install -y ceph-deploy

创建配置目录

1	mkdir /etc/ceph && cd /etc/ceph/

初始化Mon配置

1	ceph-deploy new --public-network 192.168.111.0/24 ceph-node{1,2,3}

配置网络,单网卡忽略修改冗余份数为2，日志大小2G

echo '
mon_clock_drift_allowed = 2    
osd_journal_size = 4086
osd_pool_default_pg_num = 128
osd_pool_default_pgp_num = 128
osd pool default size = 2
osd pool default min size = 1
rbd_default_features = 1
client_quota = true
'>>./ceph.conf

安装Ceph

1	ceph-deploy install --release mimic ceph-admin ceph-node{1,2,3}

初始化monitor和key

1	ceph-deploy --overwrite-conf mon create-initial

分发拷贝配置及密钥

1 2	chmod 644 /etc/ceph/ceph.client.admin.keyring ceph-deploy admin ceph-admin ceph-node{1,2,3}

创建存储节点，清空磁盘

1
2
3

ceph-deploy disk zap ceph-node1 /dev/vdb
ceph-deploy disk zap ceph-node2 /dev/vdb
ceph-deploy disk zap ceph-node3 /dev/vdb

查看可用磁盘

1
2
3

ceph-deploy disk list ceph-node1
ceph-deploy disk list ceph-node2
ceph-deploy disk list ceph-node3

创建osd

1
2
3

ceph-deploy --overwrite-conf osd create ceph-node1 --data /dev/vdb 
ceph-deploy --overwrite-conf osd create ceph-node2 --data /dev/vdb 
ceph-deploy --overwrite-conf osd create ceph-node3 --data /dev/vdb

创建 ceph mgr 管理进程服务，自12版本启用

1
2
3

ceph-deploy --overwrite-conf mgr create ceph-node1
ceph-deploy --overwrite-conf mgr create ceph-node2
ceph-deploy --overwrite-conf mgr create ceph-node3

创建mon

ceph-deploy --overwrite-conf mon create ceph-node1
ceph-deploy --overwrite-conf admin ceph-node1
ceph-deploy --overwrite-conf mon create ceph-node2
ceph-deploy --overwrite-conf admin ceph-node2
ceph-deploy --overwrite-conf mon create ceph-node3
ceph-deploy --overwrite-conf admin ceph-node3

取消Cephx认证（可选）
把下列配置加入 Ceph 配置文件的 [global] 段下即可禁用 cephx 认证

1
2
3

auth cluster required = none
auth service required = none
auth client required = none

修改后，需要重启 Ceph服务，在每个ceph节点上都需要执行

1 2	systemctl restart ceph-mon.target systemctl restart ceph-osd.target

启用dashboard (在mon节点)

1	ceph mgr module enable dashboard

设置dashboard的ip和端口

1
2
3

ceph config-key put mgr/dashboard/server_addr ceph-node1
ceph config-key put mgr/dashboard/server_port 8443
systemctl restart ceph-mgr@ceph-node1

生成并安装自签名证书

1 2	# ceph dashboard create-self-signed-cert Self-signed certificate created

创建具有管理员角色的用户

1 2	# ceph dashboard set-login-credentials admin admin Username and password updated

登录Web界面

制作repo文件

拷贝安装下载的ceph rpm包到指定文件夹

1	find /var/cache/yum/ -name *.rpm \| xargs -i cp {} ceph_mimic_rpms/

这里要用到createrepo命令，如果没有此命令需要先安装它

1	yum install createrepo -y

生成一个repodata文件夹

1	createrepo ceph_mimic_rpms/

之后就可以正常离线安装ceph。如果机器无法访问外网，需要事先从https://download.ceph.com/keys/release.asc 下载对应的release.asc文件，上传到集群的每一个节点上，执行如下命令：

1	rpm --import './release.asc'

rpm包更新
在使用过程中，可能还需要添加其他rpm包，把rpm包丢到ceph_mimic_rpms/目录下，我们不用重新制作repodata文件，只需要update一下。

1	createrepo --update ceph_mimic_rpms/

本机使用ceph离线源

1 2	mkdir /etc/yum.repos.d/backup mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/backup

在文件 /etc/yum.repos.d/ceph-deploy.repo中添加以下内容，保存

[LocalCeph]
name=LocalCeph
baseurl=file:///opt/ceph_mimic_rpms    //ceph包存放目录
gpgcheck=0
enabled=1

执行下面命令生效

1
2
3

yum clean all
yum makecache
yum list | grep ceph

最后，离线安装ceph，过程同上。

其他机器使用ceph离线源

在ceph源机器上安装nginx，createrepo，reposync

1	yum install nginx createrepo yum-utils -y

在nginx根目录建立文件夹

1	mkdir -p /usr/share/nginx/html/yum/x86_64/ceph/RPMS

启动nginx

1	systemctl enable nginx && systemctl restart nginx

将下载的ceph包放在/usr/share/nginx/html/yum/x86_64/ceph/RPMS目录下

自动生成repodata

1	createrepo -p /usr/share/nginx/html/yum/x86_64/ceph/

在client端创建repo文件ceph-deploy.repo

[Ceph]
name=Ceph
baseurl=http://server IP/yum/x86_64/ceph
gpgcheck=0
enabled=1

验证

1
2
3

yum clean all
yum makecache
yum list | grep ceph