首页 > 其他 > 详细

ceph 问题处理

时间:2021-07-28 14:31:20      阅读:55      评论:0      收藏:0      [点我收藏+]

1、三个ceph monitor节点clock skew时钟偏移问题?
解决:(1)其他控制节点更改ntp.conf与controller01进行同步,如果ntpd不生效,使用date -s "10:24:25"命令强制更改。
(2)[root@node-3 ~]# ceph health detail?
mon.node-3 addr 192.168.15.4:6789/0 clock skew 14.5967s > max 5s (latency 0.0261497s)
[root@node-3 ~]# vim /etc/ceph/ceph.conf
mon_clock_drift_allowed = 15 ##注意上面的14.567秒,必须大于这个值才行,当然前提是NTP已经同步,date时间相同
mon_clock_drift_warn_backoff = 30
[root@node-3 ~]# ceph-deploy --overwrite-conf admin node-1 node-2
[root@node-3 ~]# systemctl restart ceph-mon@node-3.service
然后,登陆到node-1、node-2分别只需要重启mon服务,不需要重启存储节点的osd服务,一个节点运行systemctl restart ceph-mon.target应该也行,会重启所有Mon,实验结果好像不行,还是单独到每个节点重启吧。
[root@node-1 ~]# systemctl restart ceph-mon@node-1.service
[root@node-2 ~]# systemctl restart ceph-mon@node-2.service

?

2、监控节点运行ceph -s命令发现too many PGs per OSD(896 > max 300),并出现集群健康告警?
解决:(1)[root@node-3 ~]# ceph osd tree
ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY?
-1 0.97198 root default?
-2 0.06580 host node-2?
?0 0.06580 osd.0 up 1.00000 1.00000?
-3 0.45399 host node-4?
?1 0.45399 osd.1 up 1.00000 1.00000?
-4 0.45219 host node-5?
?2 0.45219 osd.2 up 1.00000 1.00000?
问题原因为集群osd 数量较少,测试过程中建立了大量的pool
(2)在Mon节点,[root@node-3 ~]# vim /etc/ceph/ceph.conf
mon_pg_warn_max_per_osd = 1000
[root@node-3 ~]# ceph-deploy --overwrite-conf admin node-1
[root@node-3 ~]# systemctl restart ceph-mon@node-3.service
[root@node-1 ~]# systemctl restart ceph-mon@node-1.service

?

3、启动OpenStack虚拟机失败,控制台显示no bootable device?
解决:镜像不应该为qcow2格式,应该为raw格式,raw格式的镜像能对接后端ceph存储。
# qemu-img convert image.qcow2 -O raw image2.raw

?

# glance image-create --name CentOS-20171025?--disk-format raw --container-format bare --os-distro centos --visibility public?--file=file.raw?–progress

?

4、roller的web界面部署ceph集群error现象?
解决:[root@roller ~]# roller task
[root@roller ~]# roller task delete -f --task?【任务ID】
[root@roller ~]# roller node --node-id?【error的节点序列号】--deploy --env 1 ?//重复执行执行error节点个数对应的相应次数

?

5、部署节点无法ssh到所有控制节点?
答:(1)默认是Public key登陆,已经把控制节点的ssh配置文件改为password auth还是不行。
(2)把部署节点的/root/.ssh/known_hosts的对应控制节点IP记录删除即可。

?

6、存储节点所有osd都down掉?(耗时最长的问题)
最终解决(NTP问题):起初,控制节点systemctl status ceph-mon@3.service正常,存储节点systemctl status ceph-osd@1.service状态均为active,但是osd就是起不来。
最开始尝试过几种方式排错,但没啥结果:
?
第一种(失败):观察到PG一直处于creating状态,参考网上资料说是crushmap的问题?
未解决:(1)# ceph osd getcrushmap -o crush.map
# crushtool -d crush.map -o crush.txt //反编译才能看的懂文件
# vim crush.txt //在ruleset中修改
? step set_choose_tries 100
# crushtool --compile crush.txt -o better.crush.map
# ceph osd setcrushmap -i better-crush.map

(2)PG一直处于creating的原因就是无法与osd进行关联,一旦互联完成,归置组状态应该变为?active+clean,从而客户端无法读写数据,那么问题应该放在OSD上面,而不是PG上面了。OSD异常是因为PG的状态是果。
?
第二种方式(失败):一度发现osd进程起不来,说是启动进程的请求太快了
(1)# service ceph status osd.0 ?或则systemctl restart ceph-osd@0.service ?发现服务起不来
解决重启osd服务失败:Start request repeated too quickly启动请求太快了
# vim /etc/systemd/system/ceph-osd.target.wants/ceph-osd@0.service
----------
注释?StartLimitInterval = 30min
-------
# systemctl daemon-reload
# systemctl restart ceph-osd.target ??//启动本机上所有osd进程
存储节点执行# systemctl status ceph-osd@0.service,服务起来了,但是osd依然是down的状态,应该需要在控制节点的Mon服务上下功夫,osd进程好了后,需要向Mon进行报告,如果不报告,那么Mon依然认为osd挂了。

(2)但是ceph osd tree发现所有节点依然down掉,服务虽然起来了。执行ceph health detail发现
pg is stuck inactive ,current state creating,last acting ?基本上可以定位ceph创建PG失败
根据第第一种方式的思考,发现PG状态是结果但不是原因。
(3)重启控制节点的mon服务试试,没用。
(4)在各个osd节点,执行ceph-disk activate-all无济于事
参考文档:https://www.2cto.com/net/201704/633243.html
控制节点ceph-deploy osd activate ?ceph01:/dev/sdb1 ceph02:/dev/sdb1激活也没用,注意权限最好为chown ceph:ceph /dev/sdb1
(5)在存储节点dmesg |grep scsi查看硬盘是否错误。或dmesg |less?查看内核错误
参考文档:http://docs.ceph.org.cn/rados/troubleshooting/troubleshooting-osd/
?
第三种方式(成功):?因为有人的提醒,我才关注NTP不对时问题。
(1)起初改了ntp.conf,重启ntpd服务,依然不对时。
(2)控制节点因为改了BIOS,硬件时钟是与10.109.192.5的NTP服务器互通,但是存储节点是私网地址无法与NTP互通,于是更改存储节点的/etc/ntp.conf,把server字段改为控制节点10.10.1.5,重启完ntpd服务,执行ntpq -p命令后,执行date命令但是时间依然不同步。
(3)无奈之下,date -s 10:28:12?强制临时改时间,而后,发现某个存储节点与控制节点能稍微同步,于是改其他存储节点与能同步的节点,重新再ntp.conf中定义,osd终于up了,如释重负。
(4)写入系统时钟,hwclock -w?

?

?

14、ansible批量查看16台节点的网卡名称,MAC信息,千兆万兆带宽

(1)在一台可以上网的机器安装ansible软件

[root@ceph ~]# vim /etc/yum.conf
keepcache=1
[root@ceph ~]# yum clean all
[root@ceph ~]# yum install ansible createrepo -y
[root@ceph ~]# cd /var/cache/yum/x86_64/7/
[root@ceph ~]# cp base/packages/* /srv/ansible_repo
[root@ceph ~]# cp extras/packages/* /srv/ansible_repo
[root@ceph ~]# scp /srv/ansible_repo root@noode-2:/mnt/ansibe_repo

(2)在一台不能上网的机器配置ansible源
[root@node-2 ~]# cd /mnt/ansible_repo
[root@node-2 ~]# rpm -ivh createrepo*.rpm
[root@node-2 ~]# cd ..
[root@node-2 ~]# createrepo ansible_repo
[root@node-2 ~]# vim /etc/yum.repos.d/ansibl.repo
[ansible]
name=local ansible yum
baseurl=file:///mnt/ansible_repo
enabled=1
gpgcheck=0
[root@node-2 ~]# yum repolist?
[root@node-2 ~]# yum install ansible -y?
[root@node-2 ~]# vim /etc/ansible/hosts
[test]
node-01 ansible_ssh_pass=passw0rd
node-16 ansible_ssh_pass=passw0rd
------------------------------------
[root@node-2 ~]# ansible test -m -a "ifconfig |grep eth[0-9]|awk -F: ‘{print $1}"
node-1 | SUCCESS | rc=0 >>
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
eth1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500

[root@node-2 ~]# ansible test -m -a "ifconfig |grep ether|awk ‘{print $2}‘"
node-1 | SUCCESS | rc=0 >>
ether 00:0c:29:19:80:06 txqueuelen 1000 (Ethernet)
ether 00:0c:29:19:80:10 txqueuelen 1000

[root@roller mnt]# ansible test -m shell -a "ethtool eth0|grep -i speed"
node-1 | SUCCESS | rc=0 >>
Speed: 1000Mb/s(Ethernet)

[root@roller mnt]# tar zcvf ansible.tar.gz ansible_repo/ ? ##把这个压缩包下载下来,防止无法连外网而无法安装ansible

?

15、为什么我明明使用1T的系统盘,但是进入lsblk一看,只有几个G左右的LVM,我以为是没分完区,再fdisk /dev/vda,分是能分成功,但是df和lsblk发现vda3只有1K?
解决:(最终发现是虚拟机模板镜像不合适)就是无论你分配多大配额上去,每个虚拟机的系统盘默认可用的就只有8G,但是并不是说系统盘只有8G,需要把没分配完的分区,然后扩展到LVM当中。
[root@host-172-16-1-229 ~]# lsblk?
[root@host-172-16-1-229 ~]# fdisk /dev/vda
【一直回车,并且使用主分区,不使用扩展分区,w保存退出】
[root@host-172-16-1-229 ~]# partprobe
[root@host-172-16-1-229 ~]# pvcreate /dev/vda3
[root@host-172-16-1-229 ~]# vgextend centos /dev/vda3
[root@host-172-16-1-229 ~]# lvextend -L +192G /dev/centos/root ##192G是lsblk看到未分配的容量
[root@host-172-16-1-229 ~]# xfs_growfs /dev/centos/root?
[root@host-172-16-1-229 ~]# df -Th

?

osd_crush_chooseleaf_type

0 是给单节点的 ceph 集群使用的,而 1 是默认值

?

[root@ch-mon-1 ceph]# cat ceph.conf 
[global]
fsid = 31fc3bef-d912-4d12-aa1e-130d3270d5db
mon_initial_members = ch-mon-1, ch-mon-2, ch-mon-3
mon_host = 172.16.30.78,172.16.30.79,172.16.30.80
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx

public_network = 172.16.30.0/24
cluster_network = 172.16.31.0/24
osd_pool_default_size = 3
osd_pool_default_min_size = 1
osd_pool_default_pg_num = 8
osd_pool_default_pgp_num = 8
osd_crush_chooseleaf_type = 1

[mon]
mon_clock_drift_allowed = 0.5

[osd]
osd_mkfs_type = xfs
osd_mkfs_options_xfs = -f
filestore_max_sync_interval = 5
filestore_min_sync_interval = 0.1
filestore_fd_cache_size = 655350
filestore_omap_header_cache_size = 655350
filestore_fd_cache_random = true
osd op threads = 8
osd disk threads = 4
filestore op threads = 8
max_open_files = 655350

?

?
?
?

ceph 问题处理

原文:https://blog.51cto.com/u_15315026/3207594

(0)
(0)
   
举报
评论 一句话评论(0
分享档案
最新文章
教程昨日排行
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!