Ich hatte ja beschrieben wie man sich auf einfache Art und Weise den Tag versauen kann, indem man "mal eben" seinen Ceph Cluster auf Nautilus aktualisiert.
Wenn man sich wieder beruhigt hat, dann kann man auch darüber nachdenken wie man seinen ollen Filestore auf Bluestore aktualisiert. Das geht nämlich eigentlich ganz einfach, indem man aufhört Filestore zu nutzen und die Partition mit Bluestore formatiert und wieder einbindet.
Tendenziell bin ich bei sowas ja faul und möchte die Arbeit einmal richtig machen und dann beliebig oft reproduzieren. Daher muss ich folgende Schritte gehen:
Jetzt wo ich alles habe, kann ich die Schritte auch für die anzahl der OSD und Festplatten automatisieren:
OSDONHOST="0 1 2 3 4 5 6 7"
PARTITIONTOUSE=4
for i in $OSDONHOST
do
ceph osd out $i
systemctl stop ceph-osd@$i.service
ceph osd destroy $i --yes-i-really-mean-it
done
for i in a b c d e f g h
do
ceph-volume lvm zap /dev/sd$i$PARTITION
ceph-volume lvm create --data /dev/sd$i$PARTITION
done
Jetzt sollte man aber auch so brav sein und das nicht sofort bei allen Knoten machen - das Resilvern dauert ein wenig.