Debian Cluster CEPH - Histórico de revisão

Gondim em 16h57min de 16 de abril de 2026

2026-04-16T16:57:30Z

← Edição anterior		Edição das 16h57min de 16 de abril de 2026
Linha 1:		Linha 1:
	== Introdução ==		== Introdução ==
	Este artigo tem como foco explicar como adicionar um Debian GNU/Linux em um Proxmox Cluster + HA com 2 nodes. Como muitos sabem, um '''Cluster''' deve ser composto de no '''mínimo 3 nodes''' para que possa dar segurança, existir '''quorum''' e quando usamos '''CEPH''' também precisamos de pelo menos 3 nodes com '''OSDs''' para termos uma estabilidade e segurança no sistema. O problema é quando se quer fazer isso com apenas 2 servidores Proxmox. Comprar um terceiro servidor às vezes ainda não está nos planos mas você tem uma máquina parada, onde você pode adicionar 2 SSDs e com 4G de ram você pode adicionar ela no '''Cluster''' para servir de quorum e de disco '''CEPH'''. Dessa maneira você consegue com 2 servidores '''Proxmox''' e uma máquina que chamei de '''Quorum Device''', colocar em produção um Cluster com HA funcional.t		Este artigo tem como foco explicar como adicionar um Debian GNU/Linux em um Proxmox Cluster + HA com 2 nodes. Como muitos sabem, um '''Cluster''' deve ser composto de no '''mínimo 3 nodes''' para que possa dar segurança, existir '''quorum''' e quando usamos '''CEPH''' também precisamos de pelo menos 3 nodes com '''OSDs''' para termos uma estabilidade e segurança no sistema. O problema é quando se quer fazer isso com apenas 2 servidores Proxmox. Comprar um terceiro servidor às vezes ainda não está nos planos mas você tem uma máquina parada, onde você pode adicionar 2 SSDs e com 4G de ram você pode adicionar ela no '''Cluster''' para servir de quorum e de disco '''CEPH'''. Dessa maneira você consegue com 2 servidores '''Proxmox''' e uma máquina que chamei de '''Quorum Device''', colocar em produção um Cluster com HA funcional.

	== Diagrama ==		== Diagrama ==

Gondim em 16h57min de 16 de abril de 2026

2026-04-16T16:57:20Z

← Edição anterior		Edição das 16h57min de 16 de abril de 2026
Linha 1:		Linha 1:
	== Introdução ==		== Introdução ==
	Este artigo tem como foco explicar como adicionar um Debian GNU/Linux em um Proxmox Cluster + HA com 2 nodes. Como muitos sabem, um '''Cluster''' deve ser composto de no '''mínimo 3 nodes''' para que possa dar segurança, existir '''quorum''' e quando usamos '''CEPH''' também precisamos de pelo menos 3 nodes com '''OSDs''' para termos uma estabilidade e segurança no sistema. O problema é quando se quer fazer isso com apenas 2 servidores Proxmox. Comprar um terceiro servidor às vezes ainda não está nos planos mas você tem uma máquina parada, onde você pode adicionar 2 SSDs e com 4G de ram você pode adicionar ela no '''Cluster''' para servir de quorum e de disco '''CEPH'''. Dessa maneira você consegue com 2 servidores '''Proxmox''' e uma máquina que chamei de '''Quorum Device''', colocar em produção um Cluster com HA funcional.		Este artigo tem como foco explicar como adicionar um Debian GNU/Linux em um Proxmox Cluster + HA com 2 nodes. Como muitos sabem, um '''Cluster''' deve ser composto de no '''mínimo 3 nodes''' para que possa dar segurança, existir '''quorum''' e quando usamos '''CEPH''' também precisamos de pelo menos 3 nodes com '''OSDs''' para termos uma estabilidade e segurança no sistema. O problema é quando se quer fazer isso com apenas 2 servidores Proxmox. Comprar um terceiro servidor às vezes ainda não está nos planos mas você tem uma máquina parada, onde você pode adicionar 2 SSDs e com 4G de ram você pode adicionar ela no '''Cluster''' para servir de quorum e de disco '''CEPH'''. Dessa maneira você consegue com 2 servidores '''Proxmox''' e uma máquina que chamei de '''Quorum Device''', colocar em produção um Cluster com HA funcional.t

	== Diagrama ==		== Diagrama ==

Gondim em 16h46min de 10 de abril de 2026

2026-04-10T16:46:10Z

← Edição anterior		Edição das 16h46min de 10 de abril de 2026
Linha 111:		Linha 111:
	== Adicionando o OSD no Debian ==		== Adicionando o OSD no Debian ==
	Agora vamos aos procedimentos para usarmos aquele SSD como OSD no CEPH. Vamos supor que o '''SSD livre''' seja o '''/dev/sdb''':		Agora vamos aos procedimentos para usarmos aquele SSD como OSD no CEPH. Vamos supor que o '''SSD livre''' seja o '''/dev/sdb''':
	# apt install gdisk		# apt install gdisk util-linux

	# wipefs -a /dev/sdb		# wipefs -a /dev/sdb

Gondim em 15h28min de 10 de abril de 2026

2026-04-10T15:28:43Z

← Edição anterior		Edição das 15h28min de 10 de abril de 2026
Linha 114:		Linha 114:

	# wipefs -a /dev/sdb		# wipefs -a /dev/sdb
	# sgdisk --zap		# sgdisk --zap-all /dev/sdb

	Feito isso só precisamos criar o volume CEPH com o comando:		Feito isso só precisamos criar o volume CEPH com o comando:

Gondim em 15h27min de 10 de abril de 2026

2026-04-10T15:27:59Z

← Edição anterior		Edição das 15h27min de 10 de abril de 2026
Linha 111:		Linha 111:
	== Adicionando o OSD no Debian ==		== Adicionando o OSD no Debian ==
	Agora vamos aos procedimentos para usarmos aquele SSD como OSD no CEPH. Vamos supor que o '''SSD livre''' seja o '''/dev/sdb''':		Agora vamos aos procedimentos para usarmos aquele SSD como OSD no CEPH. Vamos supor que o '''SSD livre''' seja o '''/dev/sdb''':
	# apt install ~~parted~~		# apt install gdisk

	# ~~parted~~ /dev/sdb ~~--script mklabel gpt~~		# wipefs -a /dev/sdb
			# sgdisk --zap
	# ~~parted /dev/sdb~~ --~~script \~~
	~~mkpart primary 0% 100%~~
	Feito isso só precisamos criar o volume CEPH com o comando:		Feito isso só precisamos criar o volume CEPH com o comando:
	# ceph-volume lvm create --data /dev/~~sdb1~~		# ceph-volume lvm create --data /dev/sdb
	Se tudo foi bem, nesse momento verá o '''OSD''' no seu '''Cluster Proxmox''':		Se tudo foi bem, nesse momento verá o '''OSD''' no seu '''Cluster Proxmox''':
	[[Arquivo:Osd img.png\|nenhum\|miniaturadaimagem\|1234x1234px]]		[[Arquivo:Osd img.png\|nenhum\|miniaturadaimagem\|1234x1234px]]

Gondim em 23h33min de 8 de abril de 2026

2026-04-08T23:33:14Z

← Edição anterior		Edição das 23h33min de 8 de abril de 2026
Linha 1:		Linha 1:
	== Introdução ==		== Introdução ==
	Este artigo tem como foco explicar como adicionar um Debian GNU/Linux em um Proxmox Cluster + HA com 2 nodes. Como muitos sabem, um '''Cluster''' deve ser composto de no '''mínimo 3 nodes''' para que possa dar segurança, existir '''quorum''' e quando usamos '''CEPH''' também precisamos de pelo menos 3 '''OSDs''' para termos uma estabilidade e segurança no sistema. O problema é quando se quer fazer isso com apenas 2 servidores Proxmox. Comprar um terceiro servidor às vezes ainda não está nos planos mas você tem uma máquina parada, onde você pode adicionar 2 SSDs e com 4G de ram você pode adicionar ela no '''Cluster''' para servir de quorum e de disco '''CEPH'''. Dessa maneira você consegue com 2 servidores '''Proxmox''' e uma máquina que chamei de '''Quorum Device''', colocar em produção um Cluster com HA funcional.		Este artigo tem como foco explicar como adicionar um Debian GNU/Linux em um Proxmox Cluster + HA com 2 nodes. Como muitos sabem, um '''Cluster''' deve ser composto de no '''mínimo 3 nodes''' para que possa dar segurança, existir '''quorum''' e quando usamos '''CEPH''' também precisamos de pelo menos 3 nodes com '''OSDs''' para termos uma estabilidade e segurança no sistema. O problema é quando se quer fazer isso com apenas 2 servidores Proxmox. Comprar um terceiro servidor às vezes ainda não está nos planos mas você tem uma máquina parada, onde você pode adicionar 2 SSDs e com 4G de ram você pode adicionar ela no '''Cluster''' para servir de quorum e de disco '''CEPH'''. Dessa maneira você consegue com 2 servidores '''Proxmox''' e uma máquina que chamei de '''Quorum Device''', colocar em produção um Cluster com HA funcional.

	== Diagrama ==		== Diagrama ==

Gondim em 23h26min de 8 de abril de 2026

2026-04-08T23:26:01Z

← Edição anterior		Edição das 23h26min de 8 de abril de 2026
Linha 97:		Linha 97:

	Se aparecer algo assim então parabéns, até aqui foi tudo OK:		Se aparecer algo assim então parabéns, até aqui foi tudo OK:
	[[Arquivo:Nodeq ceph.png\|nenhum\|miniaturadaimagem\|806x806px]]		[[Arquivo:Nodeq ceph.png\|nenhum\|miniaturadaimagem\|806x806px]]Volte no Proxmox PVE01 e altere o '''/etc/pve/ceph.conf''' modificando para:
			mon_host = 192.168.2.1 192.168.2.2 192.168.2.3
			E adicionando no final do arquivo:
			[mon.nodeq]
			public_addr = 192.168.2.3
			Agora ativamos, ainda no '''Proxmox PVE01''', o '''msgr2''':
			# ceph mon enable-msgr2
			No Debian reinicie o serviço:
			# systemctl restart ceph-mon@nodeq
			No '''Proxmox''' em '''CEPH''' verá um novo Monitor adicionado:
			[[Arquivo:Mon ceph.png\|nenhum\|miniaturadaimagem\|598x598px]]

			== Adicionando o OSD no Debian ==
			Agora vamos aos procedimentos para usarmos aquele SSD como OSD no CEPH. Vamos supor que o '''SSD livre''' seja o '''/dev/sdb''':
			# apt install parted

			# parted /dev/sdb --script mklabel gpt

			# parted /dev/sdb --script \
			mkpart primary 0% 100%
			Feito isso só precisamos criar o volume CEPH com o comando:
			# ceph-volume lvm create --data /dev/sdb1
			Se tudo foi bem, nesse momento verá o '''OSD''' no seu '''Cluster Proxmox''':
			[[Arquivo:Osd img.png\|nenhum\|miniaturadaimagem\|1234x1234px]]
			Olhando a saúde do nosso Cluster veremos:
			[[Arquivo:Resultado ceph.png\|nenhum\|miniaturadaimagem\|1235x1235px]]

			== Conclusão ==
			Aqui vemos em funcionamento um '''Cluster Proxmox + HA''' com 2 nós apenas e uma máquina Debian servindo como apoio no funcionamento e segurança do Cluster.

			Gostou do artigo? Compartilhe!

			Autor: [[Sobre mim\|Marcelo Gondim]]
			[[Categoria:Artigos Técnicos]]

Gondim em 23h03min de 8 de abril de 2026

2026-04-08T23:03:43Z

← Edição anterior		Edição das 23h03min de 8 de abril de 2026
Linha 54:		Linha 54:
	--add nodeq 192.168.2.3:6789 \		--add nodeq 192.168.2.3:6789 \
	/tmp/monmap		/tmp/monmap
			Vamos checar se adicionamos o '''nodeq''' ao '''monmap''' com o comando: '''monmaptool --print /tmp/monmap'''
			[[Arquivo:Monmap.png\|nenhum\|miniaturadaimagem\|677x677px]]
			Vamos gerar o '''keyring''' para usarmos no Debian:
			# ceph auth get mon. -o /tmp/ceph.mon.keyring
			Agora precisamos copiar todos os arquivos necessários do '''PVE01''' para o nosso Debian:
			# scp /tmp/monmap root@192.168.2.3:/etc/ceph/
			# scp /tmp/ceph.mon.keyring root@192.168.2.3:/etc/ceph/
			# scp /etc/pve/ceph.conf root@192.168.2.3:/etc/ceph/
			# scp /etc/pve/priv/ceph.client.admin.keyring root@192.168.2.3:/etc/ceph/

			# scp /var/lib/ceph/bootstrap-osd/ceph.keyring \
			root@192.168.2.3:/var/lib/ceph/bootstrap-osd/
			'''Atenção''' '''agora''' pois vamos no nosso Debian alterar o arquivo '''/etc/ceph/ceph.conf'''. Primeiro modifique o parâmetro abaixo para incluir o IP '''192.168.2.3''':
			mon_host = 192.168.2.1 192.168.2.2 192.168.2.3
			Modifique os dois parâmetros abaixo e deixe eles iguais a estes:<pre>
			[client]
			keyring = /etc/ceph/$cluster.$name.keyring

			[client.crash]
			keyring = /etc/ceph/$cluster.$name.keyring
			</pre>Adicione no final deste mesmo arquivo a configuração abaixo:<pre>
			[mon.nodeq]
			public_addr = 192.168.2.3
			</pre>Ainda no '''Debian''' execute os comandos abaixo para prepararmos o ambiente pro '''CEPH''':
			# mkdir -p /var/lib/ceph/mon/ceph-nodeq
			# chown ceph:ceph /var/lib/ceph/mon/ceph-nodeq
			# chmod 750 /var/lib/ceph/mon/ceph-nodeq
			Vamos criar o monitor:
			# ceph-mon --mkfs \
			-i nodeq \
			--monmap /etc/ceph/monmap \
			--keyring /etc/ceph/ceph.mon.keyring

			# chown -R ceph: /var/lib/ceph/mon/ceph-nodeq
			# chown -R ceph: /etc/ceph/
			# chmod 640 /etc/ceph/ceph.mon.keyring
			# chmod 640 /etc/ceph/monmap
			Este é o momento crucial para que tenhamos mais um monitor no nosso CEPH do Proxmox:
			# systemctl enable ceph-mon@nodeq
			# systemctl start ceph-mon@nodeq
			Precisamos checar se o serviço subiu com o comando: '''systemctl status ceph-mon@nodeq'''

			Se aparecer algo assim então parabéns, até aqui foi tudo OK:
			[[Arquivo:Nodeq ceph.png\|nenhum\|miniaturadaimagem\|806x806px]]

Gondim em 22h43min de 8 de abril de 2026

2026-04-08T22:43:49Z

← Edição anterior		Edição das 22h43min de 8 de abril de 2026
Linha 36:		Linha 36:

	== Adicionando um CEPH monitor e OSD ==		== Adicionando um CEPH monitor e OSD ==
			Agora precisamos tornar nosso '''CEPH''' saudável também e para isso vamos instalar os pacotes do CEPH do Proxmox no Debian. O CEPH precisa ser da mesma versão usada no Cluster Proxmox. Para os meus testes utilizei um '''Cluster Proxmox 9''' no '''PVE01''' e '''PVE02''' que utiliza o '''CEPH Squid 19.2'''. Então vamos adicionar o repositório:
			# echo "deb <nowiki>http://download.proxmox.com/debian/ceph-squid</nowiki> trixie no-subscription" > /etc/apt/sources.list.d/ceph.list
			# wget <nowiki>https://enterprise.proxmox.com/debian/proxmox-release-trixie.gpg</nowiki> -O /etc/apt/trusted.gpg.d/proxmox-release-trixie.gpg
			Instalando os pacotes do CEPH:
			# apt update
			# apt install ceph ceph-common
			Antes de prosseguir adicione no '''/etc/hosts''' do Debian:
			192.168.2.1 node1
			192.168.2.2 node2
			192.168.2.3 nodeq
			Estou chamando nosso '''Quorum Device''' com o hostname '''nodeq'''.

			Agora precisaremos executar algumas tarefas no nosso '''PVE01''':
			# ceph mon getmap -o /tmp/monmap

			# monmaptool \
			--add nodeq 192.168.2.3:6789 \
			/tmp/monmap

Gondim em 22h32min de 8 de abril de 2026

2026-04-08T22:32:54Z

← Edição anterior		Edição das 22h32min de 8 de abril de 2026
Linha 25:		Linha 25:
	Reinicie o serviço:		Reinicie o serviço:
	# systemctl restart sshd		# systemctl restart sshd
			No Debian vamos instalar o pacote '''corosync-qnetd''':
			# apt install corosync-qnetd
			Nos dois servidores Proxmox, no nosso exemplo PVE01 e PVE02 instalaremos o pacote '''corosync-qdevice''':
			# apt install corosync-qdevice
			Agora vá para o shell do seu '''Proxmox principal''', no meu caso o '''PVE01''' e adicione o Debian ao Cluster com o seguinte comando:
			# pvecm qdevice setup 192.168.1.3
			Com o comando '''pvecm status''' podemos ver como está o quorum e se tudo ocorreu bem, verá que agora temos 3 votos no lugar de 2 e um '''Qdevice''' no membership:
			[[Arquivo:Qdevice.png\|nenhum\|miniaturadaimagem\|748x748px]]
			Agora em se tratando de Cluster, você tem o mínimo de votantes para o bom funcionamento e usando uma máquina simples com Debian.

			== Adicionando um CEPH monitor e OSD ==