Servidor Logs CGNAT - Histórico de revisão

Gondim em 15h35min de 3 de agosto de 2024

2024-08-03T15:35:44Z

← Edição anterior		Edição das 15h35min de 3 de agosto de 2024
Linha 159:		Linha 159:

	Com esses dados montamos a linha de comando que ficará escutando o flow. Abaixo um exemplo:		Com esses dados montamos a linha de comando que ficará escutando o flow. Abaixo um exemplo:
	/usr/bin/nfcapd -D -t 3600 -S 1 -B ~~200000~~ -z=lz4 -I RJO-DC01-CGNAT-01 -w /var/log/cgnat/flow/RJO-DC01-CGNAT-01 -p 2055		/usr/bin/nfcapd -D -t 3600 -S 1 -B 1024000 -z=lz4 -I RJO-DC01-CGNAT-01 -w /var/log/cgnat/flow/RJO-DC01-CGNAT-01 -p 2055
	Onde:		Onde:

Linha 166:		Linha 166:
	PORTA UDP é '''2055'''		PORTA UDP é '''2055'''

	O '''“-D”''' diz ao programa rodar como daemon, '''“-t”''' dizem de quanto em quanto tempo o arquivo é rotacionado. Nesse caso 3600s, ou seja, de hora em hora. O '''“-S 1”''' diz para arquivar os logs no formato '''year/month/day''' automaticamente. O '''“-B ~~200000”~~''' é para aumentar o buffer e não termos problemas com perdas de flow. O '''“-y”''' comprime o flow em '''LZ4'''. O '''“-w”''' é onde passamos o '''diretório base'''. O '''“-p 2055”''' a especificação da porta udp que irá receber o flow daquele equipamento.		O '''“-D”''' diz ao programa rodar como daemon, '''“-t”''' dizem de quanto em quanto tempo o arquivo é rotacionado. Nesse caso 3600s, ou seja, de hora em hora. O '''“-S 1”''' diz para arquivar os logs no formato '''year/month/day''' automaticamente. O '''“-B 1024000”''' é para aumentar o buffer e não termos problemas com perdas de flow. O '''“-y”''' comprime o flow em '''LZ4'''. O '''“-w”''' é onde passamos o '''diretório base'''. O '''“-p 2055”''' a especificação da porta udp que irá receber o flow daquele equipamento.

	Precisamos sempre antes de executar o comando, criar o diretório base, senão o serviço não ira levantar. No exemplo acima faremos assim:		Precisamos sempre antes de executar o comando, criar o diretório base, senão o serviço não ira levantar. No exemplo acima faremos assim:
Linha 184:		Linha 184:
	# By default this script does nothing.		# By default this script does nothing.

	/usr/bin/nfcapd -D -t 3600 -S 1 -B ~~200000~~ -z=lz4 -I RJO-DC01-CGNAT-01 -w /var/log/cgnat/flow/RJO-DC01-CGNAT-01 -p 2055		/usr/bin/nfcapd -D -t 3600 -S 1 -B 1024000 -z=lz4 -I RJO-DC01-CGNAT-01 -w /var/log/cgnat/flow/RJO-DC01-CGNAT-01 -p 2055

	exit 0		exit 0

Gondim em 14h07min de 2 de agosto de 2023

2023-08-02T14:07:35Z

← Edição anterior		Edição das 14h07min de 2 de agosto de 2023
Linha 159:		Linha 159:

	Com esses dados montamos a linha de comando que ficará escutando o flow. Abaixo um exemplo:		Com esses dados montamos a linha de comando que ficará escutando o flow. Abaixo um exemplo:
	/usr/bin/nfcapd -D -t 3600 -S 1 -B 200000 -y -I RJO-DC01-CGNAT-01 -w /var/log/cgnat/flow/RJO-DC01-CGNAT-01 -p 2055		/usr/bin/nfcapd -D -t 3600 -S 1 -B 200000 -z=lz4 -I RJO-DC01-CGNAT-01 -w /var/log/cgnat/flow/RJO-DC01-CGNAT-01 -p 2055
	Onde:		Onde:

Linha 184:		Linha 184:
	# By default this script does nothing.		# By default this script does nothing.

	/usr/bin/nfcapd -D -t 3600 -S 1 -B 200000 -y -I RJO-DC01-CGNAT-01 -w /var/log/cgnat/flow/RJO-DC01-CGNAT-01 -p 2055		/usr/bin/nfcapd -D -t 3600 -S 1 -B 200000 -z=lz4 -I RJO-DC01-CGNAT-01 -w /var/log/cgnat/flow/RJO-DC01-CGNAT-01 -p 2055

	exit 0		exit 0

Gondim em 02h25min de 29 de julho de 2023

2023-07-29T02:25:35Z

← Edição anterior		Edição das 02h25min de 29 de julho de 2023
Linha 184:		Linha 184:
	# By default this script does nothing.		# By default this script does nothing.

	/usr/bin/nfcapd -D ~~-w -T all~~ -t 3600 -S 1 -B 200000 -z -n RJO-DC01-CGNAT-01~~,2001:db8:c0ca:c01a::1,~~/var/log/cgnat/flow/RJO-DC01-CGNAT-01 ~~-b 2001:db8:c0ca:c01a::2~~ -p 2055		/usr/bin/nfcapd -D -t 3600 -S 1 -B 200000 -y -I RJO-DC01-CGNAT-01 -w /var/log/cgnat/flow/RJO-DC01-CGNAT-01 -p 2055

	exit 0		exit 0
Linha 214:		Linha 214:
	A forma de consultar dependerá de como você configurou sua Caixa CGNAT. Lembra que comentei que existe uma configuração de flow que pode ocupar muito espaço em disco e que devemos evitá-la? Abaixo mostro um exemplo. Repare também que estamos usando a mesma estrutura de organização de diretórios e arquivos, que usamos na configuração do syslog:		A forma de consultar dependerá de como você configurou sua Caixa CGNAT. Lembra que comentei que existe uma configuração de flow que pode ocupar muito espaço em disco e que devemos evitá-la? Abaixo mostro um exemplo. Repare também que estamos usando a mesma estrutura de organização de diretórios e arquivos, que usamos na configuração do syslog:
	# '''cd /var/log/cgnat/flow/RJO-DC05-CGNAT01/2022/08/04'''		# '''cd /var/log/cgnat/flow/RJO-DC05-CGNAT01/2022/08/04'''
	# '''~~cat~~ nfcapd.202208042300~~\|nfdump -r -~~'''		# '''nfdump -r nfcapd.202208042300'''
	2022-08-04 22:59:59.992 ADD Ignore TCP 100.64.202.178:50419 -> 0.0.0.0:0 170.XXX.XXX.XXX:50419 -> 0.0.0.0:0 0 0		2022-08-04 22:59:59.992 ADD Ignore TCP 100.64.202.178:50419 -> 0.0.0.0:0 170.XXX.XXX.XXX:50419 -> 0.0.0.0:0 0 0
	2022-08-04 23:00:31.369 DELETE Ignore TCP 100.64.202.178:50419 -> 0.0.0.0:0 170.XXX.XXX.XXX:50419 -> 0.0.0.0:0 0 0		2022-08-04 23:00:31.369 DELETE Ignore TCP 100.64.202.178:50419 -> 0.0.0.0:0 170.XXX.XXX.XXX:50419 -> 0.0.0.0:0 0 0
Linha 227:		Linha 227:
	Agora vamos olhar para um BPA que está configurado para trabalhar com alocação dinâmica de blocos de portas. A consulta é um pouco diferente porque precisa ser formatada:		Agora vamos olhar para um BPA que está configurado para trabalhar com alocação dinâmica de blocos de portas. A consulta é um pouco diferente porque precisa ser formatada:
	# cd /var/log/cgnat/flow/CGN-BOX1-SPO01/2023/01/15		# cd /var/log/cgnat/flow/CGN-BOX1-SPO01/2023/01/15
	# ~~cat nfcapd.202301151100 \|~~ nfdump -o "fmt:%ts %nevt %pr %sa %nda %nsa %pbstart %pbend" -r -		# nfdump -o "fmt:%ts %nevt %pr %sa %nda %nsa %pbstart %pbend" -r nfcapd.202301151100
	[[Arquivo:Nfdump cgnat.png\|nenhum\|commoldura]]		[[Arquivo:Nfdump cgnat.png\|nenhum\|commoldura]]
	Podemos reparar que na imagem temos uma coluna com os IPs privados dos clientes, uma outra com os IPs públicos ofuscados e uma última coluna com os blocos de portas alocados e desalocados. Algumas pessoas me perguntam qual a relação de portas alocadas que costumo utilizar: eu tenho trabalhado com a configuração de '''blocos de 256 portas''', podendo entregar '''até 16 blocos por cliente (4096 portas)'''. Isso porque na maioria dos casos, nossos clientes não são '''heavy users''' e consomem poucas portas durante o acesso à Internet. Dessa forma podemos ter uma boa economia de recursos IPv4 e nos piores casos entregar até 4096 portas para o cliente.		Podemos reparar que na imagem temos uma coluna com os IPs privados dos clientes, uma outra com os IPs públicos ofuscados e uma última coluna com os blocos de portas alocados e desalocados. Algumas pessoas me perguntam qual a relação de portas alocadas que costumo utilizar: eu tenho trabalhado com a configuração de '''blocos de 256 portas''', podendo entregar '''até 16 blocos por cliente (4096 portas)'''. Isso porque na maioria dos casos, nossos clientes não são '''heavy users''' e consomem poucas portas durante o acesso à Internet. Dessa forma podemos ter uma boa economia de recursos IPv4 e nos piores casos entregar até 4096 portas para o cliente.

Gondim em 02h19min de 29 de julho de 2023

2023-07-29T02:19:16Z

← Edição anterior		Edição das 02h19min de 29 de julho de 2023
Linha 42:		Linha 42:
	Como comentei anteriormente nosso servidor de logs CGNAT irá utilizar softwares livres como solução e os principais estão listados abaixo:		Como comentei anteriormente nosso servidor de logs CGNAT irá utilizar softwares livres como solução e os principais estão listados abaixo:

	* Debian GNU/Linux 11 (~~Bullseye~~) amd64 com LVM (Logical Volume Manager).		* Debian GNU/Linux 12 (Bookworm) amd64 com LVM (Logical Volume Manager).
	* Nfdump (Netflow).		* Nfdump (Netflow).
	* Syslog-ng.		* Syslog-ng.
Linha 71:		Linha 71:
	Quando for instalar o Debian, não esqueça de configurar o '''LVM''' na área de armazenagem dos logs e instalar o mínimo de pacotes que puder, deixando apenas os pacotes básicos e o servidor ssh para acesso remoto. Na imagem abaixo deixe tudo desmarcado e selecione apenas os 2 últimos itens.		Quando for instalar o Debian, não esqueça de configurar o '''LVM''' na área de armazenagem dos logs e instalar o mínimo de pacotes que puder, deixando apenas os pacotes básicos e o servidor ssh para acesso remoto. Na imagem abaixo deixe tudo desmarcado e selecione apenas os 2 últimos itens.
	[[Arquivo:Install debian.png\|nenhum\|miniaturadaimagem\|739x739px]]Após a instalação vamos deixar o nosso '''/etc/apt/sources.list''' da seguinte forma:		[[Arquivo:Install debian.png\|nenhum\|miniaturadaimagem\|739x739px]]Após a instalação vamos deixar o nosso '''/etc/apt/sources.list''' da seguinte forma:
	deb <nowiki>http://~~security~~.debian.org/debian~~-security~~</nowiki> ~~bullseye-security~~ main contrib non-free		deb <nowiki>http://deb.debian.org/debian</nowiki> bookworm main contrib non-free non-free-firmware
	~~deb <nowiki>http://deb.debian.org/debian</nowiki> bullseye main~~ non-free ~~contrib~~		deb <nowiki>http://deb.debian.org/debian-security/</nowiki> bookworm-security main contrib non-free non-free-firmware
	deb <nowiki>http://deb.debian.org/debian</nowiki> ~~bullseye~~-~~updates~~ main contrib non-free		deb <nowiki>http://deb.debian.org/debian</nowiki> bookworm-updates main contrib non-free non-free-firmware
	deb <nowiki>http://deb.debian.org/debian</nowiki> ~~bullseye~~-~~backports~~ main contrib non-free
	Eu costumo instalar alguns pacotes além dos necessários para ter algumas ferramentas à mão:		Eu costumo instalar alguns pacotes além dos necessários para ter algumas ferramentas à mão:
	# apt install net-tools htop iotop sipcalc tcpdump curl gnupg rsync wget host dnsutils mtr-tiny bmon sudo tmux whois syslog-ng nfdump pigz chrony irqbalance		# apt install net-tools htop iotop sipcalc tcpdump curl gnupg rsync wget host dnsutils mtr-tiny bmon sudo tmux whois syslog-ng nfdump nfdump-sflow pigz chrony irqbalance

	# systemctl enable irqbalance		# systemctl enable irqbalance
Linha 157:		Linha 156:

	* '''HOSTNAME''' do equipamento.		* '''HOSTNAME''' do equipamento.
	* '''IP do equipamento''' que será usando para envio dos logs.
	* '''Porta UDP''' onde será recebido o flow daquele equipamento. Para cada equipamento que for enviar um flow, você precisa especificar uma porta UDP dedicada para ele.		* '''Porta UDP''' onde será recebido o flow daquele equipamento. Para cada equipamento que for enviar um flow, você precisa especificar uma porta UDP dedicada para ele.

	Com esses dados montamos a linha de comando que ficará escutando o flow. Abaixo um exemplo:		Com esses dados montamos a linha de comando que ficará escutando o flow. Abaixo um exemplo:
	/usr/bin/nfcapd -D ~~-w -T all~~ -t 3600 -S 1 -B 200000 -z -n RJO-DC01-CGNAT-01~~,2001:db8:c0ca:c01a::1,~~/var/log/cgnat/flow/RJO-DC01-CGNAT-01 ~~-b 2001:db8:c0ca:c01a::2~~ -p 2055		/usr/bin/nfcapd -D -t 3600 -S 1 -B 200000 -y -I RJO-DC01-CGNAT-01 -w /var/log/cgnat/flow/RJO-DC01-CGNAT-01 -p 2055
	Onde:		Onde:

	HOSTNAME é o '''RJO-DC01-CGNAT-01'''		HOSTNAME é o '''RJO-DC01-CGNAT-01'''

	~~IP é '''2001:db8:c0ca:c01a::1'''~~

	PORTA UDP é '''2055'''		PORTA UDP é '''2055'''

	O '''“-D”''' diz ao programa rodar como daemon, ~~'''“-w”''' e~~ '''“-t”''' dizem de quanto em quanto tempo o arquivo é rotacionado. Nesse caso 3600s, ou seja, de hora em hora~~. O '''“-T all”''' especifica que o '''nfdump''' vai suportar todas as implementações de '''Netflow v9'''~~. O '''“-S 1”''' diz para arquivar os logs no formato '''year/month/day''' automaticamente. O '''“-B 200000”''' é para aumentar o buffer e não termos problemas com perdas de flow. O '''“-z”''' comprime o flow em '''~~LZO1X-1~~'''. O '''“-n”''' é onde passamos o ~~'''HOSTNAME''', '''IP''' e~~ '''diretório base'''. O ~~'''“-b 2001:db8:c0ca:c01a::2”''' seria o IP do servidor de logs CGNAT e o~~ '''“-p 2055”''' a especificação da porta udp que irá receber o flow daquele equipamento.		O '''“-D”''' diz ao programa rodar como daemon, '''“-t”''' dizem de quanto em quanto tempo o arquivo é rotacionado. Nesse caso 3600s, ou seja, de hora em hora. O '''“-S 1”''' diz para arquivar os logs no formato '''year/month/day''' automaticamente. O '''“-B 200000”''' é para aumentar o buffer e não termos problemas com perdas de flow. O '''“-y”''' comprime o flow em '''LZ4'''. O '''“-w”''' é onde passamos o '''diretório base'''. O '''“-p 2055”''' a especificação da porta udp que irá receber o flow daquele equipamento.

	Precisamos sempre antes de executar o comando, criar o diretório base, senão o serviço não ira levantar. No exemplo acima faremos assim:		Precisamos sempre antes de executar o comando, criar o diretório base, senão o serviço não ira levantar. No exemplo acima faremos assim:

Gondim em 17h44min de 16 de abril de 2023

2023-04-16T17:44:02Z

← Edição anterior		Edição das 17h44min de 16 de abril de 2023
Linha 102:		Linha 102:
	A estrutura de armazenamento que utilizo para o syslog é esta abaixo:		A estrutura de armazenamento que utilizo para o syslog é esta abaixo:

	'''/var/log/cgnat/syslog/<HOSTNAME>/<ANO>/<MES>/<DIA>/server<HORA>.log'''		'''/var/log/cgnat/syslog/<HOSTNAME>/<ANO>/<MES>/<DIA>/server-<HORA>.log'''
	# mkdir -p /var/log/cgnat/syslog		# mkdir -p /var/log/cgnat/syslog
	Onde:		Onde:

Gondim em 14h02min de 1 de abril de 2023

2023-04-01T14:02:40Z

← Edição anterior		Edição das 14h02min de 1 de abril de 2023
Linha 227:		Linha 227:
	2022-08-04 23:41:02.639 ADD Ignore UDP 100.64.204.78:50419 -> 0.0.0.0:0 170.XXX.XXX.XXX:50419 -> 0.0.0.0:0 0 0		2022-08-04 23:41:02.639 ADD Ignore UDP 100.64.204.78:50419 -> 0.0.0.0:0 170.XXX.XXX.XXX:50419 -> 0.0.0.0:0 0 0
	2022-08-04 23:43:02.435 DELETE Ignore UDP 100.64.204.78:50419 -> 0.0.0.0:0 170.XXX.XXX.XXX:50419 -> 0.0.0.0:0 0 0		2022-08-04 23:43:02.435 DELETE Ignore UDP 100.64.204.78:50419 -> 0.0.0.0:0 170.XXX.XXX.XXX:50419 -> 0.0.0.0:0 0 0
	Nesse exemplo acima temos o arquivo '''nfcapd.202208042300''' e esses arquivos são gerados de hora em hora com os dados recebidos. O nome dele é composto pelo '''ano''', '''mês''', '''dia''' e a '''hora de rotação''' que nesse caso seria '''23:00'''. Podemos reparar que a cada solicitação de conexão do cliente, é enviado um log da porta que foi utilizada, nesse nosso exemplo a ~~porra~~ '''50419 TCP''' e '''UDP'''. Isso realmente ocupa muito espaço em disco.		Nesse exemplo acima temos o arquivo '''nfcapd.202208042300''' e esses arquivos são gerados de hora em hora com os dados recebidos. O nome dele é composto pelo '''ano''', '''mês''', '''dia''' e a '''hora de rotação''' que nesse caso seria '''23:00'''. Podemos reparar que a cada solicitação de conexão do cliente, é enviado um log da porta que foi utilizada, nesse nosso exemplo a porta '''50419 TCP''' e '''UDP'''. Isso realmente ocupa muito espaço em disco.

	Agora vamos olhar para um BPA que está configurado para trabalhar com alocação dinâmica de blocos de portas. A consulta é um pouco diferente porque precisa ser formatada:		Agora vamos olhar para um BPA que está configurado para trabalhar com alocação dinâmica de blocos de portas. A consulta é um pouco diferente porque precisa ser formatada:

Gondim em 03h54min de 1 de abril de 2023

2023-04-01T03:54:14Z

← Edição anterior		Edição das 03h54min de 1 de abril de 2023
Linha 70:		Linha 70:
	== Preparando o Servidor ==		== Preparando o Servidor ==
	Quando for instalar o Debian, não esqueça de configurar o '''LVM''' na área de armazenagem dos logs e instalar o mínimo de pacotes que puder, deixando apenas os pacotes básicos e o servidor ssh para acesso remoto. Na imagem abaixo deixe tudo desmarcado e selecione apenas os 2 últimos itens.		Quando for instalar o Debian, não esqueça de configurar o '''LVM''' na área de armazenagem dos logs e instalar o mínimo de pacotes que puder, deixando apenas os pacotes básicos e o servidor ssh para acesso remoto. Na imagem abaixo deixe tudo desmarcado e selecione apenas os 2 últimos itens.
	[[Arquivo:Install debian.png\|nenhum\|miniaturadaimagem\|739x739px]]Após a instalação vamos deixar o nosso '''/etc/apt/sources.list''' da ~~sequinte~~ forma:		[[Arquivo:Install debian.png\|nenhum\|miniaturadaimagem\|739x739px]]Após a instalação vamos deixar o nosso '''/etc/apt/sources.list''' da seguinte forma:
	deb <nowiki>http://security.debian.org/debian-security</nowiki> bullseye-security main contrib non-free		deb <nowiki>http://security.debian.org/debian-security</nowiki> bullseye-security main contrib non-free
	deb <nowiki>http://deb.debian.org/debian</nowiki> bullseye main non-free contrib		deb <nowiki>http://deb.debian.org/debian</nowiki> bullseye main non-free contrib

Gondim em 03h09min de 25 de janeiro de 2023

2023-01-25T03:09:14Z

← Edição anterior		Edição das 03h09min de 25 de janeiro de 2023
Linha 252:		Linha 252:
	[[Arquivo:Winbox pppoe profile.png\|nenhum\|commoldura]]		[[Arquivo:Winbox pppoe profile.png\|nenhum\|commoldura]]
	Nos logs aparecerão algo assim:		Nos logs aparecerão algo assim:
	Jan 25 02:37:08 SPO-SEDE-CE02 <pppoe-jose> - WAN: 2804:0db8:8005:~~5669~~::/64 - PD: 2804:0db8:8050:~~a000~~::/56		Jan 25 02:26:56 SPO-SEDE-CE02 <pppoe-jose> - WAN: 2804:0db8:8005:5668::/64 - PD: 2804:0db8:8050:7b00::/56
	Jan 25 02:37:08 SPO-SEDE-CE02 <pppoe-maria> - WAN: 2804:0db8:8005:5669::/64 - PD: 2804:0db8:8050:a000::/56		Jan 25 02:37:08 SPO-SEDE-CE02 <pppoe-maria> - WAN: 2804:0db8:8005:5669::/64 - PD: 2804:0db8:8050:a000::/56

Gondim em 03h06min de 25 de janeiro de 2023

2023-01-25T03:06:45Z

← Edição anterior		Edição das 03h06min de 25 de janeiro de 2023
Linha 253:		Linha 253:
	Nos logs aparecerão algo assim:		Nos logs aparecerão algo assim:
	Jan 25 02:37:08 SPO-SEDE-CE02 <pppoe-jose> - WAN: 2804:0db8:8005:5669::/64 - PD: 2804:0db8:8050:a000::/56		Jan 25 02:37:08 SPO-SEDE-CE02 <pppoe-jose> - WAN: 2804:0db8:8005:5669::/64 - PD: 2804:0db8:8050:a000::/56
			Jan 25 02:37:08 SPO-SEDE-CE02 <pppoe-maria> - WAN: 2804:0db8:8005:5669::/64 - PD: 2804:0db8:8050:a000::/56

	== Conclusão ==		== Conclusão ==

Gondim em 02h44min de 25 de janeiro de 2023

2023-01-25T02:44:01Z

← Edição anterior		Edição das 02h44min de 25 de janeiro de 2023
Linha 250:		Linha 250:
	:local PDIPv6 [/ipv6 dhcp-server binding get value-name=address [find server=$interfaceName]];		:local PDIPv6 [/ipv6 dhcp-server binding get value-name=address [find server=$interfaceName]];
	:log warning "$interfaceName - WAN: $WANIPv6 - PD: $PDIPv6"		:log warning "$interfaceName - WAN: $WANIPv6 - PD: $PDIPv6"
	[[Arquivo:Winbox ~~ipv64~~.png\|nenhum\|commoldura]]		[[Arquivo:Winbox pppoe profile.png\|nenhum\|commoldura]]
	Nos logs aparecerão algo assim:		Nos logs aparecerão algo assim:
	Jan 25 02:37:08 SPO-SEDE-CE02 <pppoe-jose> - WAN: 2804:0db8:8005:5669::/64 - PD: 2804:0db8:8050:a000::/56		Jan 25 02:37:08 SPO-SEDE-CE02 <pppoe-jose> - WAN: 2804:0db8:8005:5669::/64 - PD: 2804:0db8:8050:a000::/56