Servidor Logs CGNAT

Introdução

Com a escassez do recurso IPv4 no mundo, a resistência de muitas organizações que ainda não incluíram o IPv6 em seus sistemas, de muitos Provedores de Internet que ainda não entregam IPv6 nos seus clientes, Clouds que ainda operam sem IPv6, tudo isso torna lenta a mudança de uma Internet antiga e legada, para uma Internet melhor e mais moderna. Mas por que toquei nesse assunto? Porque enquanto usarmos o IPv4 nessa situação, todos nós Operadoras ISP teremos que utilizar um recurso para continuarmos crescendo chamado de CGNAT (Carrier Grade Network Address Translation), que não trás nenhuma qualidade para nossos assinantes ou benefício para o crescimento da Internet. Para mim, CGNAT ou também conhecido como CGN, é uma muleta para a Internet continuar funcionando enquanto o IPv6 não se prevalece no mundo.

O CGNAT tem o objetivo principal de compartilhar IPv4 público e existem diversas soluções comerciais e não comerciais no mercado, mas que não vem ao caso aqui. O que importa para o nosso artigo, é a maneira como ele é implementado e que precisaremos armazenar os logs de conexão por pelo menos 1 ano, segundo o Marco Civil da Internet. Sempre que precisarmos identificar um cliente atrás de um CGNAT para uma Quebra de Sigilo Tecnológico, faremos uso dos logs armazenados.

Nesse artigo abordaremos a montagem de um servidor de logs de CGNAT utilizando um sistema Debian GNU/Linux, softwares livres e uma configuração que nos permita armazenar esses logs de forma organizada para facilitar consultas futuras.

Tipos de implementação do CGNAT

• Determinístico: onde usamos uma tabela de associação estática entre os IPv4 públicos, suas portas lógicas de origem e os IPs privados usados pelos clientes. Podemos encontrar por exemplo configurações de compartilhamento de 1/16, 1/32, etc, onde por exemplo: 1/32 seria compartilhar 1 IPv4 público com 32 clientes. Essa relação está associada à quantidade de portas lógicas alocadas para o cliente e que no caso de 1/32 seriam algo em torno de 2000 portas para cada cliente. Existe uma ideia errada de que se estamos usando Determinístico, então não precisamos armazenar logs. Em certo ponto está certo porque existe uma associação estática que não deveria mudar, mas se em algum momento você precisar reorganizar sua tabela de associação estática, você precisará ter um controle de quando isso foi alterado, de como era a tabela antes e de como ficou, porque senão você acabará identificando o cliente errado. Minha humilde sugestão: sempre armazene os logs, não importando se é Determinístico ou não.

• BPA (Bulk Port Allocation): nessa modalidade podemos economizar mais os recursos IPv4 públicos, porque as portas são alocadas dinamicamente e conforme a necessidade de uso do cliente. Se você parar para analisar o perfil dos seus clientes descobrirá que a grande maioria utiliza poucas portas durante o acesso à Internet e por isso, no modelo BPA, você consegue colocar mais clientes utilizando o mesmo IP público. Existe um certo medo nesse modelo de CGNAT, porque muitos acreditam que será necessário gastar rios de dinheiro comprando ou contratando espaço em disco de servidores, para armazenar todos os logs por 1 ano. O que posso dizer é: dependendo da implementação do BPA, sim isso irá acontecer. Um exemplo que vi isso ocorrer foi com um BPA que enviava logs a cada vez que um cliente utilizava uma porta, ou seja, um log por porta. Realmente essa seria a pior configuração ao meu ver, porque embora esteja fazendo a alocação dinâmica das portas, está coletando dados de forma excessiva e sem necessidade. Procure configurar seu BPA para trabalhar com blocos de portas alocadas e aí sim terá logs bem pequenos. Um exemplo real que tenho para dar: uma caixa CGNAT que atende uns 20.000 assinantes, gerando um log diário menor que 10Mb compactado.

Formatos de envio de logs

Os formatos que trabalharemos neste artigo, são os mais utilizados nos equipamentos de Redes:

• Syslog: é um serviço muito utilizado para armazenar logs sejam eles quais forem; mensagens de outros serviços, erros de sistema, um acesso indevido ou tentativas de se burlar um sistema, enfim, qualquer coisa que possa dar uma informação útil para uma análise da situação. Além de tudo isso podemos utilizar esse recurso para armazenar logs de CGNAT. O problema é que o syslog não é tão robusto e não lida muito bem com muitas requisições simultâneas, aumentando em muito o uso do processamento e dependendo da situação pode ocorrer alguma falha no registro do dado. O que vemos é que para registrar logs de sistemas e processos de um servidor, ele se sai muito bem mas quando temos diversos BNGs enviando logs de CGNAT, ele não seria a melhor opção.
• Netflow: o envio de flow é utilizado em muitos ambientes para análise por amostragem e com diversas aplicações como por exemplo: sistemas de detecção e mitigação DDoS, sistemas que geram estatísticas úteis para análise de tráfego de Redes, dando informações valiosíssimas para o pessoal da Engenharia de Redes, consumos de determinados conteúdos para avaliar se pode ser solicitado algum Cache de CDN para a sua Operação, detecção de Botnets, enfim, muita coisa pode ser feita usando Netflow inclusive tem uma função especialmente elaborada para logs de CGNAT. Sem falar que ao contrário do nosso amigo syslog, esse sistema se mostra muito mais robusto, preparado para receber muitas requisições simultâneas e com menor consumo de CPU.

Neste artigo configuraremos o nosso servidor para receber ambos os formatos mas por experiência própria, quando falarmos de logs de CGNAT, procure sempre que puder, utilizar o Netflow em detrimento ao Syslog.

Diagrama

Antes de iniciar, sim sempre que eu tiver a chance irei utilizar IPv6 em meus exemplos e diagramas para mostrar que não é um bicho de 7 cabeças e que se quisermos crescer e fazer crescer a Internet, precisamos nos conscientizar que isso é importante.

Como base para a nossa configuração usaremos o diagrama ao lado e para poder visualizar o que ocorre em um ambiente com CGNAT. Nesse exemplo temos um cliente, que ao se conectar no Provedor de Internet, recebeu um IPv4 100.64.10.50 (RFC6598) e um Prefix Delegation IPv6 2001:0db8:b010:c000::/56. Todos os acessos a conteúdos em IPv6 não passarão pelo CGNAT, seguindo diretamente para a Internet e sendo registrado o log da conexão no seu servidor Radius, por exemplo. Já para o cliente acessar os conteúdos em IPv4, será necessário que os pacotes passem pela Caixa CGNAT, seja feita uma tradução do IP 100.64.10.50 para um IPv4 público, que no nosso exemplo é o 198.51.100.230.

Sempre que eu tiver que passar pela Caixa CGNAT e for feita uma tradução, será necessário armazenar esses dados através de logs que serão enviados para o nosso servidor de logs CGNAT em 2001:db8:c0ca:c01a::2.

Se você já tem IPv6 rodando em sua Operação, procure utilizar esse protocolo para se comunicar entre seus sistemas, não precisa ser um IPv6 Global, pode ser um endereço ULA (Unique Local Address) que utiliza o prefixo FC00::/7, dessa forma você vai inclusive economizar seus IPv4 públicos. O ULA seria o equivalente a usarmos prefixos IPv4 privados da RFC1918: 127.0.0.0/8, 10.0.0.0/8, 172.16.0.0/12 e 192.168.0.0/16.

Lembre-se que segurança também é importante e se for usar IPs públicos, tanto em IPv4 quanto em IPv6, você precisa filtrar os acessos e garantir que só a sua gerência tenha acesso. Nesse nosso artigo não irei falar sobre filtro de pacotes e outros programas que juntos compõe um Firewall; Firewall não é um programa e sim um conceito, mas entenda que isso é muito importante para a saúde da sua Operação.

Definição do Sistema

Como comentei anteriormente nosso servidor de logs CGNAT irá utilizar softwares livres como solução e os principais estão listados abaixo:

• Debian GNU/Linux 11 (Bullseye) amd64 com LVM (Logical Volume Manager).
• Nfdump (Netflow).
• Syslog-ng.
• Pigz (compactação dos logs).

Hardware

Um servidor de logs não precisa ter uma alta capacidade de processamento, se você não tiver abusando dos recursos como por exemplo: muitas caixas de CGNAT enviando milhares de conexões via syslog. Agora uma coisa é certa de que você vai precisar: espaço em disco e que tenha uma ótima performance de I/O. Disco é de fato o ponto chave na solução e por isso não utilize discos usados de outros servidores e monitore sempre a saúde dos discos para não ser pego de surpresa. O hardware que você vai precisar, dependerá do tamanho da sua Organização e do volume de dados que você enviará para o seu servidor ou até mesmo servidores. Você poderia ter, por exemplo, um servidor de logs CGNAT em cada cidade que atender.

Outro detalhe importante: pense no crescimento do armazenamento dos dados e que em determinado momento você precisará expandir isso, seja adicionando mais um disco ou aumentando o uso em uma Cloud. Se você for montar uma infraestrutura própria, virtualizada, utilizando um storage já é um bom começo.

Esse é um htop de um servidor virtualizado, que recebe milhares de requisições de envio de logs por segundo tanto de syslog, quanto de netflow:

Quanto à armazenagem desse sistema acima:

Esse é um sistema novo, com armazenamento de 6 meses de logs de CGNAT e sabendo-se que precisaremos armazenar pelo menos 1 ano de log sempre. Sim esse espaço precisará de um novo aumento em breve através do uso do LVM. A sua realidade pode não ser essa e você precisar de muito menos recurso que isso, então comece por baixo mas pensando em possível expansão de espaço de disco:

Hardware do servidor

CPU	Memória	Disco
2.4Ghz 4 cores	8G DDR4	8Tb

Preparando o Servidor

Quando for instalar o Debian, não esqueça de configurar o LVM na área de armazenagem dos logs e instalar o mínimo de pacotes que puder, deixando apenas os pacotes básicos e o servidor ssh para acesso remoto. Na imagem abaixo deixe tudo desmarcado e selecione apenas os 2 últimos itens.

Após a instalação vamos deixar o nosso /etc/apt/sources.list da sequinte forma:

deb http://security.debian.org/debian-security bullseye-security main contrib non-free
deb http://deb.debian.org/debian bullseye main non-free contrib
deb http://deb.debian.org/debian bullseye-updates main contrib non-free
deb http://deb.debian.org/debian bullseye-backports main contrib non-free

Eu costumo instalar alguns pacotes além dos necessários para ter algumas ferramentas à mão:

# apt install net-tools htop iotop sipcalc tcpdump curl gnupg rsync wget host dnsutils mtr-tiny bmon sudo tmux whois syslog-ng nfdump pigz chrony irqbalance

Acertando o horário do servidor

Caro leitor, não existe nada tão importante em um sistema de armazenagem de logs, do que a data e horário estarem devidamente certos e sincronizados. Se isso estiver errado, seu sistema será impreciso e não conseguirá identificar corretamente quando os eventos ocorreram realmente. Por isso vou deixar uma dica de como eu trabalho, mas fica apenas como dica e você decide a melhor maneira de trabalhar.

Eu utilizo sempre horário UTC nos servidores de logs, isso porque podemos trabalhar com sistemas espalhados em diversos lugares, em fusos horários diferentes e também forço no syslog-ng para registrar o log sempre no horário do servidor de logs, ao invés do horário enviado pelo equipamento remoto. Isso porque o equipamento remoto pode estar com data e hora errados, mas no momento que os logs são enviados para o nosso servidor de logs, ele fica registrado corretamente, mesmo que em horário UTC.

Edite o arquivo /etc/chrony/chrony.conf e comente a linha com pool 2.debian.pool.ntp.org iburst, na sequência adicione as linhas conforme abaixo:

#pool 2.debian.pool.ntp.org iburst
server a.st1.ntp.br iburst nts
server b.st1.ntp.br iburst nts
server c.st1.ntp.br iburst nts
server d.st1.ntp.br iburst nts

Salve o arquivo e reinicie o serviço chronyd:

# systemctl restart chronyd.service

Agora vamos configurar o tzdata para horário UTC:

# dpkg-reconfigure tzdata

Arquivo:Tzdata1.png