詳細検索

Novo design para otimização de operações de log com Microsoft Sentinel × Data Lake

Avatar
por 西田
3 min de leitura

Novo design para otimização de operações de log com Microsoft Sentinel × Data Lake
Traduzido do 日本語 • Ver original
西田
西田

Olá, aqui é Nishida da Colorkrew. Cada vez mais organizações estão disponíveis para coletar logs com o Microsoft Sentinel, mas conforme avançamos com a operação, vocês enfrentam esses problemas?

 

"Troncos demais, custos de armazenamento inflacionados"
"Eu coloco tudo em Sentinel, mas não costumo falar muito dele."
"Quero focar em armazenamento de longo prazo e análise de tendências, em vez de detecção em tempo real."

Uma opção a considerar é integrar com o Azure Data Lake Storage (ADLS).

Sentinela sozinho não é prático

O backend do Sentinel, Log Analytics , é um
Ele é otimizado para detecção e caça em tempo real.
No entanto, quando a quantidade de toras se torna enorme, os seguintes desafios se tornam evidentes.

  • Custos aumentados: Custos disparam devido à retenção de longo prazo e grande armazenamento de toras
  • Baixo desempenho: Consultas e visualizações se tornam mais pesadas
  • Limitações da análise: A operação centrada em KQL dificulta a integração com ferramentas de BI e IA.

Como resultado, é necessário separar "dados usados para monitoramento" e "dados usados para análise e armazenamento".

Registros em grande escala estão entrando na era do "lago de dados direto"

Nos últimos anos, tornou-se comum dividir os destinos de acordo com a natureza dos dados.

Imagem do fluxo de dados:

  • Gerador de Logs
    • Logs que exigem análise em tempo real → Microsoft Sentinel (nível de Analytics)
    • Bulk, logs arquivísticos → Azure Data Lake Storage (tier Data Lake)

Sentinel só deixa registros que são "usados para detecção e correlação agora",
Outros dados grandes (por exemplo, logs brutos de firewall, proxies, logs de auditoria do sistema)
Adote uma configuração que envie diretamente para o Data Lake.

Essa separação permite que você alcance três coisas ao mesmo tempo:

  1. Manter desempenho de detecção em tempo real
  2. Armazenamento de longo prazo e baixo custo de toras grandes
  3. Expansão da plataforma de análise que pode ser utilizada de forma flexível com BI e IA em data futura

Principais Benefícios da Integração com Data Lake

Benefícios Conteúdo
Otimização de Custos Reduzir os Custos de Retenção Sentinela e Armazenar Barato com ADLS
Liberdade de Análise Integração fácil com Power BI, Synapse, Databricks e mais
**Armazenamento de longo prazo ** Fácil de manter histórico e cumprir leis e regulamentos em unidades plurianuais
À prova de futuro Pode ser usado como fonte de dados para modelos de aprendizado de máquina e detecção de anomalias

Como a segurança da Colorkrew pode ajudar

A Colorkrew Security oferece o seguinte
Projetamos e implementamos a arquitetura integrada do "Sentinel × Data Lake".

  • Projeto de coleta de logs (quais dados vão para o Sentinel e quais dados para o data lake)
  • Projeto de configuração de transferência e armazenamento com Azure Data Lake Storage
  • Construindo uma plataforma de visualização por meio de ligação Synapse/Power BI
  • Otimizar custos e desenvolver políticas de retenção
  • Estabelecer um modelo de utilização de logs que conecte as equipes de operações e análise do SOC

de coletar todos os troncos,
Vá em "Coloque os dados onde você precisa, do jeito que precisar."

A Colorkrew Security pode ajudar você a projetar e operá-la de forma consistente.

Related Articles