Traduzido do 日本語 • Ver original Olá, aqui é a Hara, que está encarregada da Azure.
Hoje, gostaria de apresentar a você a estrutura de preços do PaaS "Azure Databricks" para infraestrutura de dados, que foi recentemente recomendada. Azure Databricks é um serviço recomendado com excelente funcionalidade e desempenho. Ao entender a estrutura de preços, você poderá usá-lo de forma mais ativa e com tranquilidade.
*Os preços listados no texto são de março ~ abril de 2022.
Para mais informações sobre o próprio Azure Databricks, consulte a documentação oficial
O que é Azure Databricks? | Microsoft Docs
Visão geral dos preços Azure Databricks
As taxas de uso do Azure Databricks podem ser amplamente divididas em duas partes: (1) taxas de uso de recursos do Azure e (2) taxas de uso do software Databricks.
Sobre taxas de uso de recursos do Azure
Ao usar Azure Databricks, os recursos mostrados na figura abaixo são implantados no Azure. O "data lake" no lado esquerdo da figura refere-se à conta de armazenamento que armazena os dados mantidos pelos usuários, não aos recursos específicos do Azure Databricks. O quadro "Databricks workspace" à direita é o recurso gerado ao usar Azure Databricks.
Um recurso gerado em um local onde a "assinatura do usuário" é visível para o usuário. Ele é automaticamente gerado e excluído pelo Azure Databricks, mas o próprio recurso é cobrado de acordo com a lista de preços do Azure, como máquinas virtuais comuns, discos e armazenamento.
Recursos nas Assinaturas Gerenciadas da Microsoft não são visíveis para você e não são explicitamente faturáveis.
Fonte: Gerenciar redes virtuais - Azure Databricks | Microsoft Docs
Taxas de Uso de Software Azure Databricks
Além dos recursos Azure, você também será cobrado pelo software Databricks. A unidade é "Databricks Units (DBUs)", e o preço para operar um nó de 1 DBU por 1 hora é o seguinte: As cobranças reais são calculadas em segundos.
Tente calcular cargas de cluster
Vamos calcular as cobranças. O processamento de dados do Azure Databricks é feito em clusters.
Existem vários tipos de clusters, mas aqui usaremos clusters para o SQL Compute. Clusters SQL Compute possuem uma combinação pré-definida de tamanho e número de nós trabalhadores, conforme mostrado na tabela abaixo.
Exemplo de Precificação em Cluster "Pequeno"
Um cluster "Pequeno" consiste em um nó driver e quatro nós de trabalho. Os tipos e quantidades de recursos usados para rodar esse tamanho por uma hora são os seguintes:
Se você usar uma VM Spot para uma máquina virtual Azure: Neste exemplo, o custo da máquina virtual é 83% de desconto. Se a carga de trabalho for retestada e não for um problema, mesmo que o processamento seja interrompido, o custo pode ser significativamente reduzido.
※Spot VM
Tamanho do Cluster Custo do Cluster por Carga de Trabalho
O custo da DBU por Azure Databricks varia dependendo da carga de trabalho do cluster. Com base no tamanho do cluster de computação SQL, o custo do cluster por hora calculado pelo tamanho da carga de trabalho é mostrado na figura a seguir. Para cargas de trabalho para todos os propósitos e trabalhos, você pode definir de forma flexível as especificações do driver e do número de trabalhadores, mas aqui as calculamos de acordo com as especificações da carga de trabalho SQL para comparação.
Quando um Cluster deve ser lançado
Basicamente, o cluster deve ser iniciado ao acessar os dados do usuário. Clusters são usados não apenas para SELEC dados de tabelas, mas também para visualizar listas de tabelas e analisar sistemas de arquivos (Databricks File System = DBFS). Clusters não são necessários para visualizar e editar cadernos, configurar tarefas, gerenciar clusters, etc.
Gerenciando Taxas de Uso
Você pode adicionar tags pelas configurações do cluster. As tags que você definir aqui são automaticamente adicionadas aos recursos do Azure gerados pelo Databricks, então você pode alocar taxas de uso de acordo com o uso do cluster.
Considere Planos Pré-Compra
Para DBUs, existe um mecanismo que permite comprar Databricks Commit Units (DBCUs) com 1 ou 3 anos de antecedência. É semelhante às reservas de máquinas virtuais, mas diferente das reservas de máquinas virtuais, que expiram a cada hora, é um crédito que pode ser consumido a qualquer momento durante um ano, se você pagar adiantado por um ano. Pode-se dizer que o mecanismo está próximo do compromisso do Azure EA.
Se você usar as DBCUs que comprou antecipadamente, será cobrado pelas DBUs pelo preço de listagem. O cluster não será desligado ou o desempenho será limitado.
Para planos DBCU, visite a página de preços do Azure Databricks.
Azure Databricks pricing | Microsoft Azure
Um exemplo de DBCU é mostrado na tabela abaixo. O plano DBCU mais baixo (25.000 DBUs por ano) equivale a operar um cluster "Pequeno" por 9 horas por dia, 20 dias por mês.
Exemplo de Precificação de Datastores
Uma conta de armazenamento pode ser usada para o datastore. Vou omitir os detalhes porque não há elementos específicos do Azure Databricks na estimativa da taxa de uso, mas se você usar 10TB de armazenamento Data Lake gen2 com armazenamento redundante local no leste do Japão, será cerca de 200~300 USD.
Contas de armazenamento também são descontadas ao comprar pré-vendas. Por favor, consulte a documentação para mais detalhes.
Como os descontos de reserva se aplicam aos serviços de Armazenamento Azure | Microsoft Docs
Conclusão
Neste artigo, discutimos em detalhes a estrutura de preços do Azure Databricks. No geral, é um mecanismo simples que cobra com base no tempo de atividade do cluster. É um serviço fácil de lidar não só em termos de desempenho e funcionalidade, mas também em termos de preços, então incentivamos você a experimentá-lo.
A Colorkrew oferece serviços de suporte para a implementação de uma plataforma de análise de dados baseada no Azure Databricks. Se você estiver interessado, entre em contato conosco pela página de serviço a seguir.
Suporte para Análise de Dados Construção de Infraestrutura |
