Nick: Olá a todos, hoje discutiremos “Como reduzir significativamente os custos e otimizar os gastos com a nuvem”.
Nick: Sou Nick Smirnov, CEO da Hystax, e Max Bozhenko, CTO e gerente de engenharia, que lidera equipes de engenharia há mais de 10 anos.
Max: Olá Nick, oi pessoal. Hoje vamos falar sobre consumo de nuvem e como controlar a conta da nuvem e também reduzi-la.
Nick: Obrigado, Max. Mas antes de começarmos, algumas palavras sobre Hystax:
1. A Hystax é líder global em migração para a nuvem e recuperação de desastres entre nuvens e em nuvem híbrida
2. Temos clientes em 5 continentes e funcionários em 4 países
3. E agora construindo uma plataforma de nuvem para governança de custos e colaboração
Nick: 1. Ok, Max, você pode nos falar sobre o que geralmente consiste uma conta de nuvem?
Max: Sim, claro. Quando você recebe uma fatura da nuvem e vai para os detalhes, você vê uma lista de serviços de nuvem, como computação, armazenamento ou rede, que você usou durante o período de cobrança.
Você também pode ver posições relacionadas a serviços de terceiros, como custos de software do mercado de nuvem. Alguns dos itens da conta são bem diretos – quando você paga por recursos de computação e armazenamento, você pode mais ou menos prever o intervalo de seus gastos de acordo com os tipos de instância e o tamanho do armazenamento. Alguns outros precisam de mais investigação para se tornarem transparentes – taxas de transferência de dados, por exemplo.
Resumindo, isso varia de empresa para empresa e depende dos casos de uso: algumas podem ver computação e armazenamento como o principal driver de custo, outras empresas podem usar extensivamente lambdas, reconhecimento de voz ou serviços de IoT. Pode parecer óbvio, mas você precisa pegar algumas de suas faturas recentes, selecionar seus três principais serviços e trabalhar com eles para descobrir a melhor maneira de otimizar.
Existem dezenas de serviços de nuvem diferentes, então não há nenhuma receita secreta para fazer isso manualmente, mas, em geral, como eu disse anteriormente, os recursos de computação e armazenamento são as duas principais linhas nas contas de nuvem.
Nick: 2. Ok, então não se trata apenas de recursos de computação, mas há outros custos que podem não ser tão óbvios. Qual é a proporção padrão de serviços de nuvem em uma conta de nuvem?
Max: Depende dos casos de uso. Se falamos sobre empresas, elas ainda utilizam muito computação, armazenamento e rede. Para computação, é principalmente sobre VMs, mas os contêineres estão crescendo muito rápido. As empresas também usam serviços nativos da nuvem, mas vale a pena mencionar uma coisa interessante: elas preferem executar big data, IA, IoT e outros casos de uso com base em soluções de terceiros e não usar serviços nativos da nuvem. Acho que a explicação está no bloqueio do fornecedor e nas políticas internas para evitá-lo.
Para armazenamento, eles usam dispositivos de bloco e armazenamento de objetos. Como a maioria das empresas usa modelos multi ou híbridos, elas têm tráfego intensivo entre sites.
Startups nascem com novas metodologias, são livres de aplicativos e códigos legados e não usam muitos recursos legados, mas, em vez disso, utilizam amplamente contêineres e serviços nativos da nuvem. Recentemente, conduzimos uma pesquisa e a maioria dos nossos entrevistados disse que na AWS eles usam RDS, Lambda e Fargate como seus três principais. Mesmo na Hystax, todos os aplicativos e serviços são conteinerizados e usamos EC2 apenas para nós do kubernetes.
Nick: 3. Ótimo. Então, depende principalmente do tipo de carga de trabalho e casos de uso. Ok, e quais abordagens diminuem significativamente as despesas com a nuvem na sua opinião?
Max: O primeiro passo para a redução de despesas é entender quais são as fontes dessas despesas, como elas se relacionam com suas necessidades e quais cargas de trabalho não precisam ser usadas o tempo todo ou estão sendo usadas de forma ineficiente. Em outras palavras, liste as três principais despesas e concentre-se nelas.
Trabalhe com sua equipe para revisar seus recursos e verificar se todos eles ainda são necessários. Crie práticas de limpeza e implemente-as uma vez por semana ou uma vez em um sprint. Apenas um processo estabelecido pode ajudar você a atingir resultados estáveis. Caso contrário, se eles forem deixados de lado e não atendidos, os mesmos problemas reaparecerão em 3-4 semanas.
As ferramentas de otimização de nuvem também podem ajudar você a dividir custos e construir práticas de governança e controle de nuvem para sua equipe. Essas ferramentas pegam informações sobre seu uso de nuvem de diferentes relatórios de nuvem e permitem que você as analise de forma mais eficaz, ao mesmo tempo em que aconselham sobre como gastar de forma mais eficiente. Claro, essas ferramentas de otimização de nuvem também custam algum dinheiro, geralmente é uma porcentagem da sua conta anual de nuvem.
Nick: 4. Então, só para resumir: você sugere usar ferramentas de otimização de nuvem e governança e controle rigorosos de custos de nuvem – falaremos sobre isso mais tarde. Mas há algumas ações que os gerentes de TI podem fazer por conta própria para reduzir custos. Imagine por um segundo que eu sou um gerente de TI com um orçamento de nuvem. O que devo fazer para otimizar os recursos de computação?
Max: Há duas coisas básicas que você pode fazer para obter um efeito imediato em suas despesas com computação.
Primeiro – em muitos casos, os recursos de VM são subutilizados – eles têm muito sabor em relação ao seu consumo real. Por exemplo, uma instância com 8 vCPUs e 16 gigabytes de RAM utilizada apenas por dez a quinze por cento de seu potencial de computação. Você pode economizar várias centenas de dólares se apenas reformulá-la para uma mais respeitosa – e isso é apenas para uma única instância, embora eu tenha certeza de que você tem mais de uma instância desse tipo. Segundo – se você puder prever seus requisitos de computação para os próximos meses ou anos – você pode economizar até 60% de custos de VM mudando para instâncias reservadas ou usando planos de economia. A maioria das nuvens públicas oferece descontos significativos para pagamento adiantado.
Além disso, você precisa saber quem está usando e para qual propósito eles estão usando os recursos de computação. Normalmente, isso é feito por marcação de recursos, onde você define uma política de marcação de recursos de nuvem que sua equipe deve seguir. Essas marcações são usadas para diferentes detalhamentos, relatórios de uso de recursos de projeto e atividades de limpeza.
Há casos interessantes em que apenas uma tarefa simples de etiquetar recursos já pode economizar algum dinheiro – as pessoas iniciam o processo de inventário de recursos e percebem que alguns deles não estão mais sendo usados. Alguns recursos podem até ser deixados por engenheiros que não estão mais em uma empresa.
Nick: 5. Ótimo, então é re-flavoring, ou usar instâncias reservadas que podem economizar até 60% de custos de VM e tagging-tagging-tagging. Mas se fizermos isso uma vez, como garantimos que em um mês ou mais, não teremos os mesmos problemas?
Max: Só há uma resposta para essa pergunta: você deve fazer isso regularmente ou delegar isso aos seus subordinados. As pessoas têm uma tendência a esquecer coisas que não estão em seu escopo, então, se você não as lembrar, elas se concentrarão em suas tarefas atuais. No final do dia, não é responsabilidade delas economizar dinheiro, mas sua.
E, claro, isso obviamente não pode ser uma atividade manual – ferramentas de software sempre funcionam de forma mais eficiente.
Nick: 6. Entendo, então é complicado e leva muito tempo para monitorar sem automação. Ok, digamos que temos todas as tags definidas, como isso pode nos economizar algum dinheiro?
Max: Uma vez que as políticas de marcação são definidas e sua equipe as segue, você pode criar scripts de limpeza que periodicamente listarão e removerão todos os recursos não marcados em sua conta. Além disso, é um bom ponto psicológico para sua equipe – se eles virem seus recursos, eles começam a pensar se precisam deles. A marcação traz alguma ordem e mente para seus hábitos de provisionamento.
Tivemos os mesmos problemas na Hystax antes de começarmos a usar tags para todos os recursos. Usamos a AWS para nossos recursos de P&D e tivemos vários problemas quando alguém se esqueceu de remover um cluster ou desligar uma VM que não era mais necessária. Como resultado, recebemos uma conta 4-5 vezes maior do que esperávamos. Basicamente, essa foi uma das razões que nos motivou a explorar mais esse tópico e construir um produto em torno dele.
Nick: 7. Não é muito difícil remover todos os recursos não marcados? E se alguém simplesmente esqueceu de adicionar uma marcação?
Max: Pode parecer muito difícil e pode causar alguns soluços no começo, mas se você olhar de uma perspectiva diferente, verá que ter recursos não marcados significa basicamente que você não sabe nada sobre eles, exceto o fato de que eles apenas inflacionam sua conta de nuvem. Você não quer pagar por algo que não conhece e que não precisa, certo? Então, scripts de limpeza podem não ser uma técnica ideal de economia de custos, mas é melhor do que nada.
Nick: 8. Ótimo. Entendi. Então um script de limpeza é melhor do que nada. Existe alguma maneira de economizar algum dinheiro em armazenamento?
Max: O mesmo vale para armazenamento – tanto o armazenamento de objetos quanto o armazenamento em bloco precisam ser marcados. Além disso, você pode estender seu script de limpeza com volume não utilizado e detecção de snapshot no armazenamento em bloco na nuvem para limpá-los também. Muitos não pensam sobre isso, mas snapshots, volumes e imagens podem custar muito caro. Os engenheiros estão mais focados em executar VMs e, portanto, podem esquecer de remover snapshots desnecessários, volumes não anexados e imagens redundantes. Marcar também deve ajudar aqui.
Nick: 9. Obrigado, Max. Ouvi você correto ao dizer que podemos remover volumes e snapshots não utilizados como parte de um script de limpeza?
Max: Sim, correto. O armazenamento em bloco é bem caro e volumes perdidos e não utilizados podem compor uma parte significativa da sua conta de nuvem. Eu sugiro que você faça disso uma regra de ouro – volumes não atribuídos e não marcados devem ser removidos.
Nick: 10. Legal, o que deve ser feito com o armazenamento de objetos? Existe alguma maneira de otimizar aqui?
Max: Com certeza. Além das técnicas de marcação, você pode optar por otimizações de camada de armazenamento, quando usa armazenamento frio para dados que não são acessados com frequência e também para otimização de posicionamento geográfico, o que também afetará seus gastos com tráfego de rede.
Recomendo fortemente criar uma política sobre como usar recursos armazenados – um bucket por engenheiro deve ser um bom ponto de partida. Mais tarde, você pode apenas revisar seus tamanhos e perguntar se todos os dados são necessários. Também faz sentido considerar se você deve mover alguns dados para um armazenamento frio – nuvens públicas fornecem uma opção para armazenamento de objetos razoavelmente barato para dados que são armazenados por um longo período de tempo e que não são usados com frequência. Como compensação, e, claro, sempre há uma compensação, você obterá um tempo de acesso de leitura maior para esses dados devido à natureza do armazenamento.
Nick: 11. Obrigado. Ouvi dizer que o tráfego de rede pode ser uma dor de cabeça e não é uma despesa óbvia até você receber sua primeira conta. Quais são as melhores práticas aqui?
Max: Normalmente, todo o tráfego de rede dentro de uma região ou zona de disponibilidade da nuvem é gratuito. O mesmo vale para o tráfego de entrada. Mas qualquer tráfego entre regiões ou de saída deve ser pago, e o valor é difícil de estimar. Por favor, seja cauteloso, os custos de rede podem ser muito altos.
Para evitar isso, você precisa pensar sobre regiões de nuvem e localidade de dados de seus recursos de computação e armazenamento para minimizar o tráfego externo e entre regiões. Você precisa colaborar com seus arquitetos para identificar problemas de localidade de dados antes de escalar em uma nuvem. Se puder, simplesmente coloque todos os componentes do aplicativo em uma região.
Além disso, não se esqueça dos serviços de CDN. Certamente, depende de seus aplicativos e casos de uso, mas na maioria dos casos seus dados devem estar mais próximos de seus clientes do que de seus engenheiros.
Nick: 12. Mas as nuvens públicas ajudam você com algum controle de custos e otimização?
Max: Nuvens públicas seguem as necessidades de seus clientes e oferecem serviços integrados para relatórios e análises de custos. Mas geralmente elas exigem que você crie o processo de controle de despesas e esquema de marcação por conta própria ou use serviços de consultoria.
Eles também não incluem cenários de otimização, então você precisa fazer isso por conta própria também. Então, construir um controle de despesas adequado usando apenas ferramentas de exploração de custos de fornecedores de nuvem é bem complexo e não está pronto para uso.
Nick: 13. Legal, tudo o que discutimos hoje parece razoável para uma única nuvem. Mas e se eu usar uma estratégia de multicloud ou de nuvem híbrida?
Max: Fica muito mais complexo se você for para multicloud. Você precisará usar diferentes consoles de faturamento de nuvem com conjuntos de recursos e fluxos de trabalho muito diferentes. E ainda mais complexo se você usar nuvem híbrida – você também precisará de ferramentas para cargas de trabalho locais que se integrarão com o faturamento de nuvens públicas. Então, seu tempo como gerente é dobrado, no mínimo, para estabelecer a técnica de otimização e para executá-la.
Recomendo fortemente focar em uma nuvem primeiro, estabelecer um processo, alcançar alguns resultados e só depois tentar popularizar isso nas outras nuvens que você usa.
Nick: 14. Anteriormente você disse que apenas otimização não é suficiente e que deve haver governança e controle de custos. Por favor, fale conosco sobre isso.
Max: No final das contas, todas essas técnicas de marcação servem como uma tática de governança de custos. Idealmente, se seus recursos estiverem marcados corretamente, você pode mapear cada centavo em sua conta de nuvem para uma unidade de negócios, equipe ou projeto específico dentro de sua organização. Isso ajuda você a orçar seus requisitos adequadamente e a controlar as despesas de nuvem em todos os níveis de sua organização.
Todos os cenários que discutimos hoje devem funcionar imediatamente, mas seus benefícios aumentariam significativamente se fossem realizados automaticamente e em tempo real. É o mesmo que aprender algo novo: se você não praticar regularmente, o resultado seria menos significativo.
Nick: 15. Ok, Max, vamos resumir as etapas que os gerentes de TI podem tomar agora para otimizar seus gastos com nuvem.
Max: Eu resumiria com a seguinte lista de itens de ação:
1. Identifique os três principais itens da sua conta de nuvem
2. Marque os recursos e implemente técnicas de limpeza
3. Identificar e revisar práticas de localidade de dados
4. Considere usar automação para governança e otimização de custos
Nick: 16. Ótimo. Max, você pode nos dizer se a plataforma que estamos construindo atualmente cobre os cenários descritos?
Max: Sim, claro. Estamos construindo uma plataforma de gerenciamento de nuvem híbrida, que é focada em governança de custos, controle e otimização. Ela fornece cenários de otimização imediatos e permite um fluxo pronto para uso para mapear suas despesas de nuvem para sua estrutura organizacional em todas as plataformas de nuvem usadas. Além disso, você recebe recursos de provisionamento sofisticados para P&D colaborativo, como provisionamento básico, modelos e controle de versão.
Nick: Legal. Obrigado, Max. Foi uma discussão legal e espero que ajude nossos convidados a economizar algum dinheiro significativo em suas contas de nuvem.
Inscreva-se no Hystax OptScale para obter governança de custos e otimizar seus gastos com nuvem gratuitamente.
