Whitepaper 'FinOps e gerenciamento de custos para Kubernetes'

Por favor, considere dar ao OptScale um Estrela no GitHub, é código aberto 100%. Aumentaria sua visibilidade para outros e aceleraria o desenvolvimento de produtos. Obrigado!

Como otimizar o uso de RI/SP para equipes de ML/AI com OptScale →

Ebook 'De FinOps a estratégias comprovadas de gerenciamento e otimização de custos de nuvem'

Obtenha o e-book

Entrar Inscrever-se

OptScale — FinOps

Visão geral do FinOps

Otimização de custos:

AWS

Microsoft Azure

Google Cloud

Nuvem Alibaba

Kubernetes

OptScale — MLOps

Perfil de ML/IA

Otimização de ML/IA

Criação de perfil de Big Data

PREÇOS OPTSCALE

Acura – migração para nuvem

Visão geral

Nova plataforma de banco de dados

Migração para:

AWS

Microsoft Azure

Google Cloud

Nuvem Alibaba

VMware

Pilha aberta

KVM

Nuvem pública

Migração de:

Na premissa

Acura – DR e backup na nuvem

Visão geral

Migração para:

AWS

Microsoft Azure

Google Cloud

Nuvem Alibaba

VMware

Pilha aberta

KVM

E-book FinOps

De FinOps a estratégias comprovadas de gerenciamento e otimização de custos de nuvem

O ebook também está disponível no Amazon Marketplace →

Este ebook abordará a implementação dos princípios básicos do FinOps para esclarecer formas alternativas de conduzir a otimização de custos da nuvem. Ele irá ajudá-lo a construir uma sólida estratégia de gestão financeira e compreender a importância da otimização em tempo real e explorar oportunidades de redução de custos.

O que é FinOps
Por que FinOps está ganhando força
Quais são os principais princípios de FinOps
Quais são os principais desafios de gerenciamento e otimização de custos da nuvem
Em que consiste uma fatura de nuvem
Como reduzir sua conta de nuvem
Histórias de sucesso de adotantes de FinOps

E insights muito mais profundos sobre a capacitação de FinOps em sua empresa.

Obtenha sua cópia

Obrigado pelo seu pedido!

Seu download começará em alguns segundos

Nick Smirnov,
Entusiasta de FinOps e CEO da Hystax

Sobre o autor

Nick Smirnov é um entusiasta de FinOps e transformação digital com mais de 10 anos de experiência trabalhando com nuvens públicas e no desenvolvimento de software corporativo. Nick é apaixonado pela adoção da nuvem e está ajudando as empresas a navegar pelo gerenciamento de custos da nuvem com mais eficiência.

Introdução

As empresas de hoje continuam a se envolver com a computação em nuvem para otimizar as principais métricas de desempenho e fazer maiores investimentos na nuvem. Como resultado, eles estão vendo não apenas infraestrutura de TI escalonável, confiável e sempre disponível, mas também fornecendo melhores serviços para os clientes finais. Uma variedade de setores se beneficia da adoção da nuvem, incluindo saúde, varejo, finanças, educação e governo.

No entanto, quando uma migração inicial para a nuvem é concluída, provavelmente surgem problemas. Um desafio que costuma surgir é a implementação do gerenciamento financeiro na nuvem e a otimização de custos. Nos últimos anos, tem havido um problema consistente – a falta de verdadeiros profissionais de FinOps que possam alimentar as melhores práticas, implementar novas ideias e configurar processos de gerenciamento de custos de nuvem suaves e eficientes.

À medida que os fornecedores de nuvem oferecem mais serviços e a infraestrutura de nuvem continua a se desenvolver dinamicamente, o FinOps não é uma tarefa de um dia. É um processo contínuo de melhoria e otimização.

Este ebook abordará os principais princípios do FinOps, dicas práticas e melhores práticas para tornar o FinOps mais disponível para todos os envolvidos no processo, desde engenharia, finanças, operações, gestão de produtos e liderança.

1. O que é FinOps

FinOps é um conceito relativamente novo na área de computação em nuvem. Ele está sendo desenvolvido e implementado ativamente para ajudar as empresas a adotar um ambiente de nuvem de maneira inteligente, segura e transparente.

O FinOps reúne as ideias das equipes de engenharia e departamentos financeiros para estabelecer um processo transparente e definido, quando nuvens privadas ou públicas de diferentes provedores de nuvem em vários locais são usadas de maneira otimizada e consideram custo, desempenho, capacidade e perspectivas da empresa. Ajuda a construir um processo de otimização constante, melhorar a experiência de uso da nuvem, controlar os recursos da nuvem e suas despesas.

FinOps não é sobre economizar algum dinheiro em sua infraestrutura de TI em nuvem. Essa metodologia visa construir um ambiente de nuvem eficaz para garantir o crescimento mais rápido e lucrativo do negócio, permitir mais produtividade, lançamentos de novos recursos e maior ROI. FinOps tem tudo a ver com gestão lucrativa, flexível e ágil, bem como colaboração bem-sucedida e significativa entre departamentos, como engenharia, finanças e gestão. É um processo contínuo de melhoria em todos os processos de TI para identificar e remover gargalos e bloqueadores, permitir que as equipes de engenharia atualizem os produtos mais rapidamente, implementem estratégias de migração para a nuvem em tempo hábil e identifiquem totalmente quando você está no vermelho ou quando é hora de investir mais.

2. Por que FinOps está ganhando força

Consequências de uma infraestrutura de TI legada

Os problemas da infraestrutura de TI legada não são apenas servidores obsoletos e software desatualizado. Algumas empresas têm um número significativo de combinações de pilhas de infraestrutura de software, dobrando a complexidade e o custo de manutenção do ambiente. Esse problema leva tempo, esforço e orçamento significativos de uma equipe de TI. Por exemplo, os custos de mão de obra aumentam à medida que o número de configurações aumenta. Diferentes equipes são necessárias para operar, integrar e manter diferentes infraestruturas e configurações.

A implementação de uma infraestrutura ágil e moderna abre novas oportunidades ao diminuir mão de obra, manutenção e outros custos operacionais. Também libera sua equipe para entregar novos produtos ou serviços. A chave para o sucesso é uma estratégia adequada de migração para a nuvem, seguida pela metodologia FinOps.

Crescimento do consumo de nuvem pública

Não há melhor momento do que agora para começar a implementar tecnologias de nuvem e princípios de FinOps para seus negócios.

A integração em nuvem está em ascensão e as empresas estão descobrindo rapidamente os enormes benefícios que vêm com ela. De fato, 92% das empresas têm pelo menos uma parte de seu departamento de TI na nuvem. Em comparação com 2020, a receita da nuvem pública crescerá 16% em 2021 e outros 15% em 2022. Os gastos globais com nuvem crescerão sete vezes mais rápido do que os gastos gerais com TI neste período. Há previsões de que os gastos mundiais com serviços e infraestrutura de nuvem pública quase dobrarão, para cerca de $500 bilhões, até 2023.

Não é surpresa que plataformas de nuvem pública bem estabelecidas - Amazon Web Services, Microsoft Azure e Google Cloud Platform - reforcem sua liderança no mercado de nuvem em 2021. A AWS permanecerá no topo com confiança, enquanto MS Azure, GCP e Alibaba irão continuar seu crescimento para tentar minimizar a lacuna.

Contas de nuvem imprevisíveis

Ao investir milhares de dólares em infraestrutura de nuvem, é obrigatório garantir que você o faça de maneira adequada. Uma lição interessante surgiu em 2020 para ajudar a entender a importância de configurar a prática de FinOps e evitar estouros de orçamento no futuro. Foi um experimento de teste gratuito que terminou com uma conta enorme de $72.000 durante a noite.

Parece impossível, mas este é o caso real de um projeto de lei imprevisto do GCP. Em tais circunstâncias, é justo dizer que o FinOps é uma necessidade hoje em dia.

Este ano, espera-se que o desperdício de gastos com nuvem exceda $17,6 bilhões. Mais de $11 bilhões desse desperdício é esperado de recursos ociosos, enquanto os $6,6 bilhões adicionais são atribuídos a recursos superdimensionados. Esses números geralmente são o resultado da falta de acesso aos dados reais.

O Gartner prevê que as empresas que carecem de processos de otimização de custos gastarão em média 40% em nuvem pública este ano.

Com foco não apenas nos orçamentos, mas também no uso geral da nuvem e na integridade da nuvem, qualquer equipe FinOps pode identificar padrões no uso da nuvem, fornecer insights de otimização em tempo real e evitar gastos excessivos significativos. A otimização e o gerenciamento regulares de custos da nuvem ajudam a analisar constantemente o uso da nuvem e aconselhar como você pode obter melhor desempenho com menos custos.

É por isso que o FinOps tem se tornado um mainstream como base de gerenciamento de nuvem econômico há vários anos. O uso diário da metodologia FinOps ajuda a superar um conjunto de problemas perenes: previsão imprecisa de contas em evolução, gastos excessivos com recursos de nuvem não utilizados, custo compartilhado não transparente etc. Em particular, um bom gerenciamento de custos de nuvem oferece às empresas a capacidade de planejar o futuro, reduzir o desperdício e prever seus custos e suas necessidades de recursos.

Gerenciar os custos da nuvem é como criar uma base sólida. Faça certo e todos os tipos de processos de negócios perfeitos e duradouros podem ser construídos no topo. Entenda errado e, a longo prazo, custará mais e causará muitos problemas. Os benefícios de uma estratégia FinOps são claros.

3. Quais são os principais princípios do FinOps?

Nuvens bare metal, privadas e públicas oferecem não apenas maneiras diferentes de provisionar e manter recursos, mas também oportunidades diferentes de como os departamentos financeiros e de compras devem tratá-los e lidar com eles.

Bare metal e nuvens privadas na maioria dos casos são sobre CapEx, quando as empresas compram e atualizam licenças de hardware e software em alguns ciclos, alugam espaço e energia e pagam salários ao pessoal. As nuvens públicas são baseadas em OpEx com contas mensais ou anuais e uma mentalidade de leasing, mas não de propriedade. Se você é uma pequena empresa, não é grande coisa ajustar seus processos, mas para uma grande empresa é uma dor de cabeça. Pense em nuvens privadas com CapEx, públicas com OpEx, equipes de engenharia provisionando recursos em vários locais e sem limites em nuvens públicas transformando-se em contas enormes, departamentos financeiros com recursos locais e públicos e diferentes categorias de contabilidade. Essas realidades apresentam obstáculos à adoção da nuvem em grandes empresas e mostram por que elas ainda preferem não adotar a nuvem híbrida.

Para eliminar a barreira, a metodologia FinOps foi criada e está se desenvolvendo ativamente hoje com milhares de profissionais e empresas como membros e patrocinadores.

FinOps é um processo e um conjunto de boas práticas para trazer os seguintes aspectos para empresas e stakeholders:

Visibilidade – transparência e previsão de gastos na nuvem
Otimização – otimização de despesas na nuvem
Controle – um processo estabelecido de monitorar e controlar os recursos da nuvem e suas despesas
Colaboração – FinOps não é sobre uma pessoa em uma empresa, mas uma colaboração constante entre engenheiros e seus gerentes, entre os departamentos de P&D, Operações e Financeiro, CTO, CIO e escritórios de VPs.

Aqui está uma lista de pessoas (mas não limitadas apenas a esses cargos) envolvidas no processo FinOps: CTO, CIO, VPs e diretores de engenharia / Ops / DevOps, CFO, controladores e analistas financeiros, gerentes de engenharia, gerentes de projeto e, de claro, engenheiros que trabalham diretamente com nuvens.

Antes de pular para as etapas de adoção do FinOps, é importante definir o objetivo final - construir um processo transparente e definido, quando as nuvens são usadas de maneira ideal do ponto de vista de custo, desempenho, P&D e metas da empresa e o desperdício de dinheiro é definido ao mínimo .

3.1 Princípios FinOps: Visibilidade

Nuvens privadas têm regiões, inquilinos, clusters, etc. Nuvens públicas têm contas vinculadas, regiões, usuários IAM e assim por diante. Normalmente, é uma tarefa complexa descobrir quanto é gasto em cada aplicativo, ou por qualquer equipe, mas isso é crucial para entender gargalos, orçamento e previsão e evitar desperdícios.

Visibilidade, no caso de FinOps, significa identificar unidades organizacionais e mapeá-las em recursos de nuvem com preservação de dados históricos para posterior análise de tendências. As unidades referem-se a itens como unidades de negócios, equipes, engenheiros individuais, aplicativos, serviços em nuvem e pools de ativos. Como os recursos da nuvem estão em constante mudança, é importante não apenas capturar o estado atual, mas também desenvolver um processo de obtenção de visibilidade na dinâmica.

Quais práticas para obter a visibilidade são:

Identifique as unidades (mencionadas acima) a serem rastreadas.
Não se espalhe no começo tentando controlar tudo, foque no que é mais importante. Comece com unidades de negócios, equipes e engenheiros individuais, pois é uma boa maneira de iniciar o processo de educação FinOps.
Defina uma política de como identificar os recursos pertencentes a uma unidade específica.
Pode ser uma marcação ou uma convenção de nomenclatura de recursos. O importante é que, ao defini-lo, você deve segui-lo para ter sucesso.
Defina uma política para identificar criadores de recursos.
É complicado descobrir criadores de recursos em nuvens públicas, por isso é extremamente útil ter uma política para isso, mesmo que seja apenas um trabalho do Jenkins. Mais tarde, você pode precisar descobrir quem ou o que criou um recurso não atribuído, e essa abordagem ajudará.
Crie orçamentos e gráficos para rastrear unidades.
Use ferramentas de gerenciamento de custos para rastrear orçamentos adequadamente.
Defina regras TTL e crie trabalhos de limpeza.
Não permita nenhum recurso sem TTL. O TLL pode ser definido com tags ou como parte de um nome e ajuda a evitar desperdícios e entender melhor a finalidade dos recursos.
Revise seus orçamentos na dinâmica.
As despesas com nuvem não gerenciada tendem a crescer. Você precisa ficar de olho neles para priorizar quais orçamentos precisam de ação imediata.
Evite recursos não atribuídos.
Você deve criar o hábito de tolerância zero com recursos órfãos ou não atribuídos. Quanto mais desses recursos você tiver, menos transparência terá.
Não se esqueça dos 'custos ocultos', contas de nuvem e regiões.
Uma nuvem não é apenas sobre VMs ou contêineres; existem dezenas de outros serviços e itens que custam dinheiro, mas não são tão óbvios. Um dos aspectos mais importantes é o tráfego de rede, que pode ser uma parte significativa de sua fatura de nuvem.
Não se esqueça de que seus recursos podem ser distribuídos entre várias contas e regiões de nuvem.
Colocar esses princípios em ação pode esclarecer imediatamente suas despesas atuais com a nuvem e abrir as portas para a otimização, que será discutida no próximo capítulo.

3.2 Princípios FinOps: otimização de nuvem

A otimização da nuvem parece ser uma fruta fácil, mas há boas e más notícias. A boa notícia – na maioria dos casos, você pode ver rapidamente os resultados instantâneos do FinOps. A má notícia – você tem que trabalhar nisso constantemente. A otimização única dá resultados, no entanto, em alguns meses, você pode voltar à sua conta de nuvem anterior.

Existem algumas práticas que você pode usar para otimizar os recursos de nuvem e reduzir sua conta de nuvem. O mais importante é estabelecer um processo de consumo e provisionamento de recursos inteligente e consciente para que você não trate apenas dos resultados, mas faça da otimização parte integrante de todos os seus processos internos.

Aqui estão algumas maneiras de otimizar suas despesas atuais, seguidas de como torná-las parte de todo o processo de provisionamento da nuvem.

Existem centenas de ferramentas de otimização de recursos de nuvem. Alguns são realmente avançados, outros apenas analisam as métricas de monitoramento da máquina e oferecem soluções mais baratas. Concentre-se no que você pode fazer sozinho com sua equipe e sem nenhuma ferramenta. É importante analisar o mercado e identificar uma solução que esteja em conformidade com os padrões do FinOps e possa ajudá-lo com todos os quatro princípios do FinOps.

Você pode querer se concentrar conscientemente nos serviços IaaS, pois eles são os mais comuns. Todos os itens devem funcionar para todas as nuvens públicas.

Recursos não utilizados

Comece com recursos não utilizados que você pode limpar:

Liste todos os volumes e instantâneos que não estão sendo anexados a nenhuma VM ou usados para criar imagens. Revise e remova-os. Ao remover imagens, não se esqueça de revisar os instantâneos, pois eles estão vinculados às imagens.
Liste todas as VMs paradas e verifique se são necessárias. Se eles não custarem nada como VM, eles ainda terão volumes anexados.

VM re-flavoring

Passando para a reformulação de sabor de VM: analise as métricas de desempenho de suas VMs e veja se você precisa escolher sabores mais baratos. Seria bom começar com recursos recorrentes, como trabalhos de CI/CD, pois você obterá um resultado mensurável mais rapidamente.

Instâncias reservadas e planos de salvamento

Considere instâncias reservadas e planos de salvamento. Seja cauteloso: instâncias reservadas e planos de poupança que não são calculados corretamente podem aumentar suas despesas em vez de reduzir. Você pode encontrar mais artigos online.

Instâncias spot

Considere instâncias pontuais. Eles são 2 a 4 vezes mais baratos do que sob demanda e são ideais para trabalhos de CI/CD e tarefas de curto prazo.

Otimização de armazenamento e rede

Revise seu tráfego entre regiões e de saída. Ambos não são gratuitos e podem surpreendê-lo quando você se aprofundar.
Ative e defina as configurações de retenção para objetos parciais em todos os depósitos de armazenamento de objetos. No armazenamento de objetos, você paga pelo espaço alocado e, às vezes, carrega parcialmente objetos que consomem armazenamento, mas são inúteis, pois não são integrais.
Encontre duplicatas e blocos/pastas pertencentes a usuários e projetos inativos. Ordens adequadas em qualquer armazenamento de objeto são raras, se é que ocorrem.
Considere o uso de armazenamento a frio para alguns de seus baldes e pastas e esse tipo de armazenamento é muito mais barato.
Considere o uso de serviços CDN em vez de apenas armazenamento de objetos. Você pode melhorar a experiência do usuário e economizar nos custos de armazenamento e tráfego de saída.

Vamos também considerar a criação do processo que deve ajudá-lo a trazer mais ordem e usar as nuvens de maneira ideal.

Marque todos os recursos. Você pode usar várias tags para identificar os proprietários dos recursos, TTL, projeto, equipe, o que for. Recursos sem tag devem ser removidos.
Crie um script de limpeza que usará uma tag TTL e removerá recursos expirados. Não confie em seus engenheiros para limpar os recursos manualmente ou nos trabalhos do Jenkins para fazer isso automaticamente. Os trabalhos de CI/CD podem falhar e os engenheiros podem esquecer e optar por uma PTO.
Crie uma equipe FinOps para revisar as etapas acima e implementá-las. Você precisa fazer isso regularmente ou não funcionará corretamente.
Considere outras nuvens e regiões. Nem todas as regiões têm o mesmo preço e desempenho de instância. Você deve monitorar ativamente essas métricas para provisionar na nuvem, região e zona de disponibilidade com melhor desempenho e economia.
Encontre uma solução de software para ajudá-lo. Concentre-se não apenas em uma ferramenta com o melhor marketing, mas naquela que realmente adota e define os padrões de FinOps. As ferramentas de otimização de nuvem não são suficientes.

Você deve pensar em FinOps não apenas quando é uma empresa com receita de $1B e 1.000 funcionários, mas desde o primeiro dia de sua empresa, pois as nuvens podem impulsionar o crescimento ou ser uma verdadeira dor de cabeça - até quase arruinar seu negócio (aqui está um dos exemplos). O FinOps se dedica a ajudá-lo a obter o melhor das nuvens, pagando apenas o que deve.

3.3 Princípios FinOps: Controle

Ser capaz de ver os dados históricos de seus gastos com nuvem e otimizá-los é importante, mas é crucial ter a oportunidade de construir um processo quando os fundos são alocados e usados apenas para o que devem e com a opção de gerenciar e prever as despesas.

Os benefícios do controle são claros, mas vamos resumi-los:
É o principal impulsionador da otimização constante quando não há custos ocultos, recursos órfãos ou não utilizados.
Sem gastos excessivos no orçamento - você conhece seu orçamento e pode prever os gastos projetando-o no mês, trimestre ou, em alguns casos, até no ano atual.
Nenhuma destruição para sua equipe quando a equipe precisa revisar periodicamente as despesas e descobrir uma maneira de otimizar para ficar abaixo do orçamento.

Aqui estão alguns conselhos práticos para as equipes FinOps sobre como construir um processo de controle adequado.

Construindo este processo:

Crie um orçamento separado para cada item granular
Crie um orçamento separado para cada item granular que você gostaria de rastrear. Pode ser (mas não limitado a) um trabalho de CI/CD ou um cluster de aplicativos, uma equipe de P&D, um projeto de PoC, etc.
Atribua um proprietário para cada orçamento específico
Não espere que uma pessoa possa acompanhar adequadamente mais de sete orçamentos. Pode ser um engenheiro DevOps ou um membro da sua equipe FinOps.
Identifique uma regra sobre como os recursos devem se enquadrar em um orçamento específico e um proprietário
Pode ser uma tag ou um prefixo/postfix do nome do recurso ou algumas outras regras usadas em sua empresa. O ideal é que os recursos caiam automaticamente nos orçamentos (recursos de trabalho de CI/CD criados com uma tag, engenheiros usam seu nome no prefixo, etc.).
Definir regras TTL
Pode ser outra tag ou, por exemplo, uma regra para remover recursos com mais de 24 horas, caso não contenham alguma tag específica de 'não excluir'.
Criar um script de limpeza
Crie um script de limpeza para ser iniciado periodicamente e para remover recursos com TTL expirado. Não se esqueça dos volumes, snapshots e imagens, são recursos caros, mas na sua empresa você deve ter outras categorias.
Componha um script ou use ferramentas de gerenciamento de custos de nuvem de terceiros
Crie um script ou use ferramentas de gerenciamento de custos de nuvem de terceiros para calcular e rastrear previsões de orçamento e fornecer dados atualizados de despesas de nuvem para todos os proprietários de recursos. As ferramentas nativas da nuvem são muito limitadas de maneira que você possa rastrear despesas - lembre-se de que a ideia principal da nuvem para você é gastar mais, não economizar. Considere enviar os dados para os proprietários do orçamento e dos recursos toda sexta-feira de manhã para que eles tenham tempo de revisar e corrigir os problemas antes do fim de semana.
Enviar alertas instantâneos
O script da p.6 deve ser capaz de enviar alertas instantâneos se houver um gasto real acima do orçamento ou se a previsão for 1,5 maior que o seu orçamento. Dá mais espaço para algumas ações corretivas.
Controle as instâncias reservadas e salve o uso dos planos
É alarmante quantas empresas adotam essas opções, mas ainda as utilizam.
Controle o uso de instância spot para trabalhos de CI/CD
Para a maioria dos trabalhos recorrentes, sua equipe pode usar instâncias pontuais, mas a equipe pode não estar familiarizada com a funcionalidade.
Eduque sua equipe
Este e o passo mais importante. Eduque sua equipe sobre as etapas e explique por que elas são importantes. A execução de todas as etapas acima é um processo, mas não uma ação única. A maioria das empresas falha exatamente por esquecer de executar as etapas recorrentemente.
Lembre-se também de que existem ferramentas de gerenciamento de custos de nuvem que podem ajudar com o princípio e cuidar da maioria, mas não de todas as etapas. Se sua equipe não levar isso a sério ou não for educada, você não obterá o melhor do FinOps.

De FinOps a estratégias comprovadas de gerenciamento e otimização de custos de nuvem

Obtenha sua cópia

Obrigado pelo seu pedido!

Seu download começará em alguns segundos

Sobre o autor

Introdução

1. O que é FinOps

2. Por que FinOps está ganhando força

Consequências de uma infraestrutura de TI legada

Crescimento do consumo de nuvem pública

Contas de nuvem imprevisíveis

3. Quais são os principais princípios do FinOps?

3.1 Princípios FinOps: Visibilidade

Quais práticas para obter a visibilidade são:

3.2 Princípios FinOps: otimização de nuvem

Recursos não utilizados

VM re-flavoring

Instâncias reservadas e planos de salvamento

Instâncias spot

Otimização de armazenamento e rede

3.3 Princípios FinOps: Controle

Construindo este processo:

Baixe a versão completa para ler