IACC na AWS: mais escala e alta disponibilidade com Apache Kafka

O IACC é uma instituição de ensino chilena com mais de 16.000 alunos na modalidade online. Para sustentar seu crescimento, a instituição adotou uma arquitetura baseada em eventos com Apache Kafka, mas precisava de um ambiente mais escalável e altamente disponível.

Para isso, escolheu a TruStep para migrar seu ambiente Kafka on-premise para o Amazon MSK (Managed Streaming for Apache Kafka). Veja como essa migração foi desenhada e executada.

Instituto Profissional IACC e sua necessidade

O Instituto Profissional IACC é uma instituição de ensino superior fundada em 1981 no Chile. Em 2008, tornou-se pioneira ao oferecer ensino 100% online, consolidando-se como referência no país.

Com milhares de alunos e diversos sistemas integrados, surgiu a necessidade de uma arquitetura mais moderna, confiável e escalável.

A equipe de TI validou uma arquitetura baseada em eventos utilizando Apache Kafka, e então buscou a TruStep para evoluir essa prova de conceito para um ambiente produtivo na AWS.

Desenho da solução

A solução combinou o Amazon MSK com serviços da AWS como EC2, CodeCommit, CodeDeploy e CodePipeline, permitindo automação completa do ciclo de vida das aplicações.

Os ambientes de QA e Produção são segregados, porém consistentes entre si, com deploy automatizado e controlado via pipeline.

A comunicação com sistemas legados ocorre por meio de VPN segura entre AWS e o data center.

O cluster Kafka Connect foi implementado em modo distribuído com Auto Scaling, garantindo alta disponibilidade e elasticidade.

Automação do ambiente

Cada novo servidor provisionado recebe automaticamente:

• Apache Kafka e dependências;
• AWS CLI;
• Agente do AWS CodeDeploy.

Além disso, o processo automatiza:

• Configuração de conexão com o cluster MSK;
• Recuperação de segredos via AWS Secrets Manager;
• Configuração de conectores via API REST;
• Criação de tópicos Kafka;
• Ajustes e reinício do cluster Kafka Connect.

Novas versões dos conectores são automaticamente buildadas e distribuídas via CodePipeline, sem necessidade de intervenção manual.

Benefícios obtidos

• Escalabilidade automática: ajuste dinâmico da infraestrutura;
• Alta disponibilidade: arquitetura resiliente na AWS;
• Automação completa: menos esforço operacional;
• Agilidade: deploys mais rápidos e consistentes;
• Foco no negócio: equipe livre para inovar.

Com a nova arquitetura, o IACC passou a expandir integrações entre sistemas e utilizar dados em tempo real para tomada de decisão.

Fale com a TruStep

Quer aplicar essa arquitetura no seu negócio? Entre em contato conosco e descubra como podemos ajudar.