A mais recente versão da estrutura de código aberto para mensagens publish-subscribe (publicar e assinar) distribuído do Apache Pulsar permite que as empresas avancem "para além" das ações relacionadas a movimentação dos dados. A Streamlio anunciou recentemente que foi disponibilizado a solução de mensagem em streaming da Apache Pulsar 2.0. A nova versão suporta funções Pulsar, Registro de Esboço e Compactação de Tópicos.
Outras características desta nova versão incluem:
- Atualização do Apache BookKeeper para a versão 4.7;
- Melhorias de desempenho;
- Compatibilidade com versões pré-2.0 da Pulsar.
Funções Pulsar: A capacidade nativa para processamento de stream de dados foi primeiramente anunciada como uma característica de amostra no início deste ano. As Funções Pulsar são processos computacionais leves que podem ser usados para aplicar transformações e análises diretamente nos dados como fluxos por meio da Pulsar, sem precisar do uso de sistemas externos ou extensões adicionais de códigos. As funções são executadas a cada vez que uma mensagem é publicada em um tópico de entrada.
Registro de Esquema: O registro de esquema simplifica o desenvolvimento de aplicações orientadas a dados por prover aos desenvolvedores a habilidade de definir e validar a estrutura de integridade de dados fluindo por meio do Pulsar. Isto suporta os registros internos que habilitam clientes para subir esboços de dados relacionados sempre a tópicos específicos. Estes esboços ditam como os tipos de dados são reconhecidos como válidos para aquela tópico. O registro de esquema está disponível apenas através do cliente Java.
Compactação de Tópico: Esta é uma melhoria da Pulsar em coordenação com solução da Apache BookKeeper para armazenamento de dados de streaming implementa melhorias de desempenho. Compactação de Tópicos é um processo que executa no broker da Pulsar para construir uma foto do último valor para cada chave em um tópico. O processo de compactação de tópico lê por meio da lista de tópicos, mantendo apenas a última mensagem para cada chave de uma lista compacta. É considerada como não-destrutiva e desta forma a lista original ainda ficará disponível para os usuários que precisarem dela. Os usuários podem controlar quando a Compactação de Tópico ocorre, apenas disparando uma mensagem manualmente via chamada REST.
O InfoQ conversou com Matteo Merli, co-fundador da Streamlio, arquiteto e líder de desenvolvimento da Pulsar enquanto trabalhava na Yahoo, sobre a estrutura da Pulsar e a evolução dos produtos.
InfoQ: Como a Pulsar pode ser comparada com outras estruturas de mensageria?
Matteo Merli: Como uma lista enorme de outras estruturas, a Pulsar permite ser capaz de trocar mensagens de forma distribuída e ser acessível por meio de diversos clientes. A Pulsar se diferencia com a capacidade e possibilidade de manter os requisitos de aplicações modernas orientadas a dados e análises sem o custo e complexidade de alternativas. Mais especificamente, estas aplicações incluem melhores taxas de transferência e latência, escalabilidade, processamento de funções nativas de streaming, e suporte a ambas mensagerias de publicar-assinar e enfileiramento de mensagens, replicação de múltiplos datacenters, segurança e gerenciamento de recursos.
InfoQ: Qual o roadmap da Pulsar e suas próximas funcionalidades?
Merli: Como um projeto de código aberto, o roadmap da Apache Pulsar é delineado pela comunidade da Pulsar por meio de seus contribuidores e usuários. O trabalho atual de desenvolvimento que é esperado para ser disponibilizado em breve inclui: o suporte para interfaces de acessos adicionais, um conjunto expandido de conectores para fontes de dados e repositórios, melhorias que providenciarão a capacidade de armazenamento multi-camadas, e um conjunto expandido de suporte a formatos de esquemas.
A equipe da Pulsar disponibilizou a versão 2.0.1 que inclui correções de falhas nos pacotes Python para o PyPI e REST APIs disponibilizadas pelo proxy da Pulsar. Para maiores informações sobre esta nova versão, veja nas release notes na página da Pulsar.