A New Relic abriu recentemente o projeto El Dorado UI, um aplicativo Sinatra para consultar e visualizar dados de relacionamento armazenados em um banco de dados de grafos Neo4j. O El Dorado é um warehouse de estrutura que armazena as relações entre todas as equipes de desenvolvimento, projetos e microservices na New Relic. Ward Cunningham, o inventor do Wiki, descreveu a origem do projeto e demonstrou suas capacidades na conferência Explore DDD em Denver, Colorado.
O El Dorado surgiu após o Project Upscale, quando a New Relic mudou dramaticamente todo o processo de desenvolvimento de software. Depois que mais de 100 engenheiros definiram novas equipes e essas novas equipes selecionaram onde queriam trabalhar, a rede das relações não eram facilmente retratadas em um organograma hierárquico simples. Além disso, era importante acompanhar os microservices criados livremente por essas equipes. O colega de Cunningham, Andrew Ettinger, iniciou o estudo dos registros de engenharia da New Relic e apelidou do projeto El Dorado, o lugar do tesouro.
Um banco de dados de grafos era uma adaptação natural para armazenar relações entre equipes, e El Dorado usa Neo4j. Um processo ETL diário mantém o banco de dados central atualizado com as últimas mudanças de várias fontes de dados upstream. Cunningham refere-se a isso como um "armazém de estrutura de warehouse", isto é, um warehouse que armazena estruturas em vez de apenas dados ".
Diagrama do sistema El Dorado
O poder do El Dorado é poder visualizar facilmente relacionamentos complexos dentro da organização. Os usuários podem usar canned queries ou escrever consultas ad hoc na linguagem de consulta Cypher do Neo4j e ver uma representação gráfica dos resultados de uma consulta. A notação Dot do GraphViz é usada para renderizar uma imagem SVG que pode variar de algumas simples caixas e linhas a um diagrama complexo com dezenas de entidades.
Como Cunningham usou El Dorado, o valor de ter uma interface intuitiva para visualizar relacionamentos complexos tornou-se muito fácil. Com cinco fontes foi útil; com 15 foi fascinante; com o dobro, será indispensável.
Mais informações sobre o projeto El Dorado está disponível em Cunningham's Federated Wiki.