Alguns meses atrás, a Microsoft anunciou o HDInsight, a distribuição do Hadoop da empresa para gerenciar, analisar e dar sentido a grandes volumes de dados. A InfoQ contatou Val Fontama, Gerente de Produtos do SQL Server, para conhecer os rumos da estratégia de Big Data na Microsoft.
Quanto à evolução da quantidade de dados nas empresas, disse Fontana:
O oceano de dados empresariais não para de crescer. Algumas estimativas indicam que as informações que uma empresa armazena dobram de tamanho a cada ano. O Gartner, por exemplo, vê o volume de informação aumentando a uma taxa de 59% ao ano, com cerca de 85% desses dados sendo "desestruturados", ou seja, dados como vídeos, etiquetas RFID e logs de sites. Esses dados não-estruturados não são fáceis de tratar em sistemas de gerenciamento tradicionais. Clientes irão precisar de uma plataforma de dados que evolua com os próprios dados e a velocidade em que surgem. O Big Data permite encontrar novos conhecimentos a partir dos dados coletados, sejam eles estruturados ou não, além de orientar as decisões de forma mais inteligente a partir dos dados.
O HDInsight é a solução da Microsoft para enfrentar o desafio do Big Data?
Esperamos acelerar a adoção do Hadoop nas empresas através da oferta de distribuições Hadoop para Windows Server e Windows Azure. Isso além de aperfeiçoar a segurança do Hadoop integrando o HDInsight com o Active Directory. Isso possibilita que o setor de TI aplique politicas de segurança consistentes em todos seus recursos, incluindo clusters do Hadoop. Além disso, por meio da integração com o System Center, o HDInsight simplifica o gerenciamento do Hadoop e possibilita que o departamento de TI gerencie seus clusters Hadoop juntamente com seus bancos SQL Server e aplicações, em um único ambiente.
Para oferecer 100% de compatibilidade com o Apache Hadoop, o HDInsight, é construído sobre a Hortonworks Data Platform (HDP). Como resultado, pode-se mover jobs MapReduce de servidores Windows para a nuvem, ou até mesmo para uma distribuição do Apache Hadoop executando no Linux. Além disso, disponibilizar tais recursos nas plataformas Windows Server e Azure permite usar ferramentas familiares como Excel, PowerPivot para Excel e Power View.
Como o SQL Server se encaixa nessa solução?
Um dos diferenciais do SQL Server 2012 para o SQL Server 2008 para o processamento de grandes massas de dados é sua compatibilidade com o Hadoop. A parceria da Microsoft com a Hortonworks, bem como os previews do HDInsight Server e Windows Azure HDInsight Service, possibilitam usar conectores Hadoop, desenvolvidos pela Microsoft. Além disso, com o driver ODBC Hive que conecta o SQL Server ao Hadoop, pode-se usar as ferramentas de BI da Microsoft como o PowerPivot e o Power View no SQL Sever 2012, para analisar dados. E com o novo Data Quality Services do SQL Server 2012 é possível converter dados brutos para dados confiáveis e mais consistentes com a modelagem.
A Microsoft recentemente anunciou novos recursos do Office 2013 e formas de usá-los na construção de aplicações e no consumo de serviços de dados. A empresa faz uso dessas funcionalidades para fornecer serviços de Big Data no Excel.
O Excel é um dos principais clientes que permitem a análise de Big Data na plataforma Microsoft. No Excel 2013, nossas principais ferramentas de BI são o PowerPivot, para modelagem de dados, e o Power View, para visualização. A integração permite criar um serviço de BI usando a interface do Excel. E através do add-in Hive do Excel, nossos serviços HDInsight se integram com as ferramentas de BI do Office 2013.
Além do Excel, a Microsoft oferece ferramentas para interagir com Big Data: Profissionais de Business Intelligence podem usar o BI Developer Studio para modelar cubos OLAP ou modelos do PowerPivot no SQL Server Analysis Services. Desenvolvedores podem continuar a usar o Visual Studio para desenvolver programas de MapReduce escritos em .NET, e operadores de TI podem gerenciar clusters Hadoop no HDInsight com o System Center que usam hoje.
No geral, a estratégia da Microsoft parece ser oferecer um caminho mais rápido e de menor resistência para a adoção de Big Data, estendendo ferramentas existentes, como SQL Server e o Office, para funcionar com os novos tipos de dados, e permitindo que empresas tirem vantagens dos seus investimentos atuais.