O autor e consultor Scott Ambler realiza uma pesquisa anual, desde 2007, que analisa os resultados dos projetos de TI, disponibilizando as respostas e avaliações gratuitamente.
Ambler resumiu os resultados da pesquisa de 2011 no artigo "O quão bem sucedidos são os projetos de TI, na verdade?", publicado no Dr. Dobbs, onde explorou o impacto do "paradigma de desenvolvimento" sobre o resultado dos projetos, visando identificar quais abordagens funcionam melhor. As cinco abordagens examinadas por Ambler foram:
Em um projeto de desenvolvimento de software ad hoc (improvisado), a equipe não segue um processo definido.
Em um projeto de desenvolvimento de software iterativo, a equipe segue um processo organizado em períodos de tempo denominados iterações ou time boxes. Em qualquer dia do projeto, os membros da equipe podem identificar requisitos, projetando, codificando, testando, e assim por diante; repetindo esse mesmo ciclo por várias iterações, até o término do projeto. Um exemplo de processo iterativo é o RUP (Rational Unified Process).
Em um projeto de desenvolvimento ágil, a equipe segue um processo iterativo que é mais leve, altamente colaborativo, auto-organizado e focado em qualidade. OpenUP, Scrum e XP são exemplos de processos ágeis.
Em um projeto de desenvolvimento tradicional, a equipe segue um processo dividido em etapas sequenciais, em que primeiro são identificados os requisitos, em seguida é definida a arquitetura/design; depois toda a codificação acontece; são realizados os testes, e finalmente é feita a implantação. Processos tradicionais são conhecidos como "cascata" ou simplesmente processos "em série".
Lean é um termo aplicado à filosofia que foca o valor atribuído ao cliente. Um processo Lean se esforça constantemente em otimizar o valor entregue ao cliente final, minimizando desperdícios que podem ser medidos em termos de prazo, qualidade e custo. Em última análise, a proposta do Lean busca desenvolver uma organização que aprende continuamente. Exemplos de métodos Lean incluem o Kanban e o ScrumBan.
Ao analisar os resultados, Ambler usou as seguintes definições para projetos bem sucedidos, problemáticos e fracassados:
Nesta pesquisa, um projeto foi considerado bem sucedido se uma solução foi entregue e atendeu aos seus critérios de sucesso dentro de um limite aceitável pela organização. Um projeto foi considerado com problemas (challenged) se uma solução foi entregue, mas a equipe não satisfez plenamente os critérios de sucesso do projeto dentro de limites aceitáveis (por exemplo, a qualidade estava boa, foi entregue em um prazo aceitável, mas o ROI foi muito baixo). Um projeto foi considerado um fracasso se a equipe do projeto não entregou solução nenhuma. Nas próximas pesquisas, acho que vou ajustar a definição de projeto fracassado para que exclua os que foram cancelados com pleno acordo dos envolvidos.
Com base nessas definições, Ambler encontrou os seguintes resultados:
- Estatisticamente, as abordagens iterativas e ágeis apresentaram as mesmas taxas de sucesso, sendo 69% dos projetos iterativos bem sucedidos e 25% problemáticos; ao passo que 67% dos projetos ágeis foram considerados bem sucedidos e 27% problemáticos.
- Equipes tradicionais e ad hoc obtiveram também os mesmos níveis de sucesso que, por sua vez, foram estatisticamente menores que os obtidos pelas equipes iterativas ou ágeis. Neste caso, as equipes tradicionais foram 50% bem sucedidas e 36% foram problemáticas, enquanto as equipes ad hoc 49% das equipes foram bem sucedidas e 38% problemáticas.
- 62% dos projetos Lean foram considerados bem sucedidos e 30% problemáticos, colocando-o bem no centro entre as duplas ágil/iterativo e tradicional/ad hoc.
O artigo passa então a examinar a relação entre vários fatores que contribuem para o sucesso do projeto, bem como a abordagem utilizada, tratando o sucesso de forma multidimensional:
- Prazo/cronograma: 20% dos entrevistados preferem entregar no prazo, de acordo com o cronograma; 26% preferem entregar quando o sistema está realmente pronto e 51% dizem que ambos são igualmente importantes;
- Retorno sobre o investimento (ROI): 15% preferem entregar dentro do orçamento; 60% preferem oferecer um bom retorno sobre o investimento (ROI) e 25% dizem que ambos são igualmente importantes;
- Valor para os stakeholders: 4% preferem construir o sistema de acordo com as especificações; 80% preferem atender às reais necessidades das partes interessadas (stakeholders) e 16% dizem que ambos são igualmente importantes.
- Qualidade: 4% preferem entregar no prazo e dentro do orçamento, 57% preferem entregar sistemas de alta qualidade que são fáceis de manter e 40% dizem que ambos são igualmente importantes.
Para finalizar, Ambler compara o resultado de cada dimensão com a abordagem de desenvolvimento utilizada:
Mais uma vez, esta pesquisa mostrou que os métodos de desenvolvimento de software ágeis e iterativos parecem ser mais bem sucedidos do que as estratégias tradicionais ou ad hoc. Esta conclusão reforça os resultados anteriores, deixando evidente os motivos da comunidade de TI em adotar estratégias ágeis.
Ambler não é o único a realizar pesquisas sobre o sucesso de projetos. A pesquisa mais citada é o relatório Chaos do Standish Group, que usa uma definição muito mais restritiva de sucesso como sendo entregue no prazo, dentro do orçamento e seguindo o escopo. O relatório Chaos mais recente do grupo foi lançado em março de 2011. Jim Johnson, presidente do Standish Group, diz:
Os resultados deste ano representam a maior taxa de sucesso na história da Pesquisa CHAOS. Fica claro que estamos ganhando um novo entendimento sobre os motivos de projetos obterem sucesso ou fracassarem.
Seria válida a definição de sucesso de Ambler? E os resultados apresentados refletem a realidade da sua organização?
A participação na pesquisa de Ambler foi de participação voluntária. Isso influenciaria os resultados?