Indicadores de teste

O tema da 21ª Mesa Redonda DFTestes foi “Indicadores de Teste”, que teve apenas 3 respostas (até o momento) e 3 participantes, sendo eles: eu, Leandro Mancuso e Robson Agapito.

Mesmo com o baixo número de respostas a discussão foi interessante, no que se diz respeito, a apresentação de alguns indicadores aplicados pelos profissionais. Abaixo, faço um “resumo” (quase a discussão na íntegra rs) da mesa redonda, quem quiser conferir a discussão na íntegra é só acessar o DFTestes (é necessário se inscrever).

Indicadores utilizados na prática

O Leandro Mancuso compartilhou os seguintes indicadores:

Todo final de mês eu tenho uma query que eu fiz que contabiliza todos os bugs relatados na ferramenta de bug tracking, e desses bugs eu subtraio quantos foram encontrados no ambiente de produção, com isso sei aonde a equipe de testes esta falhando e fazemos uma análise crítica do porque nos testes tais bugs não foram detectados.

Também utilizo as seguintes:
ERD = (TDR / TDD) *100
TDR = Total de defeitos removidos
TDD = Total de defeitos no testes

TDR = Total de Defeitos Removidos  (Total de defeitos menos os encontrados pelo Cliente.
TDD = Total de Defeitos Detectados pelo teste (Total de defeitos menos os encontrados pelo cliente mais os retornados para o Desenvolvimento.

O Robson Agapito, que até fez um excelente artigo sobre alguns indicadores que ele utiliza, compartilhou algumas informações sobre a EDD:

EDD (Eficácia de Detecção de Defeitos)

Nesta métrica podemos demonstrar a eficácia do produto com relação aos testes realizado pela equipe de testes. Claro esta métrica pode alternar de empresa para empresa, pois existem muitas variáveis que se divergem de uma empresa para outra. Então não basta conhecer apenas o resultado final, deve-se saber avaliar o resultado com o processo de liberação pré-definido pelas empresas.

EDD = TDD / (TDD+TDC) * 100

TDD = Total de Defeitos Detectados pelo teste
TDC = Total de Defeitos encontrados pelo Cliente

Ex.:
A equipe de testes tem um sistema para realização de testes e encontrou 40 erros no produto durante este processo. Após a liberação do Sistema os clientes encontraram mais 10 erros que não foram identificados pela equipe de testes interna. Assim possuímos os valores abaixo:

TDD = 40
TDC = 10

EDD = TDD / (TDD+TDC) * 100
EDD = 40 / (40+10)*100
EDD = 80%

Então o índice de EDD é igual a 80%, isto é, a qualidade da equipe em relação à detecção de defeitos é 80% eficaz. Mas volto a afirmar que em alguns casos estas situações podem ser interpretadas de maneira errônea se somente vermos os números resultantes. Deve ser avaliado todo o processo de liberação do software e não apenas o resultado.

Não utilizamos muitos indicadores de teste aqui na empresa, acho que mais por um motivo cultural e nos projetos que atuei, por nem sempre necessitar de indicadores. Nas poucas vezes que buscamos utilizar algum indicador, além dos que são armazenados nas ferramentas (TestLink e Eventum), foram indicadores mostrando a relação entre falhas encontradas X tempo, durante o desenvolvimento de cada versão (figura abaixo). E foi o que melhor foi utilizado, pois ajudava tanto a equipe de teste quando de desenvolvimento.

Quais são as variáveis que podemos observar para obter indicadores de teste?

Quando estamos em busca de indicadores, é interessante primeiro, saber de quais variáveis podemos tirar indicadores, abaixo segue algumas das variáveis que podemos observar:

  • Defeitos/Falhas encontrados;
  • Casos de testes;
  • Testes automatizados;
  • Funcionalidades.

Quando e qual a melhor forma de divulgar esses indicadores?

Ao longo de todo projeto, mas com o cuidado de também indicar o contexto, números por si só, são só números. E como o Robson disse, os indicadores devem ser avaliados olhando o nosso contexto, pois caso contrário, interpretações errôneas poderão acontecer e como um professor que tive costuma dizer “coisas horríveis irão acontecer”.

Por que os temas relacionados a estimativas são frequentes na nossa mesa redonda?

Essa eu gostaria de saber (rs), na minha opinião, vejo que as pessoas às vezes se preocupam muito com métricas, acham que coletando métricas irão ter um processo mais maduro, estarão sendo mais profissionais, etc. Na minha visão, as métricas podem te ajudar a enxergar tendências, mas há muitas coisas mais importantes que métricas, um exemplo são as pessoas.

Não me lembro de ter visto uma discussão sobre como motivar a equipe de Teste de Software, como montar uma equipe de sucesso, como construir um bom ambiente, etc.

Só quero deixar claro que não sou contra estimativas, só acho que elas são muito supervalorizadas por algumas pessoas. Como disse na mesa redonda “Estimativa de Testes (APT)”: Medir é apenas uma das forma de controlar, adoramos números, tanto que há as mais variadas estatísticas hoje em dia. Porém, não é uma tarefa tão simples, e nem sempre a mais importante para uma determinada realidade.

Bem pessoal é isso. Continuem de olho na lista do DFTestes, pois sempre há assuntos bem interessantes lá, e poderão haver novas respostas nessa mesa redonda.

Fique por dentro das novidades, assine o feed do QualidadeBR.

Um comentário sobre “Indicadores de teste

  1. Pingback: Indicadores de teste | Qualidade de Software

Deixe uma resposta

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s