A famigerada taxa de acerto
Na semana passada saiu uma notícia no site da Folha que achei muito engraçada. OK não era assim tão engraçada mas era, no mínimo, curiosa. O avião onde voava o Tony Blair foi interceptado por caças israelenses por engano (veja a nota publicada no site da Folha). Além do fato em si soar meio bizarro, o que achei particularmente divertido foi o teor contido nas entrelinhas da explicação dada para o ocorrido:
“Um novo sistema teria sido implantado nos últimos meses para identificar aviões suspeitos, e as forças israelenses estão em alerta depois que o grupo radical islâmico palestino Hamas utilizou uma aeronave para derrubar um muro na fronteira com o Egito, há cinco meses. A imprensa britânica lembrou que o sistema de defesa aérea de Israel é um dos mais rigorosos do mundo, e que seus aviões de guerra respondem muitas vezes a alarmes falsos.”
Posso até estar enganado mas gosto muito da idéia de imaginar que eles têm um sistema capaz de identificar aviões hostis ou que representam risco. Um sistema desses obviamente seria heurístico e estaria sujeito à famigerada taxa de acerto. Ou seja, ele funciona bem e identifica corretamente aviões suspeitos com uma taxa de acerto de X%. No caso do avião do Tony Blair, o sistema teria dado um falso positivo.
Quando se está tentando resolver um problema do “mundo real” usando técnicas de inteligência artificial ou heurísticas é muito comum se negligenciar o aspecto da taxa de acerto esperada no funcionamento do sistema e das conseqüencias dos erros esperados quando eles acontecerem (e eles vão acontecer). Na minha opinião esse tipo de negligência é mais ou menos como desenvolver um software convencional sem se preocupar com a qualidade de sua interface ou com sua usabilidade. Ou seja, você corre o risco de desenvolver um sistema que tem um bom conteúdo mas que não serve para nada na prática!
Tomando esse exemplo hipotético do sistema de defesa israelense, suponha que os responsáveis pelo seu desenvolvimento tivessem duas alternativas para o método de reconhecimento. Uma cujo funcionamento esperado fosse:
- Se a aeronave for realmente hostil, a probabilidade do alarme ser disparado é 99,9%
- Se a aeronave não for hostil, a probabilidade do alarme ser disparado é 1%
E outra cujo funcionamento esperado fosse:
- Se a aeronave for realmente hostil, a probabilidade do alarme ser disparado é 80%
- Se a aeronave não for hostil, a probabilidade do alarme ser disparado é 0,01%
Qual método é melhor?
A resposta para essa pergunta não faz sentido se você não considerar a estratégia geral da defesa israelense e seus objetivos com o sistema bem como os custos relacionados ao disparo de um alarme dessa natureza (tirar 2 ou 3 caças do chão para interceptar uma aeronave custa dinheiro além de pontos negativos de publicidade no caso de um falso alarme). Desconsiderar essas questões podem invalidar completamente a escolha do método, por melhor que sejam os argumento científicos que embasam a escolha.
É esse tipo de coisa que torna difícil transformar novidade científica em inovação. Por definição a inovação tem de estar incluída dentro de um contexto de uso no mundo real, fora de um laboratório de pesquisa. Meu exemplo hipotético pode parecer óbvio mas esse padrão pode se repetir em diversas situações onde a escolha não é tão simples, e nesses casos ser sensível a esse tipo de variável é o que muitas vezes diferencia uma empresa de inovação que tem um produto de sucesso de outra que não tem.
May 27, 2008 by André Senna Inovação, Usabilidade 7 Comentários