A famigerada taxa de acerto

10:11 am Inovação, Usabilidade

Na semana passada saiu uma notícia no site da Folha que achei muito engraçada. OK não era assim tão engraçada mas era, no mínimo, curiosa. O avião onde voava o Tony Blair foi interceptado por caças israelenses por engano (veja a nota publicada no site da Folha). Além do fato em si soar meio bizarro, o que achei particularmente divertido foi o teor contido nas entrelinhas da explicação dada para o ocorrido:

“Um novo sistema teria sido implantado nos últimos meses para identificar aviões suspeitos, e as forças israelenses estão em alerta depois que o grupo radical islâmico palestino Hamas utilizou uma aeronave para derrubar um muro na fronteira com o Egito, há cinco meses. A imprensa britânica lembrou que o sistema de defesa aérea de Israel é um dos mais rigorosos do mundo, e que seus aviões de guerra respondem muitas vezes a alarmes falsos.”

Posso até estar enganado mas gosto muito da idéia de imaginar que eles têm um sistema capaz de identificar aviões hostis ou que representam risco. Um sistema desses obviamente seria heurístico e estaria sujeito à famigerada taxa de acerto. Ou seja, ele funciona bem e identifica corretamente aviões suspeitos com uma taxa de acerto de X%. No caso do avião do Tony Blair, o sistema teria dado um falso positivo.

Quando se está tentando resolver um problema do “mundo real” usando técnicas de inteligência artificial ou heurísticas é muito comum se negligenciar o aspecto da taxa de acerto esperada no funcionamento do sistema e das conseqüencias dos erros esperados quando eles acontecerem (e eles vão acontecer). Na minha opinião esse tipo de negligência é mais ou menos como desenvolver um software convencional sem se preocupar com a qualidade de sua interface ou com sua usabilidade. Ou seja, você corre o risco de desenvolver um sistema que tem um bom conteúdo mas que não serve para nada na prática!

Tomando esse exemplo hipotético do sistema de defesa israelense, suponha que os responsáveis pelo seu desenvolvimento tivessem duas alternativas para o método de reconhecimento. Uma cujo funcionamento esperado fosse:

  • Se a aeronave for realmente hostil, a probabilidade do alarme ser disparado é 99,9%
  • Se a aeronave não for hostil, a probabilidade do alarme ser disparado é 1%

E outra cujo funcionamento esperado fosse:

  • Se a aeronave for realmente hostil, a probabilidade do alarme ser disparado é 80%
  • Se a aeronave não for hostil, a probabilidade do alarme ser disparado é 0,01%

Qual método é melhor?

A resposta para essa pergunta não faz sentido se você não considerar a estratégia geral da defesa israelense e seus objetivos com o sistema bem como os custos relacionados ao disparo de um alarme dessa natureza (tirar 2 ou 3 caças do chão para interceptar uma aeronave custa dinheiro além de pontos negativos de publicidade no caso de um falso alarme). Desconsiderar essas questões podem invalidar completamente a escolha do método, por melhor que sejam os argumento científicos que embasam a escolha.

É esse tipo de coisa que torna difícil transformar novidade científica em inovação. Por definição a inovação tem de estar incluída dentro de um contexto de uso no mundo real, fora de um laboratório de pesquisa. Meu exemplo hipotético pode parecer óbvio mas esse padrão pode se repetir em diversas situações onde a escolha não é tão simples, e nesses casos ser sensível a esse tipo de variável é o que muitas vezes diferencia uma empresa de inovação que tem um produto de sucesso de outra que não tem.

7 Respostas
  1. Adriana Oliveira :

    Date: maio 27, 2008 @ 3:29 pm

    Eu nao entendi o que voce quis dizer com esse lance da inovacao e do laboratorio de pesquisa…A meu ver voce tem um problema que pode ser modelado com duas funcoes objetivo diferentes: maximizar os positivos ou minimizar os falso positivos. O laboratorio de pesquisa pode oferecer as duas solucoes e uma empresa no contexto real escolher qual quer utilizar….

    A decisao de qual metodo utilizar pode ser outro problema que depende de varias variaveis como no exemplo citado: problemas politicos, eticos, etc…

    A empresa que escolhe certo tem sucesso. Mas nao vejo o que isso tem a ver com inovacao e laboratorios de pesquisa.

    Sucesso tem muito a ver com escolha certa no momento certo, nao indicando nada inovador.

    Varias “inovacoes” aconteceram em laboratorios de pesquisa em momentos errados e reapareceram tempos depois com uma nova roupagem.

    Bom, ja to entrando em loop aqui, mas acho que seu exemplo esta mais relacionado com tomada de decisao do que com inovacao

  2. Fred :

    Date: maio 27, 2008 @ 5:59 pm

    O engraçado e ver a notícia que colocaram sobre isso na Desciclopédia.

  3. Andre Senna :

    Date: maio 27, 2008 @ 9:38 pm

    Oi Adriana.

    Admito que estava pensando em “inovação” como algo um pouco mais restrito que o conceito usual para a palavra. Quando escrevi o artigo, estava pensando em “produto inovador” como um produto que foi criado a partir do resultado de uma pesquisa científica, original ou não.

    Um produto desse tipo nasce dentro de um “laboratório de pesquisa” (quer seja esse laboratório uma sala na universidade quer seja uma sala ou estação de trabalho em uma empresa). Obviamente há sempre uma série de parâmetros e variáveis que influenciam as decisões da equipe enquanto o produto é desenvolvido. Meu ponto é que nesse momento muitas vezes há variáveis que pouco têm a ver com o produto, tecnicamente falando, mas que são muito relevantes se você pensar no produto contextualizado dentro do mercado onde ele seria usado. E muitas vezes a sensibilidade da equipe para essas variáveis é exatamente o que vai definir se o produto será um sucesso ou não.

    Deixa eu dar um exemplo fora da área de computação. Há alguns anos alguém teve uma idéia brilhante e bolou uma tinta de caneta que podia ser apagada facilmente com uma borracha como se fosse lápis. Tecnicamente o resultado era excelente. Funcionava perfeitamente conforme a especificação. Mas a caneta teve sua fabricação proibida por causa do grande número de fraudes com documentos e cheques.

    Meu ponto pode ser resumido da seguinte forma: para criar um produto inovador de sucesso, a equipe precisa levantar os olhos da prancheta enquanto desenvolve o produto para poder ver todo o contexto onde o produto estaria inserido e tomar as decisões considerando toda essa observação, não apenas os aspectos técnicos. Saber fazer isso com competência pode significar a diferença entre sucesso e fracasso.

  4. André Senna :

    Date: maio 27, 2008 @ 9:43 pm

    A propósito Adriana, concordo totalmente com o que você falou sobre o sucesso ter muito a ver com a escolha certa no momento certo. Na verdade isso é muitas vezes mais importante do que a inovação em si.

  5. Olavo Shibata :

    Date: maio 28, 2008 @ 8:16 am

    Em sistemas como esse que há risco de vida, ou outros como controle aéreo, controle de uma malha ferroviária que pode haver mais de um trem por linha férrea, qual o padrão mínimo de chance de erro tolerável? alguém sabe me dizer? abraços

  6. Andre Senna :

    Date: maio 28, 2008 @ 10:58 am

    Oi Olavo.

    Se há risco de morte não há tolerância a erro. Ou seja, por definição um método heurístico não pode ser usado para controlar sozinho nada que envolva esse tipo de risco.

    No caso do sistema de defesa israelense, por exemplo, (supondo, claro, que realmente exista o sistema que falei) o sistema pode dar o alarme que faz com que os caças partam para a interceptação mas jamais poderia disparar automaticamente mísseis para abater o avião, por melhor que fosse a taxa de acerto do algorítmo.

  7. Fabrício :

    Date: maio 28, 2008 @ 1:35 pm

    Oi Olavo,

    Com relação a sistemas críticos, principalmente aqueles em que há riscos de vida ou de grandes perdas de dinheiro, uma estratégia seria utilizar métodos formais para a modelagem e desenvolvimento.

    Mas isso não tem a ver com a diminuição dos erros de métodos heurísticos (como o André falou, não devem ser utilizados nesse tipo de sistema), mas sim com a diminuição dos erros humanos na análise e programação.

    Abraços,

    Fabrício