Tecnologia. Inteligente.

Hoje me pediram para explicar o que era a tal web semântica. A pegadinha é que se queria uma resposta “sem frescuras”, “sem enrolação de marketing” e com exemplos concretos. Esse artigo é uma tentativa de abordagem bem informal desse assunto.

A web que a gente conhece é feita para ser acessada por pessoas. A informação é organizada de forma que fique esteticamente agradável, num formato familiar aos usuários. Usabilidade é fundamental, mas cria um problema: o que é fácil de ser entendido por humanos não é compreendido por computadores.

Tome como exemplo as suas lojas preferidas na Internet. Os produtos, preços e condições de pagamento são mostrados de forma a chamar a sua atenção. Cada loja faz isso de uma forma diferente. Se você está comparando preços de uma dúza de lojas você vai ter que fazer uma dúzia de buscas, e manualmente copiar e colar isso numa planilha, para só então “digerir” esses dados.

Alguns sites fazem isso automaticamente, mas mesmo esses formatam os resultados para pessoas; escrever um programa que acompanha o preço de alguns produtos todos os dias acessando um site assim dá bastante trabalho (recentemente dei umas dicas para um amigo que fez isso).

A idéia da web semântica é ter toda essa informação disponível não apenas para pessoas, mas também num formato fácil de ser processado por computadores (imagine acessar os preços de todas as lojas da web como se acessa uma planilha eletrônica ou um banco de dados!).

No início acreditava-se que isso se tornaria realidade quando cada criador de conteúdo na web formatasse seus dados de forma estruturada. O HTML comum, usado com fins puramente visuais, daria lugar a linguagens e tecnologias mais rígidas (XML, RDF, OWL, etc.), e seriam disponibilizandas formas de acesso automatizado aos dados (semantic web services, por exemplo).

Só que o progresso nesse sentido tem sido lento: basicamente dá muito trabalho e ninguém tem muito interesse em fazer isso. Lojas não gostam quando seus preços são comparados com o das outras! :-). Há soluções específicas bastante bem-sucedidas, mas não são tão conhecidas do grande público.

Uma tentativa de atacar o problema por outro lado é usar software que consegue transformar informação formatada para pessoas em informação estruturada, automaticamente ou com ajuda do usuário.

Um exemplo desse último caso é o PiggyBank / Solvent, código livre desenvolvido no MIT.

O Solvent é uma extensão pro Firefox que deixa qualquer usuário médio criar (”quase” só visualmente) um código JavaScript que extrai informação de uma página (um scraper).

Com o Solvent (ou outras ferramentas parecidas) você pode capturar os produtos e preços de uma loja virtual, ou as notas de um jogo num site de reviews, ou endereços de agências na página do seu banco, por exemplo. Ele converte informação organizada visualmente para humanos em informação estruturada acessível por computadores.

O PiggyBank é um banco de dados estruturado para armazenar as informações extraídas pelo Solvent. Assim, se todo mundo contribui com scrapers para diferentes sites, o PiggyBank fica cheio de informação facilmente recuperável.

Ainda que para a web a coisa ainda não dê muito certo, isso numa intranet grande ou com fins específicos pode ser muito útil. Eu investiguei bastante a fundo esse tipo de ferramenta enquanto trabalhava para melhorar a busca e o atendimento aos usuários do portal do condado de Miami-Dade, na Flórida.

A partir do momento que as informações da web estão disponíveis num formato estruturado (num banco de dados, planilha ou arquivo XML, por exemplo), fica fácil pensar em um monte de aplicações interessantes.

Por exemplo, seria possível criar um agente inteligente que monitorasse milhares de lojas detectando variações de preço de produtos em que você está interessado. Poderíamos juntar informação geográfica das lojas com informação dos preços e das opiniões de usuários (cada um desses dados vindo de sites diferentes) e mostrar tudo isso no Google Maps, com gráficos feitos com a Google Visualization API - dando uma idéia de como um produto é aceito em diferentes locais, e como o preço influencia nisso.

Obviamente  a idéia central da web semântica não está restrita à implementação específica de um subconjunto dos aspectos dela que o PiggyBank / Solvent provê, nem a tecnologias específicas tradicionalmente associadas a ela. É muito mais um conceito do que uma implementação ou produto propriamente dito.

Os mashups - “misturas” inteligentes de informações de diferentes fontes para criar uma aplicação web ou site original - tão em moda hoje em dia, são materializações bem concretas do conceito de web semântica, sem necessariamente usar nenhuma das tecnologias tradicionalmente associadas a ela. Eles mostram que quando é possível ter acesso uniforme a diversas fontes de informação o resultado final pode ser surpreendente.

Um exemplo recente: misturando-se informação geográfica com pesquisas no Google de sintomas de gripe é possível criar um detector de epidemias de gripe que avisa com duas semanas de antecedência quando uma epidemia de gripe vai chegar em determinado local!

De uns dias para cá, saíram algumas notícias interessantes sobre como as pessoas estão usando soluções energéticas para viabilizar acesso web wireless.

Era só uma questão de tempo mesmo. Mas é bacana, uma vez que comunicação é uma necessidade em grande parte do nosso mundo rural e/ou subdesenvolvido, e com as redes wireless, nos libertamos da necessidade de caros investimentos em cabeamento. O próximo passo que está sendo dado é libertar da dependência dos provedores de energia elétrica, que também não chegam nestes rincões.

A primeira notícia, prata da casa, é do professor Marcelo Zuffo, da USP que desenvolveu um sistema wireless movido a energia solar em postes.

A idéia, obviamente, não é nova. Essas redes que podem ser montadas rapidamente e a uma fração do custo de uma rede cabeada se mostra especialmente útil tanto nos ambientes inóspitos quanto em áreas afetadas por desastres naturais. Algumas ONGs também já estão apoiando iniciativas mais organizadas neste sentido, como o projeto Green WiFi.

Não bastassem juntar duas tendências bacanas como WiFi e energia alternativa, podemos ainda juntar ao conceito de inovação movida a crowdsourcing e citar mais um exemplo.

Crowdsourcing é uma palavra que está na moda ultimamente, que não deixa de ser uma forma requentada do que o conceito de open source fez pela indústria tecnológica nos últimos anos, aplicada a outras formas de produção que usam a web e o potencial de alcançar uma gama imensa de pessoas e talentos pela web.

E quando a rede não chega longe o bastante, você pode mandar pessoas de moto irem levar e buscar seus pacotes IP (ou suas mensagens de email) como fazem no Camboja. (eu lembro de ter visto coisa parecida sobre a Índia, porém usando ônibus, mas não achei a referência. Acho que foi no google tech talks).

Aposto que você nunca mandou seu motoboy ir buscar seu email. Pelo menos, não o eletrônico ;-).

Ubiquidade, de verdade, é isso aí.

Desde 2006 os telespectadores americanos acompanham uma série de anúncios publicitários da Apple, onde PCs e Macs são comparados entre si de forma divertida. Os PCs são tratados como sisudos e sem graça, enquanto os Macs são divertidos e fáceis de usar. Essa série de anúncios ficou conhecida como “I’m a Mac/I’m a PC”, pois cada plataforma é representada por uma pessoa, com estilo e roupas correspondentes à imagem que os criadores da campanha quiseram passar.

Veja abaixo alguns dos comerciais no YouTube:

PC lotado
Macs não travam
Upgrades

Hoje o Erick Schonfeld, do blog TechCrunch, escreveu um artigo interessante sobre se o Google deveria usar os métodos tradicionais de propaganda - rádio, TV e jornais - para melhor estabelecer sua marca. Mas uma frase no último parágrafo do artigo me chamou a atenção:

I’d love to see an ad campaign for Google Docs along the lines of the “I’m a Mac/I’m a PC” Apple ads

Enquanto eu lia, já imaginava uma propaganda semelhante às acima, com o Mac e o PC conversando entre si, mas de repente uma voz onipresente diz “Hello, I’m Google Docs, and I run anywhere”.
Se eu tivesse um pouco mais de habilidade artística, faria um filmezinho assim no Youtube

E você, tem sugestões de uma propaganda para o Google nesses moldes? Escreva aí embaixo nos comentários. Quem sabe não enviamos todas as sugestões para o TechCrunch?

Renato Mangini é arquiteto de software sênior. Foi sócio fundador da Vetta Technologies e da Vetta Labs e recentemente criou uma startup de tecnologia para desenvolver o wapawapa. Sua formação acadêmica inclui um bacharelado em Ciência da Computação e um mestrado inacabado, ambos pela UFMG, e cursa agora um MBA no Ibmec.

O Yahoo está utilizando inteligência artificial para selecionar notícias para sua página principal. Um grupo de notícias é selecionado manualmente à moda antiga: por editores de carne e osso. A partir daí, um sistema desenvolvido internamente decide quais notícias serão realmente exibidas, por quanto tempo, e com que grau de destaque. O sistema monitora, em tempo real, a “click through rate”, ou a fração de usuários que clicam na notícia para ler o texto completo.

Como cada texto completo vem com ads, aumentar a fração de cliques tem um impacto direto no faturamento. Os cientistas dizem que o novos sistema aumentou a “click through rate” em 30%.

Um aspecto interessante é que eles tentaram metodos mais sofisticados, como analisar informação semântica sobre o conteúdo de um artigo e personalizar a pagina para cada usuário, mas esses métodos nao apresentaram o mesmo impacto na “click through rate”. A técnica em uso atualmente, aparentemente baseada em um filtro de Kalman, é simples e tem a vantagem de ser facilmente ajustada em tempo real. Esse tipo de ajuste permite que notícias surpreendentemente populares sejam mantidas em evidência por mais tempo, e tambem que o sistema se recupere rapidamente quando faz uma sugestão ruim.

Nao é um computador que pensa, mas é uma aplicaçãoo muito prática (e, ao que tudo indica, lucrativa) de métodos simples. É sempre bom ver pesquisa com esse tipo de foco pé no chão.

Nessa segunda-feira, dia 8/9, o preço das ações da United Airlinas despencou de US$12,50 para US$3,00 nas bolsas de valores americanas, em apenas 15 minutos. A negociação das ações foi suspensa temporariamente. Tudo isso por causa de um rumor infundado de que a empresa estaria entrando em processo de concordata. O preço das ações voltou ao normal depois que ficou claro que o rumor era falso.

O que aconteceu? Uma combinação de problemas de “burrice artificial” e, claro, a boa e velha burrice natural. A United Airlines realmente entrou em concordata uma vez, mas isso foi em 2002, e isso foi amplamente noticiado pelos jornais.

Pois bem, essa notícia, de dezembro de 2002, de alguma forma apareceu na lista de notícias mais visitadas do site do Chicago Tribune na noite do dia 6/9. Aparentemente, de acordo com o Wall St. Journal, só uma pessoa visitou a notícia, mas o fez durante um período de tráfego muito baixo (afinal era sábado à noite), durante o qual uma visita era o suficiente para colocar a notícia velha entre as cinco mais populares. Burrice artificial número um.

Alguns minutos depois, o robô do Google News fez sua visita periódica ao site do Chicago Tribune, e viu um link que não estava lá antes. A notícia foi baixada mas, como não tinha data, o Google News assumiu a data do dia, que estava no cabeçalho da página que linkava para a notícia antiga. Já era madrugada do dia 7. A notícia foi parar no Google News, sem nenhuma indicação de sua data original de publicação. Burrice artificial número dois.

Aqui entra a burrice natural. A Bloomberg, além daquele canal de TV a cabo com a pior aparência de todos os tempos, também oferece um serviço de notícias em tempo real (com aparência um pouco melhor que a do canal de TV), que é acompanhado por todo mundo no mercado financeiro americano. Algum analista financeiro imbecil viu a notícia e a passou para a Bloomberg. Burrice natural.

Na manhã de segunda feira, mais ou menos uma hora depois que o mercado tinha aberto, a famigerada notícia foi divulgada pela Bloomberg. Hoje em dia há uma grande quantidade de sistemas que “interpretam” o conteúdo das manchetes da Bloomberg e negociam ações com base nessa interpretação. Tudo automatizado. E tem que ser automatizado, porque o tempo de reação é que permite que esse tipo de operação dê lucro: o sistema tem que processar as manchetes, decidir o que fazer e operar antes que os analistas humanos tenham terminado de ler a notícia e tomado suas decisões. Bom, esses sistemas todos concluíram a mesma coisa, venderam tudo que tinham de ações da United Airlines e mais um pouco, e o preço foi pro brejo.

E aí? Esse último foi burrice artificial? A decisão dos sistemas foi correta, dada a informação disponível. Como os sistemas poderiam saber que a notícia era de 2002? Será que não foi burrice natural a falta de alguma salvaguarda?

Eu não sei responder essas perguntas acima, mas sei que essa história mostra o risco que investidores correm hoje em dia porque computadores movimentam um enorme volume de dinheiro nas bolsas sem supervisão cuidadosa de humanos. E esses computadores não estão preparados para lidar com entradas ruins desse tipo. Claro, a velha máxima ainda vale: inteligência artificial não é páreo para burrice natural…

Está rolando em San Francisco a TechCrunch 50, uma grande conferência onde startups se apresentam para a imprensa, investidores, empreendedores e outros formadores de opinião do Vale do Silício. É provavelmente o maior evento dedicado ao lançamento de novos produtos, sites e empresas inovadoras do mundo. As empresas selecionadas (52 de um total de mais de 1000 inscrições) têm que manter seus produtos em segredo até a conferência.

Como a conferência já começou, podemos anunciar que um dos produtos lançados foi desenvolvido todinho aqui no Labs, e está em beta atualmente. O StockMood.com é uma ferramenta para auxílio a pequenos investidores na bolsa dos EUA. O sistema usa processamento de linguagem natural e inteligência artificial para determinar o “tom” (positivo ou negativo) de artigos que saem na imprensa sobre uma empresa.

Correlacionando o tom dos artigos com o movimento do preço da ação ao longo do tempo, ele tenta quantificar o “humor” da ação, e gera alertas quando o humor e o tom dos artigos do dia chegam a valores muito altos ou muito baixos. Esses alertas indicam uma possível reversão dos preços. O sistema de classificação do tom de artigos está longe de ser perfeito, mas os usuários podem corrigir os erros do sistema pelo site, gerando alertas melhores e permitindo que o próprio classificador aprenda com os erros.

A foto acima (by Andrew Mager) é do Brett, CEO da nova startup, durante a apresentação. A recepção ao StockMood.com foi geralmente bem positiva, como nesse artigo da Fortune. embora o modelo de negócios da empresa ainda esteja sendo refinado. O beta será limitado, por enquanto, a 1000 usuários cadastrados, então se você achou a idéia interessante e não tem medo do inglês, cadastre-se!

E, finalmente, parabéns a toda a equipe do StockMood.com, especialmente ao Fabrício Aguiar e ao Gustavo Gama, que vocês conhecem um pouco de posts aqui no blog.

A declaração recente da Marissa Mayer, “Vice President of Search Product and User Experience at Google”, de que o Google já resolveu 90% do problema de busca, mas que os 10% ainda vão dar um bom trabalho, incomodou muita gente na webosfera.

Prá quem não conhece a moça, Marissa é certamente uma das executivas mais importantes da indústria atualmente, e talvez um dos pontos máximos que um profissional de usabilidade almejaria hoje em dia.

O que há por trás dessa declaração? Bem, podemos desfilar vários aspectos interessantes aqui.

Uma delas é que frequentemente, no desenvolvimento de software, fala-se sempre da regra do 80/20 ou a Regra de Pareto, que originalmente falava que 80% das consequências vinham de 20% das causas. Mas claro que a proporção foi ganhando outros usos, como “80% do desenvolvimento leva 20% do tempo e os 20% restantes levam os outros 80% do tempo”.

Em bom e claro Português, “o diabo vive nos detalhes”

De fato, muito da busca na web chegou a um nível de refinamento e desempenho formidáveis, mas o que significa dizer que 80% ou 90% do problema já está resolvido? E é neste pé que os críticos da web resolveram pegar para criticar o argumento da Marissa.

Segundo a techcrunch por exemplo, o que resta das coisas a serem indexadas e buscadas ainda é muito grande. Ainda não temos resultados satisfatórios GENÉRICOS para buscas semânticas, buscas em imagens, buscas em filmes, e muitos et ceteras.

Podemos dizer, certamente, que existe um grande potencial em buscas de imagens, por exemplo, em contextos restritos, e este é um mercado que deve crescer rapida e intensamente nos próximos anos. Mas se você quer buscar pela foto do gato com o cachorro, a menos que vc tenha intervenções humanas de forma inteligente, não se resolveu ainda o problema computacional de definir o que é exatamente um cachorro. Mas se você souber formatos de armas, talvez consiga localizar, com algum bom grau de precisão, armas num recinto por exemplo.

E aí podemos estender para as buscas em linguagem natural e etc, e a conclusão é: ainda tem muito terreno a ser caminhado neste aspecto, e isso significa, em termos de inovação, que há muito o que explorar ainda nesta área. Será que 10% é achar uma agulha numa cena de 1 segundo no youtube?

Enquanto isso, silenciosamente, coisas acontecem no Yahoo.

Ninguém do porte desta moça dá declarações impensadas. Stay tuned.

Update 11/9: 2 dias depois, Marissa escreveu uma declaração, voltando atrás, e concordando basicamente com a opinião das pessoas (eu entre elas) que acham que ainda falta muito chão, inclusive citando nosso bom e velho Pareto

É muito interessante como o meio digital revolucionou algumas formas de distribuição. O que é ótimo, porque felizmente nos afastamos cada vez mais daquela época em que recebíamos CDs promocionais de, bem, um monte de gente incluindo a AOL…

Também é curioso que nos primórdios da Web, muitos advogavam que a distribuição pela web iria baixar os preços, afinal, se as pessoas sabiam que pela web era mais barato para o produtor, quem iria aceitar pagar a mesma coisa baixando pela web?

Bem, a história mostrou que a percepção de valor do cliente (me perdoem o marketerismo) falou mais forte e, efetivamente, a diferença entre o que se compra na web e o que se compra fora dela, fora o fator concorrência, não é tão grande assim.

Eu me lembro do Murilo me contando que alguns fabricantes de jogos estavam usando torrent para distribuir os jogos. Afinal, quem realmente quer aquela caixa bonita do joguinho se vc pode ter da noite pro dia tudo o que interessa de verdade no conforto do seu lar? As pessoas irão pagar de bom grado pela conveniência.

Mas o que me chamou a atenção foi um anúncio de empresas que vendem filmes em pendrives, como a argos. Os caras estão vendendo o filme dos caça fantasmas num pendrive de 2 GB a US$ 50. Isso, claro, porque o preço das memórias flash despencou de tal forma que isso se tornou uma alternativa viável. O pendrive em si não deve estar custando mais que uns US$ 10, prá quem compra do fabricante em grandes quantidades… (na verdade, é provável que seja 1/10 disso)

E se você não der bola pro filme (embora as piadas continuem boas até hoje), vc pode simplesmente apagar o pendrive e usar para suas coisas.

Aí fica a nossa pergunta na cabeça. “Mas o cara não consegue baixar isso de graça na web?”. Bem, sim, mas enquanto a armazenagem de dados fica rapidamente mais barata, o que dizer da banda de web? Economicamente falando, a tendência é que os preços da banda de web não caiam na mesma velocidade, para não dizer que estes preços na verdade devem subir para o heavy users.

Faz o google, portanto, muito bem em investir na sua própria infra-estrutura de rede mundial. E só Deus sabe quanta banda o Youtube consome na web.

Então, talvez, vender o filme no pendrive não seja uma idéia tão ingênua assim.

Afinal, alguém tem que pagar a conta da web 2.0. Um doce prá quem adivinhar quem vai ser.

O Google lançou no dia 23 de Julho um concorrente do Wikipedia chamado knol. Diferentemente do Wikipedia, os autores de artigos do knol serão identificados e seus artigos não poderão ser editados por outros. Outros usuários poderão somente comentar, criticar e sugerir alterações (que poderão ou não ser incorporadas pelo autor). Além disso, com o intuito de motivar as contribuições, parte do lucro dos anúncios no site será distribuída para os autores.

O Google não será responsável por editar os artigos e não irá certificar nenhum conteúdo. Será função dos leitores identificar a qualidade dos artigos e dos autores pelos comentários.

Agora vamos ver se a máquina de busca anunciada pelo fundador da Wikipedia Jimmy Wales irá mesmo ser um concorrente forte do Google, ou se o knol irá ganhar o espaço da Wikipedia.

O Yahoo anunciou semana passada o BOSS, abreviação de Build your Own Search Service, ou construa seu próprio serviço de busca.  O BOSS oferece uma API (e um framework para criação de “mashups”) para qualquer pessoa que queira prover serviços de busca, em seu site ou sobre toda a web indexada pelo Yahoo.  Ao contrário de APIs anteriores do Yahoo e do Google, não há um número máximo de pesquisas, quantidade de resultados ou qualquer outro limite do tipo.  Em princípio, com banda e hardware suficiente, você pode usar esse serviço para competir com o próprio Yahoo no mercado de busca na web.

Qual a motivação por trás do BOSS?  De acordo com o pai da idéia, Vik Singh, é fragmentar o mercado de busca, permitindo que empresas e sites utilizem o conhecimento que eles têm para oferecer resultados melhores e mais relevantes que os disponibilizados pelo Yahoo ou Google.  Como isso aconteceria?  Bom, quando você está em um site qualquer, os servidores do próprio site têm um bocado de informação útil a seu respeito: quais páginas naquele site você visitou recentemente, seu perfil e transações passadas se você é um usuário registrado, e o próprio conteúdo do site como indicador de contexto.  Todos esses fragmentos de informação podem ser usados para guiar uma busca na web, reordenar resultados e sugerir resultados relevantes de dentro do próprio site.

Por exemplo, se estou navegando pelo Mercado Livre para comprar um telefone celular e resolvo buscar o nome do aparelho na web, a princípio o próprio Mercado Livre pode me oferecer resultados melhores que os do Google.  Os servidores do Mercado Livre sabem que estou procurando um celular, provavelmente com intenção de comprá-lo, então podem priorizar resultados com avaliações do aparelho, páginas do fabricante com documentação e material de suporte, e assim por diante.  Os servidores também sabem quais outros aparelhos eu considerei recentemente, e podem priorizar páginas com comparações entre esses modelos. Tudo isso é facilitado pelo BOSS, e pode ser combinado ao suporte existente para busca dentro do próprio Mercado Livre.

O Yahoo  oferece o BOSS gratuitamente.  O que eles ganham com isso?  Eu acho que é uma jogada poderosa em cloud computing, com dois desdobramentos: vendor lock in e o impacto no mercado de busca propriamente dito.

A Amazon e o Google cobram pelos serviços oferecidos, embora o Google App Engine tenha uma cota de processamento e banda iniciais gratuitos.  Mas a arquitetura do Google App Engine é peculiar e, se você desenvolve uma aplicação web nessa arquitetura, existe um forte incentivo para se manter na mesma.  É uma forma de “vendor lock-in” similar à que a Microsoft usa com Windows e Office.  O BOSS faz a mesma coisa, mas em um nível diferente, mais semântico.  Ao utilizar o BOSS, você não usa cloud computing para armazenamento e processamento, mas para fornecimento de informação.  Eles não estão somente simplificando sua vida.  Ao contrário do Google App Engine e dos Amazon Web Services, o BOSS possibilita que você ofereça serviços, funcionalidade e conteúdo baseados em busca na web, algo até então muito caro e arriscado.

E aí vem o segundo aspecto interessante para o Yahoo.  Se o BOSS for fácil de usar e gerar bons resultados (confesso que não uso busca do Yahoo há anos, então não sei avaliar sua qualidade nem da forma mais grosseira), ele pode catalizar aplicações populares de busca na web, tornando o Google menos onipresente nesse mercado.  Como o Yahoo está bem longe da liderança do mercado, essa fragmentação lhe seria vantajosa.  Imagine se sites populares, como Amazon.com, Facebook e outros tivessem bons serviços de busca que tirassem proveito do contexto como mencionei acima.  Isso diminuiria o incentivo das pessoas a usar a busca “comum” existente.  Se isso acontecer, o Google, com sua enorme fatia de mercado, teria muito mais a perder que o Yahoo.