Cavalos Famosos: Clever Hans — Por Que a IA Acerta Como um Cavalo de 1904

Em 1904 um cavalo resolvia contas em Berlim batendo o casco. Acertava 29 de 31, mas só quando o humano sabia a resposta. O mesmo acontece com a IA.

Cavalos Famosos: Clever Hans — Por Que a IA Acerta Como um Cavalo de 1904
O pátio de Berlim durante uma demonstração: nas duas mesas de cavalete, os objetos que Hans deveria contar, quatro de um lado e dois do outro. A poucos passos do animal, dentro do alcance em que o sinal funcionava, está o homem que fazia a pergunta. Foto de Karl Krall, até 1909, domínio público via Wikimedia Commons.
Compartilhar
Berlim, pátio de um prédio no norte da cidade, meio-dia de um dia qualquer do verão de 1904. Um homem de cabelos brancos e chapéu preto de aba mole pergunta ao cavalo à sua frente por quais números 28 se divide. O animal bate o casco anterior direito duas vezes e para. Quatro vezes, e para. Sete, catorze, vinte e oito. Cinco respostas seguidas, todas certas. Não há chicote, não há entrada paga, e o homem acredita, com toda a sinceridade, que ensinou o cavalo a pensar.
40Pessoas obtinham acerto
89% e 6%Vendo ou sem ver
0,3 sReação ao sinal
Clever Hans, em alemão der Kluge Hans (o Hans esperto), era um trotador Orlov preto. Wilhelm von Osten, professor de matemática aposentado, comprou o animal na Rússia em 1900, quando ele tinha cerca de cinco anos, e recomeçou com ele um projeto que já tinha tentado antes com outro cavalo.⁷

Entre 1900 e 1904 Hans se tornou uma celebridade europeia por aparentemente resolver contas, soletrar palavras e informar datas batendo o casco no chão. O caso foi investigado por uma comissão em setembro de 1904 e depois pelo psicólogo Oskar Pfungst, cujo relatório saiu em livro em 1907, com introdução de Carl Stumpf.¹

A explicação que Pfungst encontrou mudou o método da psicologia experimental e, mais de um século depois, deu nome a uma falha estudada na inteligência artificial.

Berlim, 1904: o que Hans parecia saber fazer

Hans dominava as quatro operações, convertia frações comuns em decimais e vice-versa, extraía raízes e resolvia problemas de medida. Perguntado quanto era dois quintos mais um meio, batia nove vezes, parava, e batia mais dez. Primeiro o número de cima da resposta, depois o de baixo, nove décimos.¹

Lia palavras escritas em placas apontando com as ventas, soletrava por uma tabela em que cada letra valia um par de números, dava o dia da semana de qualquer data, informava as horas ao minuto e distinguia intervalos musicais.¹

Von Osten conduzia o animal com pão e cenoura, nunca com chicote, e educadores que examinaram Hans declararam que ele tinha o desenvolvimento de uma criança de treze ou catorze anos.¹

Von Osten e os quatro anos de instrução

Cavaleiro apaixonado, von Osten passou anos ensinando o cavalo como se ensina uma criança, com um ábaco de jardim de infância russo e a tabela de letras. Stumpf, que o conheceu de perto, o descreveu em pares que se contradizem: extremamente paciente e ao mesmo tempo de temperamento explosivo, hábil no método de ensino e ainda assim sem a menor noção das condições elementares de um procedimento científico.¹

Von Osten não cobrava entrada, não escondia o método e acreditava no que via. Diante do fracasso dos primeiros testes com antolhos (as peças de couro que bloqueiam a visão lateral do cavalo), ele disse aos investigadores que, tendo visto o sucesso objetivo da instrução, estava autorizado a crer no poder de pensamento independente do animal.¹

Setembro de 1904: a comissão que não encontrou fraude

Hans já tinha sido examinado antes, em 1903, pelo médico Albert Moll, que estudava ocultismo com olhar crítico e não se impressionou.⁴ A pressão pública de 1904 é que levou à formação de um grupo de investigação com treze membros, conhecido como comissão de setembro. Stumpf registra que o grupo nunca se deu nome, porque não tinha sido delegado por ninguém. Reunia gente de áreas distintas. Entre os nomes que o próprio relatório de Pfungst registra estão o fisiologista Nagel, o veterinário Miessner e o gerente de circo Busch, que conhecia todos os truques usuais de treino.¹

A comissão investigou uma pergunta específica, que não era se o cavalo pensava, mas se havia truque intencional, algum sinal combinado dado de propósito por quem perguntava. Ninguém, nem mesmo o especialista em truques de circo, identificou sinal proposital ao longo de meses de observação. Pesava também o alcance, já que Hans respondia a cerca de quarenta pessoas diferentes, embora só fosse confiável com von Osten e com o explorador Schillings.¹

O relatório deu um passo a mais, ao afirmar que também os sinais involuntários do tipo conhecido estavam excluídos. Muita gente leu isso como prova de que o cavalo pensava, o que a comissão não havia dito. Ficava em aberto a possibilidade de sinais involuntários de um tipo ainda desconhecido.¹

Outubro de 1904: os dois números sussurrados

A investigação detalhada foi de 13 de outubro a 29 de novembro de 1904, em média quatro vezes por semana. Era trabalho de Carl Stumpf, com Oskar Pfungst, colaborador do Instituto de Psicologia de Berlim, conduzindo os experimentos. O método comparava sistematicamente as respostas dadas quando quem perguntava conhecia a solução e quando ninguém presente a conhecia.¹

Von Osten sussurrava um número ao ouvido do cavalo, e Pfungst sussurrava outro, de modo que cada homem sabia apenas a própria metade. Só o cavalo, se de fato somasse, poderia saber o total. Pfungst relata que, em 31 tentativas assim, Hans acertou três, contra vinte e nove acertos nas 31 tentativas em que quem perguntava conhecia a soma.¹
Leitura, soletração, cálculo, calendário e música desabavam quando quem perguntava não sabia a resposta, e funcionavam quando sabia. Os acertos que sobravam eram poucos o bastante para se explicar por sorte, ainda mais porque Hans tinha um número predileto, o três, que dava com frequência quando estava perdido.¹

Os antolhos e a régua de três metros e meio

Provado que o cavalo dependia de alguém que soubesse a resposta, faltava descobrir por qual sentido ele recebia a informação. Pfungst eliminou os sentidos um a um. Começou pela visão, aplicando antolhos grandes, de quinze por quinze centímetros. Com quem perguntava à vista, Hans acertava 89%. Sem poder vê-lo, 6%.¹

A resposta era exata até três metros e meio. Entre três e meio e quatro, os acertos caíam de 60% a 70%; entre quatro e quatro e meio, só um terço saía certo; acima disso, nenhum. Von Osten fazia esses testes acreditando que se media a audição do animal, quando o que se media era a percepção de movimento.¹

Pfungst podia ficar em completo silêncio durante a batida e ainda assim obter a resposta certa, e gritos de erro quase nunca interrompiam o cavalo. Olfato e respiração também não alteravam nada, o que deixava a visão como único canal restante.¹

Um movimento de cabeça, três décimos de segundo

Ao dar o problema, quem perguntava inclinava de leve a cabeça e o tronco para frente, para observar melhor o casco do cavalo, que era o órgão da resposta. Hans começava a bater. Quando o número desejado era alcançado, essa pessoa erguia a cabeça de forma mínima, quase imperceptível, e o cavalo devolvia o casco à posição de origem.¹

Em 127 medições com cronômetros de quinto de segundo, Pfungst cronometrou o intervalo entre o movimento da cabeça e a retirada do casco. O tempo médio de reação ficou em torno de três décimos de segundo. E quanto mais o tronco se inclinava, mais rápido o cavalo batia, o que explicava a falsa impressão de pressa diante de números grandes.¹

Pfungst comanda o cavalo sem fazer pergunta nenhuma

Pfungst provou que o sinal era a causa pelo caminho mais direto, produzindo a resposta à vontade, sem fazer pergunta alguma. Bastava inclinar o corpo para frente e o cavalo começava a bater. Bastava endireitar para ele parar. De trinta testes nessa posição, vinte e nove funcionaram. Se ele conseguia provocar a batida quando quisesse, o movimento não era coincidência. Ele conseguia fazer o animal errar por mais um ou por menos um, controlando o instante do movimento.¹

Pfungst reconheceu que fazia o sinal involuntariamente mesmo sabendo de tudo, e levou o fenômeno para o laboratório, registrando em pessoas os micromovimentos que acompanham o pensamento.¹
Nem fraude do dono, nem truque do cavaloA memória popular guarda a história como a de uma fraude desmascarada. Não houve truque intencional. Von Osten não sabia que sinalizava e ficou furioso com o cavalo quando os primeiros testes com antolhos fracassaram, para no dia seguinte voltar a defender a inteligência do animal com o mesmo ardor. O cavalo também não trapaceava. Lia o corpo humano com uma precisão que escapava aos próprios humanos.¹

Carl Stumpf, o orientador que queria acreditar

Carl Stumpf, o professor que orientou Pfungst e assinou a introdução do livro, não era um cético de fora. Ele admite ali que estava disposto a rever suas ideias sobre a consciência animal caso o exame confirmasse que o cavalo tinha mesmo a ideia de número na cabeça, e não apenas um hábito treinado, e conta que já tinha imaginado como hipótese de que maneira o animal teria chegado a essa ideia.¹

Elberfeld, 1909: o cavalo muda de dono e o caso recomeça

Karl Krall, ourives de Elberfeld, acompanhava o caso havia anos, já trabalhava com o cavalo e nunca tinha aceitado a conclusão de Pfungst. Von Osten adoeceu de câncer no fígado e ficou de cama a partir de janeiro de 1909, e foi a Krall que disse, nesses últimos meses, desejar ao próprio animal o fim atrás de um carroção de argamassa. Morreu em 29 de junho. Ao contrário do que se disse na época, não deixou pensão nenhuma para o cavalo, e o legou a Krall sem nenhum recurso.⁷

Krall montou um laboratório de psicologia animal numa cavalariça de Elberfeld, por onde passaram onze cavalos, dois burros, um pônei e um elefante, entre eles os garanhões Muhamed (a quem atribuía contas complexas) e Zarif (a quem atribuía leitura). Berto, outro garanhão, era cego e mesmo assim aprendeu a responder. Krall dava aulas com os cavalos de antolhos, de modo que enxergassem apenas o quadro-negro, e às vezes no escuro completo.⁷

O livro de Pfungst não encerrou o assunto. Num artigo de 2014, os historiadores da ciência Fabio De Sio e Chantal Marazia mostram que os animais calculadores célebres aumentaram em número depois de 1907, e seguiram provocando disputas por décadas.⁴

Krall publicou em 1912 o livro Denkende Tiere, "animais que pensam", e negou com veemência qualquer leitura parapsicológica dos próprios resultados. Mesmo assim o caso escorregou para lá, e em 1925 ele mudou-se para Munique, onde se dedicou ao ocultismo.⁷ʼ⁴ De Sio e Marazia tratam os cavalos de Elberfeld como capítulo esquecido da parapsicologia experimental alemã.⁴

Do teste cego em cognição animal ao classificador de 2019

Depois de Hans, testar cognição animal sem que o experimentador conheça a resposta virou exigência da disciplina, porque o corpo de quem sabe a resposta a entrega sem querer. O nome do cavalo se fixou como termo técnico, o efeito Clever Hans, para qualquer situação em que um sujeito parece resolver um problema mas na verdade responde a uma pista que acompanha a resposta certa.⁵

Em 2019, o nome do cavalo reapareceu na inteligência artificial. Pesquisadores compararam dois programas que reconheciam cavalos em fotos, ambos com excelente desempenho. Ao abrir o que cada um olhava, a rede neural apontava para o cavalo e o cavaleiro. O outro não. Via uma pequena marca no canto inferior esquerdo, a etiqueta que identificava de onde a foto tinha vindo, presente em cerca de um quinto das fotos de cavalo do banco usado no treino.²

A prova foi a mesma que Pfungst tinha feito com o corpo. Recortada a etiqueta das fotos de cavalo, a decisão do programa enfraquecia muito, enquanto a da rede neural seguia praticamente igual. Colada a etiqueta na foto de uma Ferrari corretamente classificada como carro, o programa passava a classificar o carro como cavalo.²

O estudo, publicado na Nature Communications pelo grupo de Sebastian Lapuschkin, batizou esses programas de preditores Clever Hans, os que acertam pelo motivo errado.² O mesmo já apareceu na medicina. Sistemas que detectavam covid em radiografias de tórax com alta precisão liam, na verdade, marcas do equipamento e da posição do paciente, e falhavam em hospitais diferentes daqueles onde tinham sido treinados.³

Linha do tempo

1900Von Osten compra na Rússia o trotador Orlov que ficaria conhecido como Hans.
ago 1904O caso vira notícia em toda a Europa e nos Estados Unidos.
set 1904A comissão de setembro conclui que não há truque intencional.
out–nov 1904Pfungst conduz os experimentos que revelam o mecanismo.
1907Sai o livro de Pfungst, base científica do caso.
1909Von Osten morre em 29 de junho e lega Hans a Karl Krall, em Elberfeld.
1916Krall encerra o trabalho com os animais. Os cavalos vão para o serviço de guerra.
2019O efeito Clever Hans dá nome a uma falha estudada na inteligência artificial, na Nature Communications.

Curiosidades

O número trêsHans tinha um número predileto, o três, que dava quando não sabia o que fazer. Um sexto de todas as respostas erradas que ele deu a Pfungst era o número três. Como três era plausível em muitas perguntas, o hábito produzia acertos ocasionais e mascarava o quanto o cavalo dependia do sinal.¹
A égua Rosa e o sinal grosseiroEnquanto Hans encantava Berlim, uma égua chamada Rosa se apresentava num teatro de variedades da cidade. O sinal dela era grosseiro, quem a exibia se curvava para frente na hora de parar, movimento que Stumpf, sentado de lado, flagrava toda vez. Os de Hans eram pequenos demais para isso, imperceptíveis até para o olho do gerente de circo.¹
O catálogo das explicações impossíveisAntes de Pfungst, a imprensa atribuiu os feitos de Hans ao chapéu do dono, ao cheiro das fotografias, ao calor do corpo de quem perguntava, a correntes elétricas subterrâneas, à telepatia e aos raios N (uma radiação anunciada por um físico francês em 1903 e desmentida depois). Pfungst reproduziu o catálogo no livro para mostrar quanta explicação o caso já tinha recebido antes de alguém aplicar um método.¹

Ficha técnica

NomeClever Hans, do alemão der Kluge Hans, o Hans esperto
Espécie e tipoGaranhão trotador Orlov, pelagem preta, nascido por volta de 1895 na Rússia
DonoWilhelm von Osten (30 de novembro de 1838 a 29 de junho de 1909), professor de matemática aposentado
Período de atividadeDe 1900, quando von Osten o comprou, a 1916, quando Krall encerrou os trabalhos. Auge da fama em 1904
InvestigadoresComissão de setembro de 1904 e a investigação de Carl Stumpf, conduzida por Oskar Pfungst no Instituto de Psicologia de Berlim
O que fazia de fatoRespondia a movimentos mínimos e involuntários da cabeça e do tronco de quem perguntava, sem calcular
LegadoO teste cego em cognição animal, o termo efeito Clever Hans e os preditores Clever Hans em inteligência artificial
DestinoLegado a Karl Krall em 1909. Requisitado para o serviço de guerra; o rastro se perde depois de 1916
O que era o Clever Hans?

Clever Hans, em alemão der Kluge Hans, era um trotador Orlov preto que ficou famoso em Berlim por volta de 1904 por aparentemente resolver contas de aritmética, soletrar palavras e informar datas e horas batendo o casco no chão. O dono, Wilhelm von Osten, professor de matemática aposentado, acreditava tê-lo ensinado a pensar. O caso foi explicado pelo psicólogo Oskar Pfungst entre 1904 e 1907. ⁶ʼ¹

O que é o efeito Clever Hans?

É o nome que a ciência deu ao fenômeno em que um sujeito parece resolver um problema mas na verdade responde a uma pista acidental que acompanha a resposta certa. Por causa do cavalo de von Osten, testes de cognição animal passaram a ser feitos às cegas, e desde 2019 o termo é usado em inteligência artificial para programas que acertam porque encontraram nos dados uma coincidência que não tem nada a ver com a tarefa.⁵ʼ²

O que aconteceu com o Clever Hans depois?

Von Osten morreu em 29 de junho de 1909 e legou o cavalo a Karl Krall, ourives de Elberfeld, que recusou a conclusão de Pfungst e montou ali um laboratório animal. Krall encerrou o trabalho em 1916 e os cavalos foram requisitados para o serviço de guerra. O que houve com Hans depois disso não é conhecido.⁷ʼ⁴

O efeito Clever Hans é o mesmo que viés do experimentador?

São aparentados. O efeito Clever Hans descreve o caso específico em que um animal ou pessoa responde a pistas involuntárias de quem conduz o teste. O viés do experimentador é o conceito mais amplo, em que a expectativa de quem aplica o teste contamina o resultado sem intenção. A solução é a mesma nos dois casos, o teste cego ou duplo-cego.⁵

Fontes

  1. PFUNGST, Oskar. Clever Hans (The Horse of Mr. von Osten). Trad. Carl L. Rahn, introdução de C. Stumpf. Nova York: Henry Holt, 1911. Original alemão de 1907. gutenberg.org.
  2. LAPUSCHKIN, S. et al. Unmasking Clever Hans predictors and assessing what machines really learn. Nature Communications, v. 10, art. 1096, 2019. DOI: 10.1038/s41467-019-08987-4. nature.com.
  3. DEGRAVE, A. J.; JANIZEK, J. D.; LEE, S.-I. AI for radiographic COVID-19 detection selects shortcuts over signal. Nature Machine Intelligence, v. 3, p. 610-619, 2021. DOI: 10.1038/s42256-021-00338-7. nature.com.
  4. DE SIO, F.; MARAZIA, C. Clever Hans and his effects: Karl Krall and the origins of experimental parapsychology in Germany. Stud. Hist. Philos. Biol. Biomed. Sci., v. 48 Pt A, p. 94-102, 2014. DOI: 10.1016/j.shpsc.2014.07.005. PubMed 25176052. Artigo de acesso restrito; consultado parcialmente.
  5. Encyclopædia Britannica. Clever Hans effect. britannica.com.
  6. Encyclopædia Britannica. Clever Hans. britannica.com.
  7. Wikipedia em alemão, verbetes Wilhelm von Osten, Kluger Hans e Karl Krall. Compra do trotador Orlov em 1900, datas de von Osten, legado a Krall, o laboratório de Elberfeld e o destino dos animais. Referências verificáveis, entre elas Gross (2014), DOI 10.1002/biuz.201410544. de.wikipedia.org.
André Ferreira

André Ferreira

André Ferreira é o responsável pela direção editorial do Multicavalos. Sua área é a pesquisa: reunir a origem e a história de cada raça a partir de fontes primárias, confrontá-las quando discordam e separar o que é dado firme do que é estimativa. É um trabalho de documentação, e cada perfil do acervo passa por esse cuidado antes de ir ao ar.