Devemos punir os institutos por resultados fora da margem de erro?

Resultados fora da margem de erro são previstos pela teoria estatística.

Por exemplo, se a margem de erro das pesquisas eleitorais for de 2 pontos percentuais e a confiança for de 95%, então a teoria prevê que aproximadamente 5% das pesquisas apresentem estimativas que se afastem mais do que 2 pontos percentuais dos resultados observados no pleito. Portanto, mesmo se todas as premissas teóricas estiverem corretas e não houver manipulações de qualquer espécie, a suposta lei puniria aproximadamente 5% das pesquisas.

Por um lado, espera-se que os resultados de pesquisas realizadas perto do dia das eleições fiquem próximos aos observados no pleito, desde que as premissas teóricas estejam satisfeitas e não tenha havido mudanças até o dia da apuração. Por outro lado, na prática, as premissas teóricas nem sempre estão satisfeitas e fontes de erros amostrais e não-amostrais podem causar ainda mais divergências nos resultados do que esperaríamos pela teoria.

Por exemplo, apenas para citar dois problemas relativamente comuns, se algumas pessoas decidem o seu voto apenas no dia do pleito ou eleitores de um candidato se recusam a participar de pesquisas (não-resposta informativa), os resultados das pesquisas podem divergir consideravelmente dos da eleição.

Para entender um pouco melhor o efeito da não-resposta informativa, considere a seguinte ilustração de uma suposta eleição futura: dos eleitores que comparecerão às urnas, 43% votam em Jair Messias Bolsonaro, 48% votam em Luiz Inácio Lula da Silva e 9% em outros (incluindo brancos e nulos).

Em nossa ilustração, vamos considerar ainda que, por algum motivo, 20% dos eleitores de Bolsonaro se recusam a participar de pesquisas eleitorais presenciais (em nosso cenário, eleitores de outros candidatos não se recusam a participar). Essa ‘força externa’ age como um filtro na população de pessoas que efetivamente participarão da pesquisa, subestimando a intenção de votos em Bolsonaro.

Nesse contexto, 8,6% (0,43 x 0,2) de eleitores não seriam detectáveis pelas pesquisas e as intenções de votos detectáveis precisariam ser recalculadas. Dentre as intenções de votos detectáveis, Bolsonaro teria 37,64%, Lula 52,52% e outros 9,85%. A soma é maior do que 100% por questões de arredondamentos.

Sob esse cenário de não-resposta, as estimativas de intenção de votos em Bolsonaro ficariam subestimadas e as em Lula superestimadas em todas as pesquisas presenciais, dando a impressão de que os resultados foram combinados de alguma forma. Se soubéssemos o mecanismo sociológico que explica a não-resposta, poderíamos corrigir as estimativas para atenuar o seu efeito. Entretanto, ainda não sabemos como esse fenômeno ocorre. Esse é um dos motivos por que não é razoável concluir que houve manipulação nas pesquisas. A comprovação dessa hipótese exigiria evidências para além de desvios observados nas pesquisas.

Ademais, é preciso ter muita cautela ao se definir ‘erro’ como a diferença, em valor absoluto, entre o valor estimado de intenção de votos em um período específico e os resultados observados no pleito. Isso porque as pesquisas não projetam o resultado para o dia da eleição, em vez disso, elas tentam estimar a intenção de votos no momento em que a pesquisa está sendo realizada.

Vale mencionar que a teoria estatística funciona desde que as premissas estejam satisfeitas. O problema ocorre quando forças externas corrompem as premissas teóricas. Portanto, uma lei que tente impedir manipulação de resultados, punindo pelo erro, não teria o efeito desejado.

Na minha opinião, a lei que visa a punir ‘erros’ de pesquisas eleitorais deveria focar apenas na transparência dos métodos e dos resultados. Além das informações que já são disponibilizadas ao TSE, as empresas deveriam divulgar também: (1) métodos de estimação utilizados, (2) todas as correções/calibrações empregadas em cada pesquisa, (3) dados agregados em um nível mínimo para que seja possível recalcular as estimativas e a variâncias, (4) taxa de resposta e sua metodologia de contagem; e (5) uma lista descrevendo as limitações dos métodos empregado.