Jurimetria não garante sentença: o que conferir antes de confiar em uma chance de vitória

Uma tela pode mostrar uma porcentagem com precisão de duas casas decimais e ainda deixar sem resposta a pergunta mais importante: de quais processos saiu aquele número? A confiabilidade das bases de jurimetria esteve no debate da Comissão Especial de Controladoria Jurídica e Legal Ops do Conselho Federal da OAB em 1º de setembro. O tema interessa a escritórios que utilizam dados para organizar o contencioso, discutir acordos e orientar clientes.

Jurimetria aplica métodos estatísticos ao estudo de fenômenos jurídicos. Seu alcance é mais amplo que prever o resultado de uma ação: pode envolver duração de procedimentos, características de demandas e comportamento de conjuntos de decisões. A diferença é relevante porque uma boa descrição do passado não se transforma, sem outras condições, em estimativa confiável para o futuro de um caso individual.

O livro Metodologia de Pesquisa Jurimétrica, disponibilizado pela Associação Brasileira de Jurimetria, distingue a observação individual do conjunto de observações e explica a organização de variáveis. No trabalho jurídico, essa escolha define o que será contado: processos, decisões ou pedidos, por exemplo. São unidades diferentes. Uma base com várias decisões do mesmo processo não representa necessariamente igual quantidade de conflitos independentes.

Uma pesquisa que compara decisões pode ser útil, desde que seu resultado seja apresentado como tal. O problema surge quando a unidade muda na comunicação: o número de documentos passa a ser descrito como número de casos, ou uma proporção dentro de um recorte é apresentada como retrato de toda uma área do Direito. A aparente simplicidade do indicador esconde escolhas que precisam permanecer visíveis.

O percentual começa na seleção dos casos

Um exemplo hipotético permite enxergar a diferença. Imagine um escritório que seleciona cem decisões e encontra sessenta favoráveis à tese pesquisada. A proporção de 60% descreve aquele conjunto, conforme o critério utilizado. Ela não demonstra, sozinha, que um cliente possui 60% de chance de obter o resultado desejado. Para dar esse passo, seria necessário examinar a comparabilidade dos casos, a seleção dos registros e a adequação de um método de previsão.

O ponto inicial é a cobertura. Quais tribunais, períodos e classes foram incluídos? A pesquisa reúne primeiro e segundo graus? Os registros foram obtidos por uma busca de palavras ou por um critério capaz de localizar o universo pretendido? Cada resposta delimita o alcance da conclusão. Uma consulta por expressão específica pode deixar de fora documentos relevantes que utilizaram outra terminologia.

Também importa conhecer o que não está disponível. A API pública do Datajud oferece metadados de processos públicos, segundo a documentação do CNJ. Metadados são informações estruturadas sobre o processo; não devem ser confundidos com acesso irrestrito à íntegra de todas as peças ou a conteúdo protegido. A existência de uma fonte pública valiosa não elimina a necessidade de identificar quais perguntas seus campos permitem responder.

A ausência de um dado exige tratamento próprio. Se o resultado de parte dos registros não foi identificado, classificá-los automaticamente como derrota, vitória ou acordo altera a análise. O relatório precisa distinguir resultado conhecido de informação ausente. É melhor explicitar essa limitação que preencher a lacuna com uma categoria que pareça deixar a base mais completa.

A definição de sucesso também precisa corresponder ao interesse analisado. Para quem pretende receber determinado valor, a procedência de um pedido pode não responder quanto foi efetivamente reconhecido ou pago. Para quem se defende, uma redução expressiva da pretensão pode ter significado diferente da improcedência total. O indicador só é interpretável quando se conhece o evento que está sendo medido.

Há ainda o percurso recursal. Uma decisão favorável em etapa inicial pode ser reformada, e uma análise restrita àquela fase continua sendo apenas uma análise daquela fase. Não é necessário que toda pesquisa acompanhe o processo até o fim; é necessário não apresentar um resultado intermediário como desfecho definitivo quando esse acompanhamento não foi feito.

Uma previsão precisa mostrar como foi avaliada

Quando o produto promete estimar resultados futuros, a pergunta muda: como a previsão foi testada em casos que não serviram para construí-la? Conferir apenas exemplos já conhecidos pelo sistema não demonstra a mesma capacidade diante de situações novas. O fornecedor deve esclarecer o desenho da avaliação e a separação entre material usado no desenvolvimento e material empregado no teste.

A cronologia é especialmente importante no Direito. Uma informação que só surgiu depois da decisão não poderia ter orientado uma previsão feita antes dela. Em um exemplo hipotético, utilizar no teste um andamento que revela o julgamento daria ao sistema uma pista indisponível no momento em que o cliente precisaria da estimativa. A avaliação precisa reproduzir, tanto quanto possível, a informação que existia no instante da decisão prática.

O desempenho também depende do contexto. Um resultado agregado pode esconder dificuldades em determinados temas, períodos ou tribunais. Ao avaliar uma ferramenta, o escritório pode perguntar se existem resultados separados para o tipo de demanda que pretende analisar e quantos casos sustentam cada comparação. Um indicador geral, mesmo quando corretamente calculado, não assegura o mesmo comportamento em todos os recortes.

Uma mudança legislativa ou um precedente relevante também pode limitar a utilidade de comparações históricas. A atualização não se resume a inserir mais documentos: é preciso identificar se as condições jurídicas que produziram os resultados continuam pertinentes. A leitura da norma e do precedente pelo profissional segue necessária para interpretar o que a série histórica significa na situação atual.

Na contratação, essas questões podem ser traduzidas em exigências de informação: origem dos dados, período coberto, critérios de inclusão, definição de resultado e descrição das limitações. Não é indispensável receber segredos comerciais para compreender o alcance do serviço. Mas a impossibilidade de esclarecer o que o número representa dificulta seu uso responsável em uma decisão profissional.

A comunicação com o cliente deve preservar essa diferença entre dado, inferência e julgamento jurídico. É possível explicar que determinada frequência foi observada em um conjunto delimitado e apontar fatores que aproximam ou afastam o caso concreto daquele recorte. O que não se sustenta é eliminar essas condições e apresentar o percentual como promessa de sentença ou garantia de recebimento.

A pesquisa pode, inclusive, ser útil quando não produz uma porcentagem de vitória. Identificar divergências de classificação, concentração de demandas ou etapas que merecem estudo ajuda a formular perguntas melhores. O valor do trabalho quantitativo não depende de apresentar uma resposta única para toda incerteza; pode estar justamente em mostrar onde a informação ainda é insuficiente.

Antes de levar um gráfico à reunião de estratégia, o escritório pode guardar a versão da consulta, os filtros e a data de extração, respeitando as condições de acesso à base. Esse registro permite reconstruir o caminho da análise quando os dados mudarem. A medida não valida o método por si só, mas evita que uma conclusão circule sem vínculo com o recorte que a originou.

A jurimetria contribui quando amplia a capacidade de observar e questionar o contencioso. Perde esse papel quando uma apresentação numérica substitui a explicação do método. Para quem contrata, interpreta ou apresenta o resultado, a pergunta decisiva não é apenas qual foi o percentual: é o que ele mede, em quais condições foi obtido e até onde pode orientar a próxima decisão.