As análises de preços nas auditorias de obras públicas por vezes ocupam semanas de trabalho do auditor, pois, em muitos casos, as planilhas orçamentárias são extensas e de difícil análise. A Lei Newcomb-Benford é uma ferramenta de mineração de dados, alternativa à Curva ABC, que permite uma seleção possivelmente mais precisa dos serviços das planilhas para análise de preço.

A Curva ABC, tradicionalmente utilizada pelas unidades técnicas do TCU, seleciona em torno de 20% dos serviços do orçamento, em ordem decrescente de relevância financeira, totalizando 80% do valor global da obra. O que conta para a seleção da amostra de auditoria é apenas a materialidade do serviço em relação ao custo total, sem considerar possíveis indícios de manipulação nos dados. Além disso, os itens semelhantes no orçamento devem ser agrupados antes da análise, o que demanda um certo trabalho no caso de existirem muitos itens repetidos.

Já a Lei Newcomb-Benford propõe que as frequências dos primeiros dígitos dos valores em um banco de dados são decrescentes do 1 ao 9; o dígito 1 aparece em, aproximadamente, 30% dos dados, enquanto o 9 não atinge 5% desses valores.

Frequências dos primeiros dígitos, calculadas segundo a Lei de Newcomb-Benford. Fonte: elaboração própria, 2016.

Com base nesse referencial, são medidas as frequências dos primeiros dígitos dos preços dos serviços da planilha orçamentária a ser analisada, estabelecendo-se uma comparação entre a Lei Newcomb-Benford e os valores encontrados de fato. Sobre a diferença advinda dessa comparação, são aplicados testes estatíscos (Teste-Z, Qui-Quadrado e Média dos Desvios Absolutos) para mensurar se a magnitude dessa discrepância chega a representar, ou não, uma desconformidade com a Lei Newcomb-Benford. A não-conformidade pode ser vista como red flag, indicando quais valores possuem maiores indícios de terem sido manipulados, sendo os itens correspondentes naturais candidatos para auditoria. Ademais, de forma distinta dos procedimentos para a formulação da curva ABC, essa metodologia é aplicada ao orçamento da forma como ele é apresentado originalmente, ou seja, não há a necessidade de providenciar os agrupamentos dos serviços semelhantes.

Para um melhor entendimento dessa metodologia, é necessário explicar como ela foi descoberta. Simon Newcomb (1881), um astrônomo e matemático do século XIX, observou que as primeiras páginas das tábuas de logaritmos (amplamente utilizadas para cálculos à época) se apresentavam mais desgastadas do que as últimas, indicando que o valor usualmente mais acessado era o 1, e que a frequência diminuía até o 9, contrariando o entendimento comum de uma distribuição uniforme da frequência desses dígitos. Como Newcomb não reuniu dados numéricos ou forneceu qualquer outra evidência de sua descoberta, o fato só começou a ganhar importância mais de meio século depois, quando o físico Frank Benford (1938) incidentalmente chegou à mesma conclusão. Benford publicou artigo seminal em 1938, denominado “The Law of Anomalous Numbers”, em que utilizou dados coletados de diferentes tipos de fontes. Esses dados eram aleatórios e não possuíam nenhuma relação entre si, e variavam desde números obtidos nas páginas principais dos jornais e todos os números de um tópico importante do Reader’s Digest, até tabelas matemáticas e constantes científicas. Seu trabalho analisou os primeiros dígitos dos dados coletados e mostrou que: cerca de 30% dos números possuíam o 1 como primeiro dígito, e que, em contraste, menos de 5% apresentavam o 9 como primeiro dígito.

Essas frequências dos primeiros dígitos se aplicam a uma variedade de fontes de dados, incluindo contas de energia, endereços, preços de ações, valores populacionais, taxas de mortalidade, entre outras.

Para facilitar o entendimento dessa distribuição, suponha que você invista R$ 10.000,00 em um fundo de pensão que lhe ofereça um retorno prefixado de 7% ao ano. Então, aproximadamente em uma década, seu investimento dobrará, ou seja, após dez anos tendo o 1 como o primeiro dígito, o montante de seu investimento finalmente chegará a R$ 20.000,00. Passados mais 10 anos, o recurso dobrará novamente para R$ 40.000,00 (em uma maior parte desses dez anos os números começarão com 2, e na outra menor parte começarão com 3). Após outra década, o montante chegará a R$ 80.000,00 (teremos os valores 4, 5, 6 e 7 como primeiros dígitos em apenas dez anos). Em um dado momento, chegar-se-á ao valor de R$ 100.000,00, com o primeiro dígito 1 incidindo por mais dez anos. Assim, ao se escolher uma data aleatória, é mais provável que o montante de seu investimento nesse dia possua o 1 como primeiro dígito, do que qualquer outro dígito.

Diversos estudos foram realizados adotando a hipótese de que dados fabricados são identificados mediante o desvio dos dígitos em relação à distribuição de Benford. Nigrini (1992, 2000, 2012), assumindo que dados contábeis fidedignos seguiam a distribuição de Benford bem de perto (como sua pesquisa indicou que seguiam), argumentou que desvios substanciais em relação a essa Lei sugeririam possíveis fraudes ou dados fabricados. O autor desenvolveu vários testes para mensurar a conformidade com a Lei de Benford, e foram detectadas fraudes  em sete companhias de Nova York pelo escritório da Procuradoria do Brooklyn usando esses  testes. Como evidência, descobriu-se, nesse caso, que dados fraudulentos e aleatórios possuíam poucos valores começando com 1 e muitos números começando com 6. Com base nesses sucessos anteriores, Nigrini foi chamado a dar consultoria a órgãos de arrecadação tributária de diversos países e a instalar os testes da Lei de Benford na maioria dos programas computacionais de detecção de fraude.

Rauch, Göttsche, Brähler e Engel (2011) publicaram artigo na German Economic Review, no qual sugeriram que a Lei de Benford poderia ser utilizada para testar dados macroeconômicos, revelando quais deles necessitavam de uma inspeção mais rigorosa. Eles analisaram a conformidade com a Lei de Benford dos primeiros dígitos de dados macroeconômicos reportados ao Gabinete de Estatísticas da União Europeia (Eurostat) pelos países membros da União Européia (UE). Construíram um ranking dos 27 países membros de acordo com a extensão do desvio encontrado. O país que teve o maior desvio foi a Grécia, cuja manipulação dos dados havia sido oficialmente confirmada pela Comissão Europeia (2010) em momento anterior.

Walter Mebane, um estatístico americano da Universidade de Michigan, estudou dados eleitorais de vários países, incluindo os Estados Unidos, Rússia e México. Em 2006, ele descobriu que a contagem dos votos tendia a seguir a Lei de Benford no segundo dígito (Mebane, 2006). O pesquisador analisou os dados das eleições iranianas em 2009 e encontrou anomalias que indicavam fortemente a ocorrência de fraude na vitória do político Ahmadinejad (Mebane, 2009). Mebane verificou que, nas cidades com poucos votos inválidos, os números de Ahmadinejad passavam longe da distribuição de Benford e que o candidato, nessas situações, possuía uma grande vantagem nos votos.

No TCU, foi feita dissertação de mestrado pela servidora Flávia Ceccato, orientada pelo Professor Maurício Bugarin, abordando a aplicação dessa metodologia às auditorias de obras públicas. Foram testadas obras relevantes no contexto da Copa do Mundo de 2014, tais como a reforma do Estádio Maracanã, a construção da Arena da Amazônia e a reforma do Aeroporto Internacional de Minas Gerais. Essas três obras foram auditadas, em momento anterior, pelo Tribunal, e as análises efetuadas com base na Lei Newcomb-Benford foram confrontadas com o sobrepreço detectado pelo TCU. Os serviços apontados por essa Lei como tendo sofrido possível manipulação em seus preços corresponderam, em média, a 80% do sobrepreço identificado pelo Tribunal.

Nessa mesma linha, Ceccato & Bugarin desenvolveram artigos para: a Revista do TCU (Lei de Benford e Auditoria de Obras Públicas: uma análise de sobrepreço na reforma do Maracanã); a Revista Economics Bulletin (Benford's law for audit of public works: an analysis of overpricing in Maracanã soccer arena's renovation); a Revista NDJ (Lei de Benford para a auditoria de obras públicas: análise de sobrepreço na construção da arena da Amazônia); entre outros.

A Lei Newcomb-Benford já é objeto de interesse do CADE como filtro de cartel e também da Polícia Federal nas perícias criminais de engenharia. A servidora Flávia Ceccato realizará uma apresentação sobre a Lei Newcomb-Benford em um Seminário da Polícia Federal que ocorrerá em Maceió nos dias 11 a 13 de abril.

As áreas interessadas em conhecer melhor as possibilidades de aplicação da Lei Newcomb-Benford nas fiscalizações do TCU, poderão entrar em contato diretamente com a servidora por meio de seu email institucional.

A depender do número de interessados no tema, o Centro de Pesquisa e Inovação[1] poderá convidar a referida servidora para apresentar seu trabalho em uma palestra ou gravar um vídeo discorrendo sobre o assunto.