University of Brasilia

Economics and Politics Research Group–EPRG

A CNPq-Brazil Research Group http://www.econpolrg.com/

Research Center on Economics and Finance–CIEF Research Center on Market Regulation–CERME

Research Laboratory on Political Behavior, Institutions and Public Policy–LAPCIPP Master’s Program in Public Economics–MESP

Graduate Program in Economics–Pós-ECO

Aplicação da Lei de Benford na Detecção de Jogo de Planilha: O Caso do Estádio Nacional de

Brasília

Carlos Alberto Cascão Júnior (TCDF) Adriana Cuoco Portugal (TCDF) Mauricio Soares Bugarin (UnB)

Flávia Ceccato Cunha (TCU)

Economics and Politics Working Paper 92/2018 December 4th, 2018

Economics and Politics Research Group Working Paper Series

1

APLICAÇÃO DA LEI DE BENFORD NA DETECÇÃO DE JOGO DE

PLANILHA: O CASO DO ESTÁDIO NACIONAL DE BRASÍLIA

Carlos Alberto Cascão Júnior / TCDF / cascaojr@tc.df.gov.br

Adriana Cuoco Portugal / TCDF / adriana@tc.df.gov.br

Mauricio Soares Bugarin / UnB / bugarin.mauricio@gmail.com

Flávia Ceccato Cunha / TCU / flaviaceccato@hotmail.com

RESUMO

Este trabalho apresenta a aplicação do algoritmo da Lei de Benford, previsto na Cartilha de

Benford publicada pelo IBRAOP, para caracterizar a ocorrência de “jogo de planilha” na

execução do contrato de construção do Estádio Nacional de Brasília. Para tanto, compara-se a

metodologia baseada na Curva ABC, tradicionalmente utilizada nos Tribunais de Contas, com a

nova metodologia proposta. A análise baseada na Lei de Benford mostra que tanto o orçamento

de referência como o contrato inicial apresentam conformidade com a Lei, o que sugere ausência

de manipulação de dados nessas etapas do processo licitatório. Por outro lado, os testes indicam

elevada não-conformidade à Lei de Benford quando é considerada a planilha final, após a

inclusão de 28 aditivos. A não-conformidade reforça suspeita quanto ao “jogo de planilha”, o

que foi robustecido pelo fato de a nova metodologia indicar, em sua maioria, os mesmos serviços

apontados pela análise tradicional, mantendo a vantagem declarada na Cartilha do Ibraop de

não ser necessário agrupar serviços de mesma natureza, como na análise baseada em Curva ABC,

otimizando a atividade de auditoria.

Palavras-chave: jogo de planilha, Lei de Benford, auditoria.

1. INTRODUÇÃO

O “jogo de planilha” é prática observada na execução de um contrato de obra pública em que

ocorrem alterações contratuais que podem resultar em prejuízos maiores à Administração Pública.

Trata-se de fenômeno amplamente conhecido e combatido pelos órgãos de controle nacionais e

subnacionais. Segundo o voto condutor da Decisão 1.090/2001-Plenário, do Tribunal de Contas da

União – TCU (2001), de relatoria do Ministro Benjamin Zymler:

“12. Pode ocorrer na contratação de obras públicas, em regime de empreitada por preço unitário,

que haja determinados itens com preços superfaturados, embora o preço global da obra seja

compatível com o de mercado. Esses itens superfaturados, no decorrer da execução da obra, podem

ter os seus quantitativos aumentados mediante aditivos contratuais - é o chamado jogo de planilha.

Assim, o custo global da obra fica em desacordo com o de mercado, arcando a União com o

prejuízo”.

De forma mais ampla, o superfaturamento por desequilíbrio econômico-financeiro ou “jogo de

planilha” ocorre quando há o rompimento do equilíbrio econômico-financeiro inicial do contrato em

desfavor da Administração por alteração de quantitativos, pelo aumento de serviços contratuais com

sobrepreço por aditivos, pela diminuição ou supressão de serviços contratuais com subpreço, pela

alteração de custos de serviços contratuais, pela inclusão de serviços novos com sobrepreço, ou ainda

As afirmações, possíveis erros e omissões existentes neste texto são de inteira responsabilidade de seus autores, e não

refletem necessariamente as posições das instituições em que trabalham. Trabalho apresentado no XVIII Simpósio

Nacional de Auditoria de Obras Públicas – João Pessoa, PB, novembro de 2018.

2

por diversas combinações dessas situações. Embora a lei de licitações permita a alteração dos

quantitativos originalmente contratados ou mesmo a adição de novos serviços em casos específicos,

essa possibilidade não pode ser utilizada para a alteração da equação econômico-financeira inicial do

contrato, o que é justamente a característica do “jogo de planilha”.

Nesse sentido, o TCU também vem se posicionando, conforme decisões a seguir:

- Voto condutor do Acórdão TCU 467/2015-Plenário, Rel. Min. Walton Alencar Rodrigues:

“Reputo relevantes as condições em que se formaram os referidos contratos, porquanto originadas

de ambiente certame licitatório competitivo e pautadas, entre outros princípios, na legalidade, na

isonomia entre licitantes, na seleção da proposta mais vantajosa para a Administração e na

vinculação ao instrumento convocatório. Tais premissas vinculam o ajuste administrativo, para

conformar eventuais mutações contratuais às exigências previstas na lei ao tempo do torneio

licitatório.

Não fosse assim, as diretrizes da licitação pública seriam facilmente deturpadas pelo espúrio

mecanismo de celebração de termos aditivos que resultem em desbalanceamento da equação-

econômico financeira em desfavor do Estado, quer pelo acréscimo de serviços novos cujos preços

não sejam vantajosos ao Erário, quer pela alteração de quantitativos previstos na planilha

orçamentária inicial da avença a ponto de desfigurar a vantagem do contrato original. Ao estimar

os valores de referência dos serviços novos acrescidos por termos aditivos na data base dos

contratos, a Administração preserva as condições que nortearam a licitação e resultaram na

formulação do equilíbrio contratual.”

- Voto condutor do Acórdão TCU 1.153/2015-1ª Câmara, Rel. Min. Walton Alencar Rodrigues:

8. ... trata-se de 'jogo de planilhas', questão há tempos discutida neste Tribunal, que considera essa

prática afronta grave à manutenção do equilíbrio financeiro do contrato, previsto no art. 65, § 1º,

da Lei 8.666/1993.

9. Via de regra, esse artifício ocorre com a celebração de aditivos contratuais, fundamentados na

necessidade técnica de corrigir falhas no projeto inicial, em que se operam modificações das

seguintes naturezas: aumento da quantidade de itens com preços superestimados; supressão de

quantitativos de insumos que estavam depreciados; e criação de novos serviços sem que sejam

aplicados os descontos da proposta da licitante contratada.”

- Voto condutor do Acórdão TCU 349/2014-Plenário, Rel. Min. Benjamin Zymler:

“19. Quanto à primeira alegação, julgo incabível a compensação de eventual subpreço na planilha

contratual original com sobrepreços verificados em termos aditivos, uma vez que a adoção de tal

prática implica admitir a redução da vantajosidade inicial da avença e, portanto, a alteração do

equilíbrio-econômico-financeiro em desfavor da Administração.

20. Dito de outra forma, a metodologia sugerida pela defesa significa aceitar a existência de uma

espécie de crédito do contratado decorrente de um desconto ofertado por ocasião da licitação, o

qual poderia ser usado posteriormente para a inclusão de serviços no contrato com preços

nitidamente acima dos parâmetros de mercado. Por subverter a lógica do princípio da preservação

do equilíbrio financeiro, da boa fé contratual e da competitividade, considerando que os preços dos

serviços novos não foram submetidos ao crivo da licitação, tal argumento merece ser rechaçado.

21. Ademais, verifico que o procedimento sugerido pela defesa implica admitir a inserção de novos

serviços com sobrepreço por meio de aditivos a um contrato cujos serviços, sabidamente, continham

subpreço. Por representar a clássica situação de jogo de planilha, rejeito os argumentos trazidos

pela sociedade empresária”.

De forma similar, o TCDF também já se manifestou nas Decisões nº 738/2015 e 2.344/2014,

respectivamente:

“alterações contratuais não podem suprimir a vantagem econômica inicialmente obtida pela

Administração (‘jogo de planilha’)”.

“determinar à Companhia Urbanizadora da Nova Capital do Brasil – NOVACAP que atente, em

relação a possíveis aditivos ao contrato decorrente de licitação em tela, para a manutenção do

desconto inicial da proposta, ou seja, que seja mantida a proporcionalidade da diferença entre o

valor global estimado pela Administração e o valor global contratado, nos limites do art. 65. §1º,

da Lei nº 8.666/1993”.

Ainda que seja um fenômeno conhecido, o “jogo de planilha” é tipicamente evidenciado na prática

3

pela análise de sobrepreço, cuja seleção da amostra de auditoria se baseia na Curva ABC (Critério de

Pareto) sem que existam até o momento, pelo conhecimento dos autores deste trabalho, estudos

acadêmicos focados em auxiliar o auditor na detecção dessa manipulação que ocorre ao longo da

execução de uma obra pública.

O objetivo deste trabalho é justamente oferecer uma metodologia para possível identificação do

“jogo de planilha” baseada na regularidade estatística conhecida como “Lei de Benford” (BENFORD,

19381).

O algoritmo para essa análise é o proposto por Bugarin e Cunha (2015), e detalhado

posteriormente em Cunha, Bugarin e Portugal (2016), em uma cartilha intitulada “Seleção de

Amostra de Auditoria de Obras Púbicas pela Lei de Benford” publicada pelo Instituto Brasileiro de

Auditoria de Obras Públicas – IBRAOP (2016). Explica-se a lógica dessa Lei da seguinte forma na

cartilha:

“O ser humano acredita que os números se distribuem de forma uniforme na natureza. Por isso, ao

manipular os valores de um banco de dados, uma pessoa leiga em geral não se preocupará com as

frequências em que aparece o 1 ou 2 ou demais dígitos como primeiro, segundo ou último dígito de

um número.

Contudo, existe uma metodologia capaz de indicar a possibilidade de manipulação dos dados e, ao

mesmo tempo, considerar a relevância financeira dos itens. A metodologia se baseia em uma

regularidade empírica segundo a qual os números não se distribuem de forma uniforme na natureza.

Essa regularidade é conhecida como Lei de Benford.

Essa Lei estabelece que as frequências dos primeiros dígitos dos valores em um banco de dados são

decrescentes do 1 ao 9; o dígito 1 aparece em, aproximadamente, 30% dos itens, enquanto o 9 não

atinge 5% desses valores. Essas frequências se aplicam a uma variedade de fontes de dados, incluindo contas de energia, endereços, preços de ações, valores populacionais, taxas de

mortalidade, entre outras.”

Mais especificamente, pela Lei de Benford, espera-se, então, que a frequência do primeiro dígito

em fontes de dados não homogêneos ou não manipulados decresça do dígito 1 ao 9, conforme o

gráfico da Error! Reference source not found. a seguir.

Fonte: Cunha, Bugarin e Portugal (2016)

Figura 1 - Frequência de incidência dos primeiros dígitos em dados não homogêneos

Na detecção de fraudes em obras públicas, esta Lei já foi testada diversas vezes. Flávia Cunha e

Maurício Bugarin aplicaram essa Lei em planilhas orçamentárias como a da reforma do Maracanã

(CUNHA e BUGARIN, 2015a, 2015b) e a construção da Arena Amazonas (CUNHA e BUGARIN

(2015c), obras realizadas para a Copa do Mundo de 2014, assim como para a obra de reforma do

Aeroporto Internacional de Minas Gerais (BUGARIN e CUNHA, 2017), concluindo pela robustez

1 Newcomb (1881) já havia identificado fenômeno similar ao observar que as primeiras páginas das tábuas de logaritmos

se apresentavam mais desgastadas do que as últimas, o que indicava que o valor usualmente acessado era o número 1, e

que a frequência diminuía até o número 9.

4

do método baseado na Lei de Benford para detecção de possível manipulação de dados referente a

sobrepreço e superfaturamento. Café e Bugarin (2017) concluíram na mesma direção quanto à obra

de implantação de um corredor de transporte no DF conhecido como VLP (BRT – Sul). Também a

Polícia Federal fez aplicações dessa Lei na detecção de fraudes em licitações no Brasil, conforme

trabalho apresentado por Filho (2016).

Com o objetivo de testar a aplicabilidade da Lei de Benford na detecção de jogo de planilha, toma-

se como unidade de análise a obra do Estádio Nacional de Brasília – ENB, que foi acompanhada pelo

Tribunal de Contas do DF – TCDF tanto na licitação quanto na execução do seu contrato de

construção, no período entre 2009 e 20152.

A auditoria empreendida pelo TCDF objetivou, entre outros pontos, verificar a regularidade dos

quantitativos de serviços e adequação dos preços contratados aos de mercado. Naquela fiscalização,

foi apontada a ocorrência de preços acima dos praticados no mercado e de quantitativos superiores

aos executados ao serem analisados os serviços previstos nas planilhas orçamentárias após 28 aditivos

contratuais.

A magnitude das alterações tornou imperioso verificar se o equilíbrio econômico-financeiro

inicial do ajuste foi mantido, principalmente porque os valores contratuais quase dobraram, saindo

de R$ 696.648.486,09 para R$ 1.184.874.854,00, a preços históricos de junho de 2010. Várias

revisões foram realizadas nos projetos, englobando mudanças de conceitos, de soluções construtivas

ou de compatibilização, o que culminou em variações de quantitativos e acréscimos de diversos

serviços, e gerou suspeitas quanto à manutenção do equilíbrio econômico-financeiro inicial do

contrato.

A análise empreendida no TCDF considerou a análise dos principais serviços resultantes da Curva

ABC, baseada no princípio de Pareto, selecionando itens que correspondessem a aproximadamente

80% do valor total contratado. Tendo em conta a enorme quantidade de serviços de uma edificação

como o Estádio Nacional de Brasília, foi bastante penoso confirmar a existência de “jogo de planilha”.

Neste trabalho, o que se espera é demonstrar que a Lei de Benford se aplica adequadamente à

detecção da irregularidade caracterizada como “jogo de planilha”, o que pode representar grande

economia de esforços na avaliação de longas planilhas orçamentárias de obras como a edificação de

estádios.

Para tanto, serão utilizados os testes constantes do algoritmo proposto na Cartilha do Ibraop

(Bugarin, Cunha e Portugal, 2016), desenvolvidos a partir de Nigrini (2012). Esse autor, por meio de

seus testes, detectou fraudes em companhias de Nova York e implementou sua metodologia em

sistemas de detecção de fraudes tributárias em vários países.

Destarte, o objetivo primordial do trabalho em tela é aplicar essa metodologia à investigação de

possíveis manipulações de dados que ensejem “jogo de planilha”, com vistas a confirmar indícios de

irregularidades já identificadas pelo TCDF quanto à obra de construção do Estádio Nacional de

Brasília. Além desta introdução, o presente estudo está dividido em mais duas seções. A seção 2

apresenta a metodologia, trazendo a análise tradicional empreendida pelo TCDF e a análise a partir

da Lei de Benford, além da comparação entre os métodos. Finalmente, a seção 3 apresenta as

conclusões e proposições de extensões futuras da aplicação da Lei de Benford na análise de “jogo de

planilha”.

2. METODOLOGIA

Este estudo se propõe a uma comparação de métodos de detecção de “jogo de planilha”.

Inicialmente, com o objetivo de caracterizar o problema na obra de construção do Estádio

Nacional de Brasília, apresenta-se a análise pelo método tradicionalmente empregado nos Tribunais

2 Processos TCDF nºs 21.886/2009, 30.101/2010, 16.469/2012 e 29.565/2013, destacando-se para o propósito deste

trabalho o RELATÓRIO FINAL DE AUDITORIA N°. 01/2017 – NFO, constante desse último processo.

5

de Contas, partindo da planilha orçamentária de referência, do orçamento da empresa vencedora do

certame e da planilha resultante das alterações contratuais. Na sequência, desenvolve-se a análise a

partir da utilização da Lei de Benford, e comparam-se os resultados obtidos por ambos os métodos.

2.1. Caracterização tradicional do jogo de planilha

Para a aplicação do método tradicional, que se baseia na identificação de serviços materialmente

relevantes por meio da construção da Curva ABC (princípio de Pareto), os itens contidos no

orçamento após as alterações contratuais foram classificados em contratuais ou novos e a evolução

de seus quantitativos foi analisada, compilando-se a verificação contida nos Processos TCDF nºs

30.101/2010, 16.469/2012 e 29.565/20133.

Foram observados aumentos significativos dos quantitativos dos serviços contratuais indicados

na análise do TCDF como contendo sobrepreço ou acima dos valores de mercado. Os referidos

serviços são destacados na Tabela 1 a seguir, sendo a evolução detalhada dos quantitativos dos quatro

primeiros itens apresentada nos gráficos da Figura 2.

Fonte: TCDF-Relatório de Auditoria n°. 01/2017 - NFO

Tabela 1 - Serviços contratuais cujos quantitativos aumentaram

3 Os relatórios finais de auditoria constantes desses processos estão disponíveis para consulta no

https://www.tc.df.gov.br/4-consultas/consultas/.

Descrição dos serviços UnidadePreço Unitário

Contrato

Preço Unitário

TCDF

Sobrepreço

Unitário (%)

Aumento

(%)

ARMADURA DE AÇO PARA ESTRUTURAS EM GERAL, CA-50, DIÂMETRO 16,0 MM,

CORTE E DOBRA NA OBRA

KG 6,46 3,95 63,5% 63,3%

FORNECIMENTO E APLICAÇÃO DE CONCRETO DE ALTO DESEMPENHO ( CAD ) FCK=40

MPA

M3 583,56 495,04 17,9% 34,7%

FORNECIMENTO, MONTAGEM E DESMONTAGEM DE FORMA PLANA APARENTE

CHAPA DE COMPENSADO PLASTIFICADO DE 18MM COM 3 REAPROVEITAMENTOS

M2 90,24 45,56 98,1% 11,8%

VALE TRANSPORTE HXMÊS 312,00 199,63 56,3% 215,9%

TRANSPORTE DO MATERIAL ESCAVADO ATÉ O BOTA FORA DMT 15 KM INCLUSE

ESPALHAMENTO DO MATERIAL

M3 19,95 7,91 152,2% 17,9%

FORNECIMENTO E APLICAÇÃO DE CONCRETO FCK=20 MPA , CONVENCIONAL,

LANÇAMENTO DIRETO

M3 358,87 340,16 5,5% 8,3%

FORNECIMENTO E APLICAÇÃO DE CONCRETO FCK=25 MPA M3 466,31 449,77 3,7% 20,3%

FORNECIMENTO E APLICAÇÃO DE CONCRETO DE ALTO DESEMPENHO ( CAD ) FCK=60

MPA

M3 627,39 512,89 22,3% 24,7%

DEMOLIÇÃO DE CONCRETO ARMADO M3 265,84 68,06 290,6% 168,7%

CABO ISOLADO EM EPR SEÇÃO 95,00 MM² - 0,6/1 KV - 90°C - FLEXÍVEL M 44,98 40,80 10,2% 8.005,5%

6

Fonte: TCDF-Relatório de Auditoria n°. 01/2017 - NFO

Figura 2 - Variação dos quantitativos de alguns serviços contratuais com sobrepreço

Quantitativos de serviços significativos para obras dessa natureza, como os indicados nos gráficos

anteriormente apresentados, aumentaram mais de 50% pela intervenção dos aditivos, como é o caso

do aço, do vale transporte, do transporte de material escavado, da demolição de concreto armado e

do cabo isolado em EPR, sendo que esse último item teve seus quantitativos aumentados oitenta

vezes.

Além disso, as modificações contratuais também promoveram a inclusão de serviços com

sobrepreço. A Tabela 2 a seguir apresenta os serviços inseridos por meio de aditivos para os quais

foram apontados sobrepreços nas análises do TCDF:

Fonte: TCDF-Relatório de Auditoria n°. 01/2017 - NFO

Tabela 2 - Serviços novos com sobrepreço

Foram inseridos serviços com sobrepreço entre 10% e 108%, cujos valores totais são

significativos o suficiente para que os mesmos estejam na porção A da Curva ABC. Não obstante a

inserção de serviços novos com sobrepreço, três dos quatro itens indicados ainda tiveram seus

quantitativos aumentados entre 11% e 48%.

Também foram alterados os custos de serviços por aditivos. A Fonte: TCDF-Relatório de Auditoria n°. 01/2017

- NFO

Tabela 3 apresenta os serviços mais significativos que tiveram seus valores alterados durante a

execução contratual:

Fonte: TCDF-Relatório de Auditoria n°. 01/2017 - NFO

Tabela 3 -Serviços contratuais com custos majorados

Há um sobrepreço relevante nos serviços de mobilização, de mais de dezenove vezes o valor

considerado razoável, e de desmobilização, de quase dezoito vezes, conforme análises mais

específicas do Processo nº 30.101/2010. Mesmo para o valor inicialmente contratado, havia

sobrepreço de quase dez vezes o valor apurado.

Se não bastasse a inclusão e o aumento de quantitativos de serviços com sobrepreço, bem como

Descrição dos serviços UnidadePreço Unitário

Contrato

Preço Unitário

TCDF

Sobrepreço

Unitário (%)

Aumento

(%)

CABO ISOLADO EM EPR SEÇÃO 240 MM² - 0,6/1,0 KV- 90°C - FLEXÍVEL, CLASSE 5 M 132,30 90,32 46,5% 48,7%

CIMBRAMENTO EM TRELIÇAS METÁLICAS, APOIADAS EM CONSOLES METÁLICOS,

PARA O ANEL DE COMPRESSÃO, INCLUSO MONTAGEM E DESMONTAGEM

M3 443,83 401,49 10,5% 0,0%

FABRICAÇÃO DE PRÉ-MOLDADOS M3 2.810,21 1.350,05 108,2% 36,8%

PISO CONCRETO POLIDO FOSCO ESPESSURA 7CM ARMADO, CONCRETO 25MPA,

SOBRE ESTRUTURA DE CONCRETO - CAPEAMENTO

M2 67,13 51,93 29,3% 11,9%

Descrição dos serviços UnidadePreço Unitário

Contrato

Preço Unitário

Novo

Preço Unitário

TCDF

Sobrepreço

Unitário (%)

MOBILIZAÇÃO UN 5.721.220,00 10.171.101,63 524.145,38 1.840,5%

DESMOBILIZAÇÃO INCLUSIVE LIMPEZA FINAL DA OBRA PARA ENTREGA UN 2.929.821,00 5.485.904,64 304.796,53 1.699,9%

7

o próprio aumento do preço de itens relevantes, ainda foi suprimido dos aditivos contratuais o

desconto proporcional oferecido pela vencedora da licitação em relação ao valor do orçamento de

referência.

Considerando a jurisprudência do TCU, mais especificamente o Acórdão TCU 349/2014, já se

poderia indicar a existência de “jogo de planilha”, dado que não seria cabível a compensação de

eventual subpreço na planilha contratual original com sobrepreços verificados em aditivos. De acordo

com esse acórdão, como já destacado, não se pode permitir a redução da vantagem inicial da avença

e, portanto, a alteração do equilíbrio econômico-financeiro em desfavor da Administração4.

Caracterizado o “jogo de planilha”, adotando-se para tal o método tradicional, parte-se, na

sequência, para apresentar a indicação dessa irregularidade por meio da aplicação da Lei de Benford.

2.2. Indicação do jogo de planilha a partir da Lei de Benford

A metodologia utilizada será a definida na Cartilha do Ibraop, elaborada por Cunha, Bugarin e

Portugal (2016), que objetiva identificar eventual manipulação de dados nas planilhas orçamentárias

antes e depois da realização de aditivos no contrato para a construção do Estádio Nacional de Brasília,

manipulações essas que possam indicar a possibilidade de “jogo de planilha”, já apontado no método

tradicional.

A análise foi realizada nos preços totais dos serviços, resultante do produto de seus quantitativos

pelos preços unitários, visto que as alterações contratuais modificaram tanto os preços quanto as

quantidades dos itens. Conforme a referida Cartilha do Ibraop, foram aplicados três testes para

comprovação da aderência dos dados analisados à Lei de Benford: teste do primeiro dígito, teste dos

dois primeiros dígitos e teste da soma, que serão brevemente descritos.

O teste do primeiro dígito atesta se a frequência do primeiro dígito adere à Lei de Benford,

indicando quais dígitos não se comportam como o esperado.

Esse teste foi realizado com os dados do orçamento referencial utilizado na licitação, bem como

com a planilha contratual original, apresentados nas Figuras 3(a) e 3(b). Em ambos os casos, observa-

se que a frequência do primeiro dígito seguiu a Lei de Benford, o que indica conformidade

aproximada segundo a classificação de Nigrini (Özer e Babacan, 2013) para o teste estatístico da

média dos desvios absolutos. A Figura 3(c) apresenta a distribuição de frequência do primeiro dígito

do orçamento do Estádio Nacional de Brasília após as modificações realizadas pelos aditivos.

Observa-se que os dígitos 1 e 2 apresentam frequências menores que as estabelecidas pela Lei de

Benford, ao passo que os de 3 a 6 apresentam suas frequências maiores que as esperadas.

(a): Orçamento de referência (b): Planilha contratual original

4 O TCDF, por meio das Decisões nº 2.974/2017, 4.943/2017 e 4.463/2017, determinou a apuração de prejuízos da ordem

de R$ 67 milhões, R$ 291 milhões e R$ 106 milhões, respectivamente, nos Processos nº 30.101/2010, 16.469/2012 e nº

29.565/2013, decorrentes de superfaturamento na obra de construção do Estádio Nacional de Brasília.

8

(c): Planilha após aditivos

Fonte: TCDF-Relatório de Auditoria n°. 01/2017-NFO

Figura 3 - Frequências dos primeiros dígitos:

(a): no orçamento de referência; (b) na planilha contratual original; (c) na planilha após os aditivos

Tendo em vista a aplicação do teste do primeiro dígito, conclui-se pela provável ocorrência de

manipulação dos dados após os aditivos (Figura 3(c)), amparada pela aderência à Lei de Benford na

avaliação dos dados do orçamento de referência (Figura 3(a)) e da planilha contratual vencedora

original (Figura 3(b)).

(a): Orçamento de referência (b): Planilha contratual original

Fonte: TCDF-Relatório de Auditoria n°. 01/2017 - NFO

Figura 4 - Frequências dos dois primeiros dígitos: (a) no orçamento de referência e (b) na planilha contratual original.

O teste dos dois primeiros dígitos tem o mesmo propósito do primeiro teste, com a diferença de

que são testadas as frequências das categorias dos dois primeiros dígitos.

A aplicação do teste também foi realizada para os dados do orçamento licitado e da planilha

contratual original, Figuras 4(a) e 4(b), o que mostra que os valores originais possuem comportamento

bem aproximado ao esperado.

A Figura 5 a seguir apresenta os dados desse teste após os aditivos. De forma semelhante ao teste

do primeiro dígito, pode-se observar a ocorrência de categorias de dois dígitos a partir do 32 que

apresentam frequência bem superior ao esperado para dados que não sofreram manipulação enquanto

os demais apresentam frequências menores que o esperado, mais uma vez indicando a ocorrência de

“jogo de planilha”.

9

Fonte: TCDF-Relatório de Auditoria n°. 01/2017 - NFO

Figura 5 - Frequências dos dois primeiros dígitos após os aditivos

No teste da soma, quando são testados os valores totais dos serviços de uma planilha não

manipulada, verifica-se que o somatório dos itens dentro de cada categoria de dois primeiros dígitos

possui, aproximadamente, a mesma proporção em relação ao valor total do orçamento. Como existem

90 categorias de dois primeiros dígitos, do 10 ao 99, cada categoria teria que representar 1/90 do valor

total, o que resultaria em 0,011. Todavia, dados reais raramente se conformam a tal padrão, conforme

destacado na Cartilha do Ibraop. No entanto, o resultado desse teste comparado com o dos dois

primeiros dígitos confronta o volume de dados contidos em cada grupo com a soma de seus valores,

o que corresponde a verificar a materialidade e a relevância de cada grupo.

A Figura 6 apresenta o resultado gráfico desse teste, em que as categorias de dígitos acima da

referência de Benford merecem maior atenção por possuírem maior materialidade que os demais. Foi

adotado o critério de um valor acima de 100% de aumento com relação ao esperado, ou seja, um

percentual de 0,022 do custo total.

Fonte: TCDF-Relatório de Auditoria n°. 01/2017 - NFO

Figura 6 - Teste da soma após os aditivos

Também são aplicados testes estatísticos aos resultados dos testes anteriores, previstos na Cartilha

do Ibraop, à exceção do teste da soma, para se comprovar a conformidade da distribuição à Lei de

Benford. Os testes aplicados são: Teste Z, Qui-quadrado e Média dos Desvios Absolutos (MDA), que

serão brevemente explanados.

Os três testes mencionados são baseados nos padrões dos dígitos dos valores em um banco de

dados em que as proporções reais e esperadas são comparadas entre si.

O teste Z mostra se a proporção real de um dígito específico desvia de forma significativa da

proporção esperada. Para esse teste, foi utilizado um nível de significância de 5%, indicado por

Nigrini (Özer e Babacan, 2013). As categorias de dois primeiros dígitos indicadas por este teste, por

estarem fora da proporção esperada, são utilizadas para selecionar os serviços que merecem maior

10

atenção. A Figura 7, a seguir, apresenta o resultado desse teste:

Fonte: TCDF-Relatório de Auditoria n°. 01/2017 - NFO

Figura 7 - Teste Z dos dois primeiros dígitos após os aditivos

O Teste Qui-quadrado compara um conjunto de dados reais com um conjunto de resultados

esperados, em que a hipótese nula é a de que os dígitos de uma distribuição se conformam com a Lei

de Benford. O resultado calculado, para o teste dos dois primeiros dígitos, é comparado a um valor

crítico que, para os 89 graus de liberdade e 5% de significância, corresponde a 112,02.

O resultado obtido para o orçamento referencial é de 106,04 e para a planilha contratual original

é de 84,30, ambos menores que a referência estabelecida, ao passo que o mesmo teste aplicado ao

orçamento após os aditivos apresenta resultado de 652,03, muito superior ao limiar estabelecido, o

que comprova que os dados após modificação por aditivos se distanciam da Lei de Benford.

O teste MDA ignora o número de valores testados em sua fórmula, o que o difere dos anteriores

e o torna o preferido por Nigrini (Özer e Babacan, 2013) para extensos bancos de dados. Para este

teste, o orçamento referencial apresentou conformidade marginal aceitável e a planilha contratual

original apresentou conformidade aceitável, enquanto o orçamento após os aditivos foi classificado

como não conforme, o que reforça a conclusão já exposta.

A Tabela 4 a seguir apresenta os resultados dos diferentes testes quanto à conformidade à Lei de

Benford das três planilhas estudadas: o orçamento de referência, o contrato original e o contrato após

os aditivos. Vale observar o resultado curioso de que a planilha original que venceu a concorrência

encontra-se em conformidade ainda maior com a Lei de Benford do que o próprio orçamento de

referência, o que sugere que a planilha original foi elaborada sem manipulações, tendo a empresa

vencedora deixado as manipulações para serem realizadas após a vitória no processo licitatório. A

alarmante discrepância no valor calculado para o Teste Qui-quadrado, que pulou de 84,30 (bem

abaixo do limiar de referência de 112,02) para 652,03 (bem acima desse limiar), sugere que a ação

manipulativa ocorreu após o consórcio vencedor garantir para si a obra, caracterizando, pois, o jogo

de planilha.

Planilha Primeiros

dígitos-Teste Z (no. de não

conformidade)

Dois primeiros

dígitos-Teste Z (no. de não

conformidade)

Dois primeiros

dígitos-Teste Qui-

quadrado (Referência: 112,02)

Dois primeiros

dígitos-Teste

MDA

Dois primeiros

dígitos-Teste Z e

da soma (no. de categorias)

Orçamento referência 0 9 106,04

(Conforme)

Conformidade

marginal

aceitável

15

Contrato original 0 1 84,30

(Conforme)

Conformidade

aceitável 10

Após aditivos 4 12

652,03

(Altamente não

conforme)

Não-

conformidade 23

Fonte: Elaboração própria

11

Tabela 4 -Evidência de jogo de planilha: análise da conformidade com a Lei de Benford para as planilhas do orçamento

de referência, do contrato original e após os aditivos

Após a realização de todos os testes, foram selecionadas as categorias de dois primeiros dígitos

cujo teste Z resulta em valores maiores que o limiar de 1,96, com frequência de distribuição maior

que a esperada segundo a Lei de Benford, os quais são cotejados com os resultados do teste da soma

superiores ao limiar de 0,022, correspondente a duas vezes a proporção de Benford para tal teste.

Como resultado da aplicação da metodologia proposta 5 , foram selecionadas as seguintes

categorias de dois primeiros dígitos: 10, 11, 12, 14, 15, 16, 19, 22, 23, 24, 30, 31, 36, 39, 41, 45, 48,

58, 60, 61, 81, 86 e 97, que incluem 30 serviços entre os apontados como contendo preços acima dos

de mercado ou quantitativos maiores que os reais pelo TCDF, indicados na Tabela 5.

Ressalta-se, que a categoria de dois primeiros dígitos 39 foi apontada pela metodologia aplicada

como a mais crítica por ter sido identificada tanto no teste dos dois primeiros dígitos quanto no teste

da soma. Nessa categoria foram identificados cinco serviços apontados pelo TCDF que totalizaram

pelo menos R$ 20,5 milhões de sobrepreço.

Fonte: TCDF-Relatório de Auditoria n°. 01/2017 - NFO

Tabela 5 - Serviços indicados pela metodologia baseada na Lei de Benford que foram apontados como contendo preços

acima dos de mercado ou quantitativos maiores que os reais

3. CONCLUSÃO 5 As tabelas com os dados referentes a todos os testes estão disponíveis com os autores do trabalho.

Categoria de

dois dígitosDescrição dos serviços

10 MOBILIZAÇÃO

11 ARMADURA DE AÇO PARA ESTRUTURAS EM GERAL, CA-50, DIÂMETRO 16,0 MM, CORTE E DOBRA NA OBRA

11 FORNECIMENTO E APLICAÇÃO DE CONCRETO FCK=25 MPA

12 EXECUÇÃO DE TESTES E COMISSIONAMENTO DO SISTEMA DE TELEFONIA

14 EXECUÇÃO DE TESTES E COMISSIONAMENTO DO SISTEMA DE CFTV

15 FABRICAÇÃO DE PRÉ-MOLDADOS

15 IMPERMEABILIZAÇÃO DE PAREDE SUJEITA A UMIDADE DE SOLO COM ADITIVO HIDRÓFUGO E TINTA ASFÁLTICA

15 EXECUÇÃO DE TESTES DE COMISSIONAMENTO DE TODOS OS QUATRO SISTEMAS DE ENERGIA ININTERRUPTA.

16 ADICIONAL DE MÃO DE OBRA PARA SERVIÇOS NOTURNO DIRETO

16 FORNECIMENTO E APLICAÇÃO DE CONCRETO FCK=20 MPA , CONVENCIONAL, LANÇAMENTO DIRETO

16 TRANSPORTE DO MATERIAL ESCAVADO ATÉ O BOTA FORA DMT 15 KM INCLUSE ESPALHAMENTO DO MATERIAL

16EXECUÇÃO DE TESTES DE ESTANQUEIDADE COM ELABORAÇÃO DE RELATÓRIO TÉCNICO - ÁGUAS PLUVIAIS DA

COBERTURA

16 LABORATÓRIO

19 MÓDULO DE ELASTICIDADE

23 PISO CONCRETO POLIDO FOSCO E= 10CM ARMADO, CONCRETO 25MPA NO TUNEL VIP

24 VALE TRANSPORTE

24CIMBRAMENTO EM TRELIÇAS METÁLICAS, APOIADAS EM CONSOLES METÁLICOS, PARA O ANEL DE COMPRESSÃO,

INCLUSO MONTAGEM E DESMONTAGEM

24PISO CONCRETO POLIDO FOSCO ESPESSURA 10CM, CONCRETO 25MPA SOBRE TERRENO COMPACTADO - CIRCULAÇÃO

NO 3ºSS E 1ºSS

30 FORNECIMENTO, MONTAGEM E DESMONTAGEM DE CONTRAVENTAMENTO METÁLICO

30FORNECIMENTO, MONTAGEM E DESMONTAGEM DE FORMA CURVA APARENTE DE COMPENSADO PLASTIFICADO DE 18

MM COM 3 REAPROVEITAMENTOS

31 CABO ISOLADO EM EPR SEÇÃO 240 MM² - 0,6/1,0 KV- 90°C - FLEXÍVEL, CLASSE 5

31 MONTAGEM DAS GRUAS

36FORNECIMENTO, MONTAGEM E DESMONTAGEM DE FORMA PLANA APARENTE CHAPA DE COMPENSADO PLASTIFICADO

DE 18MM COM 3 REAPROVEITAMENTOS

39 CIMBRAMENTO PARA PONTE OU VIADUTO, EDIFICAÇÃO CIVIL E INDUSTRIAL, INCLUSO MONTAGEM E DESMONTAGEM

39 DEMOLIÇÃO DE CONCRETO ARMADO

39 CABO DE COBRE DE 185,0 MM², ISOLAMENTO 8,7/15 KV - ISOLAÇÃO EPR 90°C

39 EXECUÇÃO DE TESTES DE ESTANQUEIDADE COM ELABORAÇÃO DE RELATÓRIO TÉCNICO - ESGOTO

39 FORNECIMENTO E APLICAÇÃO DE AÇO CP- 177RB 15,7MM S/ CERA E S/ ENCAPAMENTO DE PEAD

45 EXECUÇÃO DE TIRANTES INCLUSIVE PERFURAÇÃO, MONTAGEM, INSTALAÇÃO, PROTENÇÃO E ENSAIOS

48 FORNECIMENTO E APLICAÇÃO DE CONCRETO DE ALTO DESEMPENHO ( CAD ) FCK=40 MPA

12

O algoritmo baseado na Lei de Benford proposto em Cunha, Bugarin e Portugal (2016) indicou

categorias de dígitos com maior probabilidade de manipulação na planilha final da obra do Estádio

Nacional de Brasília. Quando se confrontam os grupos com maior probabilidade de ocorrência de

manipulação na obra do Estádio Nacional de Brasília com os serviços apontados como contendo

superfaturamento pelo TCDF, mostra-se que, tanto a metodologia tradicional de utilização da Curva

ABC para a seleção da amostra de serviços que representa mais de 80% do orçamento da obra, quanto

a utilização da Lei de Benford indicam, em sua maioria, os mesmos serviços para análise aprofundada

da auditoria no caso concreto. Dessa forma, esse trabalho demonstrou que o algoritmo baseado na

Lei de Benford previsto na Cartilha do Ibraop pode ser também utilizado para apurar a ocorrência de

“jogo de planilha”, como excelente ferramenta de otimização dos trabalhos de auditoria.

Naturalmente, é importante ressaltar que nem a metodologia tradicional nem a nova metodologia

são peremptórias na indicação dos serviços com fraude. Esse apontamento decorre da análise detida

de cada serviço, como realizado previamente pelo TCDF, o que viabiliza a conclusão sobre a

existência de “jogo de planilha”.

Feita essa ressalva, percebe-se no presente estudo que um método reforçou o outro ao indicarem

a manipulação da planilha da obra após a realização dos aditivos, quebrando a equação econômico-

financeira e confirmando o “jogo de planilha” na obra de construção do Estádio Nacional de Brasília.

Existem vários argumentos para a utilização da metodologia baseada na Lei de Benford. Do ponto

de vista prático, como já destacado pela cartilha, está a possibilidade de não serem agregados serviços

de mesma natureza, não demandando um trabalho prévio na extensa planilha de obras dessa natureza.

Do ponto de vista teórico, a possibilidade de aplicação prévia de uma metodologia baseada em uma

regularidade estatística universal permite uma seleção objetiva de um número reduzido de itens a

serem auditados com maior possibilidade estatística de manipulação. O confronto entre a metodologia

tradicional e a metodologia baseada na Lei de Benford dá maior segurança à evidência encontrada de

manipulação do tipo “jogo de planilha” ao longo da execução da obra pública, o que reforça a

importância do acompanhamento de cada uma das alterações contratuais.

Como natural extensão da análise aqui desenvolvida, surge a proposta de se avaliar, por meio da

metodologia estatística oferecida em Cunha, Bugarin e Portugal (2016), como evolui a evidência de

“jogo de planilha” ao longo dos diferentes aditivos ao contrato original, classificando, por meio do

teste do Qui-quadrado, por exemplo, a evolução de tal indicativo.

Bibliografia

Acórdãos TCU 1.090/2001-Plenário, 467/2015-Plenário, 1.153/2015-1ª Câmara e 349/2014-Plenário, disponível em

https://contas.tcu.gov.br/pesquisaJurisprudencia/#/. Acesso em 23 set. 2018.

BENFORD, F. The law of anomalous numbers. Proceedings of the American Philosophical Society 78 (4), 1938, p. 551-

572.

BUGARIN, M. S. e CUNHA, F. C. A didactic note on the use of Benford’s Law in public works auditing, with an

application to the construction of Brazilian Amazon Arena 2014 World Cup soccer stadium. Economia (Yokohama) 66

(1): 23-55, 2015.

_____ Lei de Benford aplicada à auditoria da reforma do Aeroporto Internacional de Minas Gerais. Revista do Serviço

Público, v. 68, n. 4, p. 915-940, out/dez 2017.

CAFÉ, R. M. e BUGARIN, M. Uma proposta metodológica para a auditoria de obras públicas no Distrito Federal. Texto

para Discussão no. 30/agosto de 2017. Disponível em: http://www.codeplan.df.gov.br/wp-content/uploads/2018/02

/TD_30_Uma_Proposta_Metodol%C3%B3gica_para_Auditoria_em_Obras_P%C3%BAblicas_no_DF.pdf.

CUNHA, F. C. e BUGARIN, M. S. Lei de Benford para a Auditoria de Obras Públicas: Análise de Sobrepreço na

Construção da Arena da Amazônia. Boletim de Licitações e Contratos (BLC/NDJ), 28(8): 841-857, 2015.

CUNHA, F. C. e BUGARIN, M. S. Benford’s Law for audit of public works: an analysis of overprincing in Maracanã

soccer arena’s renovation. Economic Bulletin, v. 35, p. 1168-1176, 2015.

13

CUNHA, F. C., BUGARIN, M. S. e PORTUGAL, A. C. Seleção de amostra de auditoria de obras públicas pela lei de

Benford: versão estendida. São Paulo: IBRAOP, 2016. Disponível em:

http://www.ibraop.org.br/Publicacoes/CartilhaBenford/Cartilha/assets/basic-html/page-1.html#. Acesso em 23 set. 2018.

FILHO, R. N. A. Fraude em licitações e a Lei de Benford: aplicação em perícias de engenharia civil da PF. In: Seminário

de Perícias de Engenharia da Polícia Federal, 8, 2016, Maceió. Anais… Maceió, 2016.

Decisões TCDF nº 738/2015, 2.344/2014, 2.974/2017, 4.943/2017 e 4.463/2017.

Disponível em: https://www.tc.df.gov.br/4-consultas/consultas/. Acesso em 23 set. 2018.

NEWCOMB, S. Note on the frequency of the different digits in natural numbers. The American Journal of Mathematics,

Vol. 4, 39-40. 1881.

NIGRINI, M. Benford's Law: Applications for Forensic Accounting, Auditing, and Fraud Detection. Wiley.com, 2012.

TCDF-RELATÓRIO FINAL DE AUDITORIA N°. 01/2017 – NFO, constante do Processo nº 29.565/2013, que pode ser

consultado em https://www.tc.df.gov.br/4-consultas/consultas/. Acesso em 23 set. 2018.

ÖZER, G.; BABACAN, B. Benford’s Law and Digital Analysis: Application on Turkish Banking Sector. Business and

Economics Research Journal, v. 4(1), p. 1-29, 2013.

The Economics and Politics (CNPq) Research Group started publishing its members’ working papers on June 12, 2013. Please check the list below and click at

http://econpolrg.com/working-papers/ to access all publications.

Number Date Publication

92/2018 12-04-2018 Aplicação da Lei de Benford na Detecção de Jogo de Planilha: O Caso do Estádio Nacional de Brasília, Carlos Alberto Cascão Júnior, Adriana Cuoco Portugal, Mauricio Soares Bugarin and Flávia Ceccato Cunha

91/2018 11-21-2018 Where’d You Get that Idea? Determinants of Creativity and Impact in Popular Music, Bernardo Mueller

90/2018 11-12-2018 A Previdência Complementar é, de fato, Complementar?, Marcos Nihari and Vander Lucas

89/2018 11-05-2018 Sobre Falácias de Moro, Nelson Gonçalves Gomes

88/2018 10-29-2018 Eficiência financeira das concessões de aeroportos no Brasil no período de 2015 a 2016, João Paulo de Castro Carisio Ribeiro, Marcelo Driemeyer Wilbert and Samuel de Resende Salgado

87/2018 10-19-2018 Leilões para conversão de dívida em investimento: Uma proposta da teoria de leilões para implantação dos Termos de Ajuste de Conduta (TAC) da ANATEL, Hélio Maurício Miranda da Fonseca and Maurício Soares Bugarin

86/2018 10-08-2018 Redistribution in Contemporary Japan: A Political Economy Analysis of Ide, Furuichi and Miyazaki (2016)’s “All for All” Fiscal Reform Proposal, Maurício Bugarin

85/2018 08-08-2018 Gestão Fiscal e Despesa de Pessoal: Análise dos Gastos Públicos Estaduais entre 2008 e 2016, Marcos Lima Bandeira, Paulo Augusto P. de Britto and André Luiz Marques Serrano

84/2018 07-11-2018 Atuação do poder legislativo estadual: análise dos incentivos dos deputados estaduais na atividade legislativa, Débora Costa Ferreira, Fernando B. Meneguin and Maurício Soares Bugarin

83/2018 07-04-2018 Eficiência, atratividade e dissuasão de acordos de leniência e combate à corrupção: o caso da Operação Lava-Jato, Rafael M. Gomes, Roberto H. de Aragão Neto, Maurício S. Bugarin and André L. Gama

82/2018 06-28-2018 Ciclos Políticos e Eleitorais na Execução do Programa Bolsa Família em Nível Municipal, Tiago Sousa Pereira, Moisés A. Resende Filho and Vander Mendes Lucas

81/2018 06-20-2018 Análise do IBS como Proposta de Reforma Tributária. Um Estudo Aplicado de Equilíbrio Geral Computável, Nathanael Pereira Costa and Vander Mendes Lucas

80/2017 09-27-2017 Impacto do Programa Ensino Médio Inovador em indicadores educacionais, Luís Felipe Batista de Oliveira and Rafael Terra

79/2017 09-14-2017 Uma Avaliação da Política de Privatização de Aeroportos Brasileira: Uma Abordagem por Controle Sintético, Caio Cordeiro de Resende

78/2017 08-30-2017 Tecnologia e Desempenho Escolar: Uma Avaliação de Impacto do Programa Um Computador por Aluno, Caio Cordeiro de Resende and Ana Carolina Zoghbi

77/2017 08-23-2017 Desregulamentação da franquia de bagagem despachada no Brasil: Uma Análise de Impacto Regulatório, Débora Alves Pereira Bastos, Rodrigo César Bessoni e Silva and Vander Mendes Lucas

76/2017 08-16-2017 Análise de Eficiência das IFES no Uso de Recursos Financeiros 2010-2015, Antonio Marcos Correia Melonio and Vander Mendes Lucas

75/2017 08-09-2017 Royalties do petróleo, reeleição e ciclos políticos: um estudo econométrico para as eleições, Eduardo Dornelas Munhoz e Moisés de Andrade Resende Filho

74/2017 08-02-2017 Responsabilidade fiscal, a atuação do Poder Judiciário e o comportamento estratégico dos governantes, Débora Costa Ferreira, Fernando B. Meneguin and Maurício Soares Bugarin

73/2017 07-26-2017 Sustentabilidade da Dívida dos Estados Brasileiros: 2005-2015, Hiromi Cristina Santos Doi and Vander Mendes Lucas

72/2017 07-19-2017 Hotelling’s product differentiation: an infinite-dimensional linear programming approach, Rodrigo Peñaloza

71/2017 06-16-2017 Escola japonesa ou escola brasileira? A inserção dos estudantes brasileiros na escola no Japão, Maurício Soares Bugarin

Number Date Publication

70/2017 04-17-2017 How the East was Lost: Coevolution of Institutions and Culture in the 16th Century Portuguese Empire, Bernardo Mueller

69/2017 04-10-2017 A reforma política sob o ponto de vista da análise econômica do direito, Pedro Fernando Nery and Fernando B. Meneguin

68/2016 07-14-2016 O dilema entre a eficiência de curto e de longo prazo no ordenamento jurídico e o impacto no crescimento econômico, Fernando B. Meneguin and Tomás T. S. Bugarin

67/2016 05-04-2016 A estrutura de capital de empresas brasileiras de capital aberto: uma análise de seus determinantes, João Pedro Bertani Catrib, Paulo Augusto P. de Britto and André Luiz Marques Serrano

66/2016 04-20-2016 Tests for history dependence in mixed-Poisson growth: Brazil, 1822-2000, and USA, 1869-1996, with an estimate of the world mixing distribution at start-up, Steve De Castro and Flávio Gonçalves

65/2016 04-13-2016 Piketty’s Prediction meets technical progress in Harrod-Domar’s Dynamics and Solow Swan’s Surrogate, Steve De Castro

64/2016 04-06-2016 Análise do impacto da alteração normativa na aposentadoria por invalidez no Brasil, Helvio Antonio Pereira Marinho, Moises de Andrade Resende Filho and Vander Mendes Lucas

63/2016 03-30-2016 Black movement: Estimating the effects of affirmative action in college admissions on education and labor market outcomes, Andrew Francis-Tan and Maria Tannuri-Pianto

62/2016 01-13-2016 Electronic voting and Social Spending: The impact of enfranchisement on municipal public spending in Brazil, Rodrigo Schneider, Diloá Athias and Maurício Bugarin

61/2015 12-02-2015 Alunos de inclusão prejudicam seus colegas? Uma avaliação com dados em painel de alunos da rede municipal de São Paulo, Bruna Guidetti, Ana Carolina Zoghbi and Rafael Terra

60/2015 12-02-2015 Impacto de programa Mais Educação em indicadores educacionais, Luís Felipe Batista de Oliveira and Rafael Terra

59/2015 10-21-2015 Eficiência de custos operacionais das companhias de distribuição de energia elétrica (CDEEs) no Brasil: Uma aplicação (DEA & TOBIT) em dois estágios, Daniel de Pina Fernandes and Moisés de Andrade Resende Filho

58/2015 10-14-2015 Determinantes do risco de crédito rural no Brasil: uma crítica às renegociações da dívida rural, Lucas Braga de Melo and Moisés de Andrade Resende Filho

57/2015 10-07-2015 Distribuição da riqueza no Brasil: Limitações a uma estimativa precisa a partir dos dados tabulados do IRPF disponíveis, Marcelo Medeiros

56/2015 10-01-2015 A composição da desigualdade no Brasil. Conciliando o Censo 2010 e os dados do Imposto de Renda, Marcelo Medeiros, Juliana de Castro Galvão and Luísa Nazareno

55/2015 09-24-2015 A estabilidade da desigualdade no Brasil entre 2006 e 2012: resultados adicionais, Marcelo Medeiros and Pedro H. G. F. Souza

54/2015 09-24-2015 Reciclagem de plataformas de petróleo: ônus ou bônus?, Roberto N. P. di Cillo

53/2015 09-09-2015 A Progressividade do Imposto de Renda Pessoa Física no Brasil, Fábio Castro and Mauricio S. Bugarin

52/2015 07-03-2015 Measuring Parliaments: Construction of Indicators of Legislative Oversight, Bento Rodrigo Pereira Monteiro and Denílson Banderia Coêlho

51/2015 06-29-2015 A didactic note on the use of Benford’s Law in public works auditing, with an application to the construction of Brazilian Amazon Arena 2014 World Cup soccer stadium, Mauricio S. Bugarin and Flavia Ceccato Rodrigues da Cunha

50/2015 04-29-2015 Accountability and yardstick competition in the public provision of education, Rafael Terra and Enlinson Mattos

49/2015 04-15-2015 Understanding Robert Lucas (1967-1981), Alexandre F. S. Andrada

48/2015 04-08-2015 Common Labor Market, Attachment and Spillovers in a Large Federation, Emilson Caputo Delfino Silva and Vander Mendes Lucas

47/2015 03-27-2015 Tópicos da Reforma Política sob a Perspectiva da Análise Econômica do Direito, Pedro Fernando Nery and Fernando B. Meneguin

46/2014 12-17-2014 The Effects of Wage and Unemployment on Crime Incentives - An Empirical Analysis of Total, Property and Violent Crimes, Paulo Augusto P. de Britto and Tatiana Alessio de Britto

Number Date Publication

45/2014 12-10-2014 Políticas Públicas de Saúde Influenciam o Eleitor?, Hellen Chrytine Zanetti Matarazzo

44/2014 12-04-2014 Regulação Ótima e a Atuação do Judiciário: Uma Aplicação de Teoria dos Jogos, Maurício S. Bugarin and Fernando B. Meneguin

43/2014 11-12-2014 De Facto Property Rights Recognition, Labor Supply and Investment of the Poor in Brazil, Rafael Santos Dantas and Maria Tannuri-Pianto

42/2014 11-05-2014 On the Institutional Incentives Faced by Brazilian Civil Servants, Mauricio S. Bugarin and Fernando B. Meneguin

41/2014 10-13-2014 Uma Introdução à Teoria Econômica da Corrupção: Definição, Taxonomia e Ensaios Selecionados, Paulo Augusto P. de Britto

40/2014 10-06-2014 Um modelo de jogo cooperativo sobre efeitos da corrupção no gasto público, Rogério Pereira and Tatiane Almeida de Menezes

39/2014 10-02-2014 Uma análise dos efeitos da fusão ALL-Brasil Ferrovias no preço do frete ferroviário de soja no Brasil, Bruno Ribeiro Alvarenga and Paulo Augusto P. de Britto

38/2014 08-27-2014 Comportamentos estratégicos entre municípios no Brasil, Vitor Lima Carneiro & Vander Mendes Lucas

37/2014 08-20-2014 Modelos Microeconômicos de Análise da Litigância, Fa ́bio Avila de Castro

36/2014 06-23-2014 Uma Investigação sobre a Focalização do Programa Bolsa Família e seus Determinantes Imediatos. André P. Souza, Plínio P. de Oliveira, Janete Duarte, Sérgio R. Gadelha & José de Anchieta Neves

35/2014 06-22-2014 Terminais de Contêineres no Brasil: Eficiência Intertemporal. Leopoldo Kirchner and Vander Lucas

34/2014 06-06-2014 Lei 12.846/13: atrai ou afugenta investimentos? Roberto Neves Pedrosa di Cillo

33/2013 11-27-2013 Vale a pena ser um bom gestor? Comportamento Eleitoral e Reeleição no Brasil, Pedro Cavalcante

32/2013 11-13-2013 A pressa é inimiga da participação (e do controle)? Uma análise comparativa da implementação de programas estratégicos do governo federal, Roberto Rocha C. Pires and Alexandre de Avila Gomide

31/2013 10-30-2013 Crises de segurança do alimento e a demanda por carnes no Brasil, Moisés de Andrade Resende Filho, Karina Junqueira de Souza and Luís Cristóvão Ferreira Lima

30/2013 10-16-2013 Ética & Incentivos: O que diz a Teoria Econômica sobre recompensar quem denuncia a corrupção? Maurício Bugarin

29/2013 10-02-2013 Intra-Village Expansion of Welfare Programs, M. Christian Lehmann

28/2013 09-25-2013 Interações verticais e horizontais entre governos e seus efeitos sobre as decisões de descentralização educacional no Brasil, Ana Carolina Zoghbi, Enlinson Mattos and Rafael Terra

27/2013 09-18-2013 Partidos, facções e a ocupação dos cargos de confiança no executivo federal (1999-2011), Felix Lopez, Mauricio Bugarin and Karina Bugarin

26/2013 09-11-2013 Metodologias de Análise da Concorrência no Setor Portuário, Pedro H. Albuquerque, Paulo P. de Britto, Paulo C. Coutinho, Adelaida Fonseca, Vander M. Lucas, Paulo R. Lustosa, Alexandre Y. Carvalho and André R. de Oliveira

25/2013 09-04-2013 Balancing the Power to Appoint officers, Salvador Barberà and Danilo Coelho

24/2013 08-28-2013 Modelos de Estrutura do Setor Portuário para Análise da Concorrência, Paulo C. Coutinho, Paulo P. de Britto, Vander M. Lucas, Paulo R. Lustosa, Pedro H. Albuquerque, Alexandre Y. Carvalho, Adelaida Fonseca and André Rossi de Oliveira

23/2013 08-21-2013 Hyperopic Strict Topologies, Jaime Orillo and Rudy José Rosas Bazán

22/2013 08-14-2013 Há Incompatibilidade entre Eficiência e Legalidade? Fernando B. Meneguin and Pedro Felipe de Oliveira Santos

21/2013 08-07-2013 A Note on Equivalent Comparisons of Information Channels, Luís Fernando Brands Barbosa and Gil Riella

20/2013 07-31-2013 Vertical Integration on Health Care Markets: Evidence from Brazil, Tainá Leandro and José Guilherme de Lara Resende

19/2013 07-24-2013 A Simple Method of Elicitation of Preferences under Risk, Patrícia Langasch Tecles and José Guilherme de Lara Resende

18/2013 07-17-2013 Algunas Nociones sobre el Sistema de Control Público en Argentina con Mención al Caso de los Hospitales Públicos de la Provincia de Mendoza, Luis Federico Giménez

Number Date Publication

17/2013 07-10-2013 Mensuração do Risco de Crédito em Carteiras de Financiamentos Comerciais e suas Implicações para o Spread Bancário, Paulo de Britto and Rogério Cerri

16/2013 07-03-2013 Previdências dos Trabalhadores dos Setores Público e Privado e Desigualdade no Brasil, Pedro H. G. F. de Souza and Marcelo Medeiros

15/2013 06-26-2013 Incentivos à Corrupção e à Inação no Serviço Público: Uma análise de desenho de mecanismos, Maurício Bugarin and Fernando Meneguin

14/2013 06-26-2013 The Decline in inequality in Brazil, 2003–2009: The Role of the State, Pedro H. G. F. de Souza and Marcelo Medeiros

13/2013 06-26-2013 Productivity Growth and Product Choice in Fisheries: the Case of the Alaskan pollock Fishery Revisited, Marcelo de O. Torres and Ronald G. Felthoven

12/2013 06-19-2003 The State and income inequality in Brazil, Marcelo Medeiros and Pedro H. G. F. de Souza

11/2013 06-19-2013 Uma alternativa para o cálculo do fator X no setor de distribuição de energia elétrica no Brasil, Paulo Cesar Coutinho and Ângelo Henrique Lopes da Silva

10/2013 06-12-2013 Mecanismos de difusão de Políticas Sociais no Brasil: uma análise do Programa Saúde da Família, Denilson Bandeira Coêlho, Pedro Cavalcante and Mathieu Turgeon

09/2013 06-12-2103 A Brief Analysis of Aggregate Measures as an Alternative to the Median at Central Bank of Brazil’s Survey of Professional Forecasts, Fabia A. Carvalho

08/2013 06-12-2013 On the Optimality of Exclusion in Multidimensional Screening, Paulo Barelli, Suren Basov, Mauricio Bugarin and Ian King

07/2013 06-12-2013 Desenvolvimentos institucionais recentes no setor de telecomunicações no Brasil, Rodrigo A. F. de Sousa, Nathalia A. de Souza and Luis C. Kubota

06/2013 06-12-2013 Preference for Flexibility and Dynamic Consistency, Gil Riella

05/2013 06-12-2013 Partisan Voluntary Transfers in a Fiscal Federation: New evidence from Brazil, Mauricio Bugarin and Ricardo Ubrig

04/2013 06-12-2013 How Judges Think in the Brazilian Supreme Court: Estimating Ideal Points and Identifying Dimensions, Pedro F. A. Nery Ferreira and Bernardo Mueller

03/2013 06-12-2013 Democracy, Accountability, and Poverty Alleviation in Mexico: Self-Restraining Reform and the Depoliticization of Social Spending, Yuriko Takahashi

02/2013 06-12-2013 Yardstick Competition in Education Spending: a Spatial Analysis based on Different Educational and Electoral Accountability Regimes, Rafael Terra

01/2013 06-12-2013 On the Representation of Incomplete Preferences under Uncertainty with Indecisiveness in Tastes, Gil Riella