Dados do Trabalho

Título

PROCEDIMENTO DE AUDITORIA PARA BASES VOLUMOSAS DE DADOS

Resumo

O uso de metodologias regulatórias fortemente baseadas em indicadores exige que as agências estruturem mecanismos para auditar dados envolvendo milhões de observações. Não sendo possível utilizar o método estatístico ou a certificação Acertar, pode-se unir características de ambos para estruturar um procedimento de auditoria em 3 fases (consistência, confiança e exatidão), passível de ser realizado com equipe reduzida e num curto espaço de tempo, mas mantendo a robustez. O procedimento resultante estrutura-se em níveis de criticidade, escalando de amostragens não probabilísticas intencionais para uma análise populacional. Em sua aplicação inicial, o procedimento corrigiu em 64% o resultado de uma parcela do cálculo tarifário, gerando retorno de R$ 13 milhões aos usuários. Com alguma adaptação, este procedimento pode ser aplicado a diversas necessidades, constituindo-se interessante opção aos reguladores.

Palavras Chave

Indicadores. Auditoria de dados. Amostragem. Certificação Acertar.

Introdução/Objetivos

A regulação brasileira do setor de saneamento básico atrelou-se, predominantemente, à tradicional metodologia baseada em norma e sanção; contudo, conforme a maturidade regulatória se amplia, outros aparatos metodológicos, como a regulação por exposição (Sunshine) e a regulação por menus, começam a ser utilizados para resolver problemas especiais. Em comum, o uso massivo de indicadores para controlar eventos, exigindo a capacidade de auditar bancos de dados com milhões de informações para garantir a confiabilidade dos resultados.
A experiência de nossa agência reguladora com o fator y tarifário construído sobre a base da regulação por menus se apresenta como exemplo desta diversificação nos caminhos metodológicos e da necessidade de auditoria. O fator y é composto por 04 indicadores que intentam garantir que o aumento de eficiência (num contexto de regulação por incentivos) não se dará ao custo da qualidade da prestação, podendo gerar bônus ou ônus tarifário, conforme o prestador supere ou não uma determinada meta por ele selecionada a partir de um menu de possibilidades apresentado pela agência reguladora.
O fato de impactar diretamente a tarifa exigiu do regulador a capacidade de garantir que o resultado não fosse contaminado por fatores externos ou por manipulações da base de dados, obrigando o desenvolvimento de um processo de auditoria que adaptasse aos seus recursos a teoria de amostragem probabilística e não probabilística, a definição dos intervalos de confiança e os critérios para definição de criticidade amostral, e que, ao mesmo tempo, fosse convergente com a metodologia de certificação Acertar, já que se pretendia garantir a sinergia dos trabalhos (auditoria fator y e certificação Acertar).
O produto gerado foi um procedimento escalonável e flexível estruturado em três fases principais (consistência, confiança e exatidão), podendo ser realizado com razoáveis prazo e equipe, garantindo a robustez nos resultados. No primeiro ano de aplicação, esta metodologia incidiu um reajuste de 64% no resultado incialmente calculado para o fator y, gerando retorno de 13 milhões para os usuários, sem qualquer contestação por parte do prestador.

Metodologia

Ao se definir os 4 indicadores que comporiam o fator y, verificou-se que se referiam a serviços com elevada assimetria de informação. Neste contexto de incerteza, um problema se apresentou: como auditar resultados, considerando os reduzidos recursos à disposição do projeto? Auditar toda a base de dados seria impraticável (apenas as observações relacionadas a um indicador somavam milhões); considerar o método estatístico para definição de amostra geraria quantidades de observações incompatíveis com prazo e equipe disponíveis (mesmo com menores níveis de confiança); por outro lado, a metodologia de certificação Acertar não abordava nossos indicadores e variáveis, impossibilitando sua absorção direta. Como solução, estruturou-se um processo de auditoria baseada em 3 fases (adaptando o Acertar):
a. Fase de Consistência: realizada nos 30 dias entre o recebimento dos dados e a publicação do fator y. Ao receber a base de dados, selecionam-se as observações com maiores desvios em relação aos valores esperados (considerando a tendência histórica de cada variável), ou seja, valores aberrantes ou outliers, que são confrontados com novas extrações realizadas no sistema do prestador. O objetivo desta fase é evitar erros grosseiros de lançamento que possam impactar o cálculo.
b. Fase de Confiança: realizada após a publicação do resultado e baseada no Acertar. Identificam-se os processos de controle das variáveis utilizadas no cálculo do fator y, procurando garantir a solidez dos protocolos de arquivamento e extração das informações. Nesta fase, é crucial a exploração dos sistemas do prestador, pois clarear as fragilidades sistêmicas ajudará a definir as amostras para exatidão. Nesta fase, o objetivo é garantir que alterações indevidas na base são improváveis.
c. Fase de Exatidão: realizada após a fase de confiança e também adaptada do Acertar. Devido à complexidade, dividiu-se em 4 tarefas:
i. Definição de criticidade: não sendo possível trabalhar com amostras probabilísticas devido à quantidade de observações, definiu-se municípios críticos para auditoria. Processo similar ao utilizado na fase de consistência, porém com projeções mais refinadas, baseadas em séries temporais, tendências históricas, regressões ou outros cálculos que permitissem estimar o valor provável; além destes cálculos, avaliações do comportamento da série histórica para identificar inversões de tendência ou outros comportamentos inesperados auxiliam a compor a amostra não probabilística intencional.
ii. Definição da amostragem: define-se as variáveis primárias reais, cabendo ao regulador identificar quais comportamentos podem aumentar ou reduzir o valor da variável; por exemplo: um determinado indicador é resultado da razão entre ligações factíveis de esgoto e ligações ativas de esgoto, contudo, estas não são variáveis primárias! A diferença entre a quantidade de ligações factíveis entre dois períodos é afetada pela quantidade de ligações ativadas, de ligações factíveis alteradas para não factíveis, de novas ligações factíveis, de ligações não factíveis alteradas para factíveis, de ligações de água suprimidas; ao mesmo tempo, a diferença do número de ligações ativas entre dois períodos é a subtração de novas ligações ativas e de ligações suprimidas. Portanto, estas seriam as variáveis primárias reais a serem auditadas.
iii. Definição da integridade: definidos os municípios da amostra e as informações que serão solicitadas (i e ii), se faz necessário garantir que o banco de dados recebido é integro, auditando amostras de documentos físicos (ordens de serviço, protocolos de atendimento, cópias de telas de sistemas, etc) que devem espelhar as informações do banco. Nesta tarefa, deve-se evitar o viés da amostra e o uso da NBR 5426/85 - Planos de amostragem e procedimentos na inspeção por atributos mostrou-se valiosa, pois garantiu a validade estatística do processo, porém com quantidades menores de observações.
iv. Comparação de resultados: recebidas as variáveis primárias e garantida a integridade do banco, realiza-se a comparação entre o valor informado para cálculo do fator y e o encontrado na auditoria. Se o resultado encontrado estiver dentro de uma margem de erro amostral, aprova-se o valor, caso contrário, (a) expande-se a avaliação para uma nova amostra probabilística (portanto passível de extrapolação para a população) ou diretamente para toda a população, (b) calcula-se novamente o valor de cada variável e (c) reajusta-se o valor final do fator y na proporção dos desvios encontrados.
O fato de ser procedimento escalonável permite que o regulador adeque a quantidade de observações auditadas conforme sua necessidade. Além disso, quando necessário ampliar a quantidade de amostras (para o limite populacional), esta expansão tende a ser acompanhada pela redução das variáveis em observação, o que equilibra o custo do trabalho e permite maior assertividade da auditoria.

Resultados e Discussão

No primeiro ano de aplicação da auditoria, corrigiu-se o resultado de dois indicadores (1 e 2) do cesto do fator y, conforme tabela abaixo:
Indicador Meta Resultado Inicial Impacto Tarifário Inicial (%) Resultado Reajustado Impacto Tarifário Reajustado (%)
1 1,12 0,97 +0,245 1,15 0,00
2 7,02 7,22 0,00 7,42 -0,06
3 28,19 36,28 -0,610 36,28 -0,610
4 13,68 15,48 -0,110 15,48 -0,110

Esta correção reajustou o impacto tarifário do fator y de -0,1188% para -0,1950% (o impacto tarifário total é calculado como a soma dos impactos parciais dividido por 4), convertendo-se numa devolução de R$ 13 milhões a favor do usuário. A robustez do processo configurou um resultado final sem questionamentos por parte do prestador.
Além do reajuste, o aprendizado proporcionado pelo processo de auditoria reduziu a assimetria de informação entre regulador e regulado, permitindo a atualização de todos os indicadores para o novo ciclo tarifário, além de ampliar a segurança e confiabilidade dos resultados. Soma-se a estes o fato de o processo de auditoria ser convergente com o Acertar, possibilitando o uso de técnicas comuns a todos os reguladores, ainda que com algumas adaptações para as necessidades específicas.

Conclusão

Em um cenário no qual avançam as metodologias regulatórias baseadas no controle por indicadores, edificar processos de auditoria de dados se torna essencial para garantir a qualidade dos resultados. O uso direto das teorias estatísticas podem apresentar dificuldades, considerando o reduzido corpo técnico disponível para estas atividades; da mesma forma, o uso direto da metodologia Acertar pode não ser possível, o que obriga um exercício de adaptação para a realidade do prestador.
O processo de auditoria apresentado neste trabalho foi uma primeira incursão da nossa agência reguladora na avaliação estruturada de dados, rendendo excelentes resultados e se apresentando como um formato possível de ser adaptado às mais diversas necessidades, pelo que, espera-se, possa ser útil para outras agências.

Referências Bibliográficas

AGÊNCIA X. Parecer Técnico: auditoria de confiança dos processos. Disponível em: <http://www.AGÊNCIAX.gov.br/Documentosgerais/Arquivo_2-Parecer_Tecnico_Auditoria_Confianc%CC%A7a%C2%ADIGQ.pdf>. Acesso em: 01 jun. 2021.
AGÊNCIA X. Parecer Técnico: auditoria de consistência. Disponível em: <http://www.AGÊNCIAX.gov.br/Documentosgerais/Arquivo_3-PARECER_TECNICO_AUDITORIA_DE_VALORES_DISCREPANTES_IGQ.pdf>. Acesso em: 10 jun. 2021.
AGÊNCIA X. Parecer Técnico: auditoria de exatidão. Disponível em: <http://www.AGÊNCIAX.gov.br/Documentosgerais/PARECER_TEC_S_0039_2020.pdf>. Acesso em: 10 jun. 2021.
Metodologia Acertar: Associação Brasileira de Agências de Regulação. Acertar Brasil, 2021. Disponível em: < http://www.acertarbrasil.com/metodologia>. Acesso em: 10 de jun. de 2021.

Área

Temas Transversais: Aspectos Jurídicos e Institucionais da Regulação; Transparência e Controle Social; Melhoria da Qualidade da Regulação; Governança Regulatória; Análise de Impacto Regulatório