Dados do Trabalho

Título

PROCESSO AVALIATIVO DA AGENCIA REGULADORA MUNICIPAL: CONTRIBUIÇAO A INTEGRAÇAO DE GESTAO, GOVERNANÇA E REGULAÇAO.

Resumo

A integração do setor do saneamento com o de recursos hídricos no Brasil foi inaugurada com a Lei
nº 9.433/1997, que criou a Política Nacional de Recursos Hídricos. Porém as diferenças de natureza
gerencial, física e tecnológica entre os sistemas de gestão de recursos hídricos e gestão do saneamento
podem justificar um tratamento regulatório distinto, mas não desigual e tampouco dispersados um do
outro, devendo suas ações serem pautadas nos fundamentos alinhados às diretrizes nacionais e
internacionais para ampliar capacidade de desenvolvimento sócio econômico e de justiça ambiental.
O presente trabalho tem por fim, efetuar a aplicação de um método de avaliação para auxiliar o
processo evolutivo de qualidade e eficiência operacional da AGÊNCIA REGULADORA
MUNICIPAL quanto aos quesitos de eficiência e eficácia da regulação e governança da prestação
dos serviços de saneamento. A pesquisa foi dividida em 04 etapas que permitem uma visão abrangente
da execução do trabalho. O referencial teórico aponta características da gestão de Recursos Hídricos,
os conceitos sobre a regulação como instrumento de Gestão de Recursos Hídricos, além de abordar o
papel das agências reguladoras nesse processo de gestão integrada. São feitos apontamentos sobre o
conceito do uso de indicadores e aplicabilidade na avaliação de desempenho. A metodologia da
pesquisa descreve, a escolha do modelo avaliativo com base em outros já propostos e as devidas
adaptações necessárias às condições do estudo. Como resultados do processo, o estudo apresenta 05
dimensões propostas para a avaliação da agência foco da avaliação. Para cada uma destas dimensões
propostas foram desenvolvidos 05 indicadores cuja atribuição de valor variou de 0 a 1. Os indicadores
foram avaliados por membros do setor de regulação no formato de um questionário contendo as fichas
com a métrica de cada um dos indicadores, sendo considerados especificamente no caso da
implantação da AGÊNCIA REGULADORA MUNICIPAL. As notas obtidas e a mensuração dos
resultados obtidos no processo de avaliação foram contrastadas, com resultados de estudos recentes
sobre a percepção das agências reguladoras infranacionais quanto à atualização do marco regulatório,
o novo papel da Agência Nacional de Águas e Saneamento – ANA, além de apontar as fortalezas e
desafios das agências para com as necessidades regulatórias da nova legislação. O produto desse estudo pode trazer subsídios para o fortalecimento das Agências Reguladoras Infranacionais e da
própria regulação como instrumento de gestão integrada.

Palavras Chave

Avaliação. Desempenho. Regulação. Indicadores. Recursos Hídricos.
Saneamento. Agências Reguladoras.

Introdução/Objetivos

As diferenças de natureza gerencial, física e tecnológica entre os sistemas de gestão de recursos
hídricos e gestão do saneamento podem justificar um tratamento regulatório distinto, porém não
desigual e tampouco dispersados um do outro, devendo suas ações serem pautadas nos fundamentos
alinhados às diretrizes nacionais e internacionais para ampliar capacidade de desenvolvimento sócio
econômico e de justiça ambiental.
Em seu trabalho científico (JANNUZZI, 2005) indica que, no campo aplicado das políticas públicas,
os indicadores são medidas usadas para permitir a operacionalização de um conceito abstrato ou de
uma demanda de interesse programático.
A relevância para a agenda político-social é primaria e fundamentalmente desenhada ao uso de
indicadores que, são apropriados em um determinado sistema de formulação e avaliação de
programas na medida em que podem responder à demanda de monitoramento da agenda
governamental das prioridades definidas na área nas últimas décadas.
Na visão da (OCDE, 2015), por exemplo, os resultados do setor público caracterizam-se, dentre
outros, pela qualidade dos bens e serviços entregues à sociedade por intermédio de ações alocativas,
pela regulação do mercado e pelo seu próprio desempenho, capazes de assegurar a convergência dos
meios na direção dos objetivos a alcançar.
E essa experiência na demanda de monitoramento é buscada no âmbito nacional quando a ANA que
arregimenta que avaliará as melhores práticas regulatórias do setor de recursos hídricos e saneamento,
ouvidas as entidades 10 encarregadas da regulação e da fiscalização e as entidades representativas
dos Municípios (BRASIL, 2020).
A proposta deste trabalho científico/profissional justifica-se, ao tratar-se de uma proposição de um
conjunto de indicadores de desempenho que podem ser usados tais como são, completos, ou
simplificados para satisfazer necessidades específicas da AGÊNCIA REGULADORA MUNICIPAL
e demais usuários como outras agências reguladoras ou unidades de organização.

O presente trabalho teve por fim, efetuar a aplicação de um método de avaliação para auxiliar o
processo evolutivo de qualidade e eficiência operacional da agência reguladora municipal quanto aos
quesitos de eficiência e eficácia da regulação e governança da prestação dos serviços de
abastecimento hídrico e esgotamento sanitário.

OBJETIVOS ESPECÍFICOS
Realizar a avaliação objetiva e sistemática da governança e regulação da agência reguladora
municipal, visando subsidiar estratégias para estimular a expansão e a modernização da
infraestrutura, de modo a buscar a sua universalização e a melhoria dos padrões de qualidade;

Diminuir a assimetria de informações entre os agentes envolvidos e incrementar a
transparência das ações do prestador de serviços públicos e da entidade reguladora;

Ampliar o controle sobre a prestação do serviço, sem onerar em demasia os usuários ou os
contribuintes do poder público.

Metodologia

A construção da metodologia utilizada no presente estudo baseou‐se no estado da arte sobre gestão
do desempenho e buscou encontrar equilíbrio entre complexidade e simplicidade. O processo de
modelagem de indicadores de desempenho não possui um procedimento único ou uma metodologia
padrão (BRASIL, 2009). A saída foi a utilização de uma metodologia proposta pela (ABAR, 2016)
que orientasse a construção de modelos específicos de definição e mensuração do desempenho caso
a caso, respeitando‐se conceitos e princípios básicos buscando ao mesmo tempo reconhecer a complexidade e perseguir a simplicidade, renunciando‐se à busca de soluções exaustivas ou universalmente válidas.

O modelo apresentado pela (ABAR, 2016) estabelece parâmetros para fomentar o monitoramento e
a avaliação da atividade realizada pelos órgãos reguladores da Administração Pública Federal direta
e indireta. Essa metodologia permite a construção de definições específicas de desempenho para cada
organização, de modo a explicitar as dimensões dos resultados e dos esforços, além de sugerir o
alinhamento entre ambas as perspectivas.
As dimensões do resultado incluem eficiência, eficácia e efetividade. A utilização deste modelo
justificou-se pela simplicidade de sua aplicação, pois o guia sugere um passo-a-passo a ser aplicado,
que é facilmente adaptado para diversos programas e níveis, além de ser reconhecido por sua
excelência.
Cada dimensão e sub dimensão do desempenho foi desdobrada em níveis com o intuito de direcionar
a construção de indicadores de desempenho de distintos objetos, sejam governos, políticas, conjunto
de organizações, organizações ou unidades organizacionais (BRASIL, 2009).
No caso em tela, os níveis foram concebidos a partir das atribuições da AGÊNCIA REGULADORA
MUNICIPAL, encontradas na Lei Municipal nº 130 de 29 de junho de 2018, então uma nano unidade
governamental, de forma que pudessem expressar os impactos iniciais da implantação desta agência
reguladora.
Para o desenvolvimento deste trabalho ponderou-se pela utilização da metodologia desenvolvida e
apresentada pela (ABAR, 2016) pois a qualidade da regulação prestada pela AGÊNCIA
REGULADORA MUNICIPAL pôde ser aferida por meio do uso de 25 indicadores, estruturados em
cinco dimensões relacionadas à governança regulatória: 1) Ambiente Institucional do Sistema
Regulatório; 2) Arranjo Institucional; 3) Formulação Regulatória e Processo Decisório; 4) Eficácia e
Efetividade Regulatórias; e 5) Participação Social, Prestação de Contas e Transparência. Para cada
uma destas dimensões propostas, foram desenvolvidos 05 indicadores. Assim, para cada indicador
componente foi proposto uma métrica com a sua respectiva interpretação e justificativa considerando as atribuições da AGÊNCIA REGULADORA MUNICIPAL no âmbito do processo regulatório cuja atribuição de valor variou de 0 a 1.
Os indicadores foram apresentados aos especialistas da Diretoria de Normatização, Fiscalização e
Controle, da AGÊNCIA REGULADORA MUNICIPAL, uma vez que são esses profissionais que
detêm conhecimento prático das atividades que devem ser desempenhadas, os produtos esperados e
os objetivos e as metas que devem ser alcançados. Com o objetivo de fazer uma pré-seleção, foi
aplicado um questionário aos técnicos da AGÊNCIA REGULADORA MUNICIPAL com a
apresentação de todos os indicadores.
Após a confecção de cada uma das fichas de indicadores com suas respectivas métricas e
justificativas, o questionário final foi apresentado a um grupo de 04 avaliadores que avaliaram cada
um dos indicadores considerando as atuais atribuições da AGÊNCIA REGULADORA
MUNICIPAL.
Feita aplicação dos indicadores pela AGÊNCIA REGULADORA MUNICIPAL e ponderado os
resultados, a interpretação da realidade institucional da agência foi comparada aos dados obtidos pela
(ABAR e TRATA BRASIL, 2021) que buscou avaliar a percepção das Agências Reguladoras
Infranacionais quanto à atualização do marco regulatório do saneamento e as fortalezas e desafios das
agências para com as necessidades regulatórias da nova legislação.

Resultados e Discussão

Na primeira etapa, foi identificado o objeto de mensuração, a saber: a implantação da AGÊNCIA
REGULADORA MUNICIPAL, a partir da utilização da cadeia de valor. Foram definidas, ainda, as
dimensões e seus componentes utilizados para a construção dos indicadores de desempenho. O nível
hierárquico/administrativo qual a AGÊNCIA REGULADORA MUNICIPAL se apresentou perante
a definição feita pelo (BRASIL, 2009), é a nano unidade ou unidade de organização.
Vencida a etapa de definição do nível, então a busca de resultados, partiu à identificação das
dimensões conforme são elencadas pela (ABAR, 2016), assim descritas:
Dimensão 1 – Ambiente Institucional do Sistema Regulatório Avaliado - apresenta um conjunto de
indicadores destinado a avaliar o contexto institucional que norteia a organização e funcionamento
geral do sistema regulatório. Os cinco indicadores da Dimensão 1 tratam da percepção quanto às
diretrizes ou parâmetros legais e de política regulatória para atuação da entidade reguladora
AGÊNCIA REGULADORA MUNICIPAL; da coordenação de atividades da política regulatória; da
conformação com marcos regulatórios setoriais, mais sabidamente a Lei 9433/97 (BRASIL, 1997) e
Marco Regulatório do Saneamento (BRASIL, 2020); e de critérios para a nomeação de cargos de
direção, e do comprometimento com o preenchimento desses cargos.
Dimensão 2 – Arranjo institucional – essa dimensão trata de questões estruturantes, operacionais e de
conduta da AGÊNCIA REGULADORA MUNICIPAL, determinantes para as linhas mestras de
governança e que guardam relação com a qualidade regulatória. Os cinco indicadores propostos pela
(ABAR, 2016) para esta dimensão tratam de aspectos atinentes a dois temas, quais sejam, a estrutura
e processos organizacionais e a capacidade técnica do órgão regulador. Primariamente os indicadores
se destinam a verificar a existência de institucionalidade que guarde relação com a qualidade
regulatória e a otimização de recursos para aprimorar as atividades de fiscalização e obtenção de
resultados mediante resolução extrajudicial de conflitos. Em segundo plano, mas não menos
importante, relacionado à capacidade técnica, aferiu-se o nível de especialização técnica da força de
trabalho envolvida com a regulação.
Dimensão 3 – Formulação Regulatória e Processo Decisório - Esta Dimensão trata das instituições
regulatórias pelo ponto de vista interno, relacionado à sua organização para a produção de
regulamentos por parte da AGÊNCIA REGULADORA MUNICIPAL. Para tanto, essa dimensão foi
composta por cinco indicadores que tratam da existência de programa de capacitação permanente que
contemple temas relacionados à qualidade regulatória; da previsibilidade quanto à execução do
planejamento regulatório da instituição; da realização de estudos de AIR pela instituição; da
simplificação administrativa; e da revisão do estoque normativo.
Dimensão 4 – Eficácia e Efetividade Regulatória – A dimensão da eficácia e efetividade, trata da
avaliação do cumprimento da missão Institucional da AGÊNCIA REGULADORA MUNICIPAL. Ou
seja, refere-se à avaliação de resultados, decorrentes da implementação de ações de melhoria da
qualidade, no médio ou longo prazo. Os cinco indicadores utilizados nessa Dimensão são de eficácia e de efetividade da regulação. Conforme (ABAR, 2016) os indicadores de eficácia são úteis à
mensuração do grau de alcance das metas programadas, em um determinado período de tempo,
independentemente dos custos/impactos implicados e expressam em geral, a quantidade absoluta ou
relativa da meta atingida. Os indicadores de efetividade objetivaram medir o grau de modificação da
situação-problema (desafio) que deu origem à ação estratégica na percepção da sociedade. Os
indicadores são relacionados a avaliações ex post dos impactos regulatórios; efetividade da
retroalimentação de processos organizacionais para a revisão normativa; método de aferição da
efetividade da instituição relacionada às suas competências por meio de pesquisas de satisfação da
sociedade; cumprimento dos compromissos e prazos previstos na Carta de Serviços; e dos
mecanismos de monitoramento adotados pela AGÊNCIA REGULADORA MUNICIPAL.
Após a delimitação das dimensões e vencida a etapa de confecção dos indicadores, o questionário foi
apresentado aos avaliadores que, de forma independente, após a leitura da métrica e interpretação dos
indicadores, responderam ao mesmo apontado as notas para cada um dos indicadores atribuindo-lhes
notas que variaram entre 0 e 1.
A nota média global 0,68 auferida para a Dimensão 1 – Ambiente Institucional do Sistema
Regulatório Avaliado, aponta que a AGÊNCIA REGULADORA MUNICIPAL avaliada apresentou
grau de maturidade da política regulatória, com alta capacidade para promover coordenação da
política regulatória de forma rotineira, sistematizada e proativa.
No entanto, o indicador 1.3 Marcos Regulatórios, que avalia a existência e delimitação de marcos
regulatórios setoriais para a atuação regulatória; bem como avalia se há sinergia governamental ou
conflito entre competências entre agências reguladoras setoriais indicou pouca sinergia e delimitação
dos marcos regulatórios, denotando capacidade incipiente para o aprimoramento da regulação atual.
Esse dado aponta que apesar de deficitário atualmente, a importância do novo Marco Regulatório
para os segmentos da universalização e regulação é considerado muito importante pelos dirigentes e
reguladores da AGÊNCIA REGULADORA MUNICIPAL avaliada, fato também corroborado na
pesquisa realizada por (ABAR e TRATA BRASIL, 2021) onde o resultado mostra que mais de 70%
dos respondentes consideram estes segmentos como “Muito Importante”.
Porém a nota 0,8 apontada na média avaliada para o item 1.4 Critérios para nomeação de dirigentes
indica que, a existência na AGÊNCIA REGULADORA MUNICIPAL avaliada de critérios mínimos
para a nomeação de cargos de direção, tais como formação e titulação acadêmicas na área, e
experiência profissional compatível ao cargo simbolizam a existência de diretrizes, que podem
caracterizar condições para o aprimoramento da regulação.
A Dimensão 2 – Arranjo institucional, obteve nota média 0,60, o que aponta para uma moderada
conduta da AGÊNCIA REGULADORA MUNICIPAL avaliada, no que tange aos aspectos atinentes,
a estrutura e processos organizacionais além da capacidade técnica do órgão regulador.
A pouca sinergia na delimitação de políticas na AGÊNCIA REGULADORA MUNICIPAL avaliada
ou a inexistência de programa explícito sobre a qualidade regulatória, são fatores que diminuem a
qualidade regulatória e a otimização de recursos para aprimorar as atividades de fiscalização e
obtenção de resultados.
Entretanto, a nota média global 0,8 obtida nos indicadores 2.2 Status institucional da qualidade
regulatória e 2.4 Mecanismos extrajudiciais de resolução de conflitos, indiciam o comprometimento
e a responsabilização institucional em relação à qualidade regulatória na AGÊNCIA REGULADORA
MUNICIPAL avaliada, caracterizando condição favorável para o aprimoramento da regulação, além
da possibilidade de gerar resultados mais rápidos e com menos dispêndio de recursos.
A Dimensão 3 - Formulação Regulatória e Processo Decisório foi aquela que obteve na média geral
as notas atribuídas mais baixas indicando que a AGÊNCIA REGULADORA MUNICIPAL avaliada,
possui baixa organização para a produção de regulamentos. A implantação de programa de
capacitação e aperfeiçoamento contínuo da força de trabalho da AGÊNCIA REGULADORA
MUNICIPAL avaliada, quando planejada somente para o futuro, denota capacidade incipiente para o
aprimoramento da regulação.
A ausência de um instrumento de planejamento regulatório por parte da AGÊNCIA REGULADORA
MUNICIPAL avaliada, confere um grau muito baixo de previsibilidade regulatória denotando assim
ínfima capacidade institucional para promover a execução do planejamento regulatório.
A produção de atos normativos por parte da AGÊNCIA REGULADORA MUNICIPAL avaliada,
sem a devida Análise de Impacto Regulatório (AIR) como suporte à atividade de regulamentação, se
mostrou menos favorável à promoção de consistência ao processo regulatório.
Contudo, a simplificação administrativa ainda que planejada para o futuro, pode sinalizar a
capacidade institucional em promover; de forma perene, sistematizada e proativa, a facilitação
administrativa sobre procedimentos e custos imputados a cidadãos e empresas.
Ainda nesse quesito dimensional, as notas obtidas pela AGÊNCIA REGULADORA MUNICIPAL
avaliada apontam para a necessidade da existência de processo sistematizado e incorporado à rotina
da instituição que preveja a realização de revisão do estoque regulatório.
A quarta dimensão avaliada, Eficácia e Efetividade Regulatória, mostrou que a AGÊNCIA
REGULADORA MUNICIPAL, caminha para atingir moderada sinergia para a adotar a rotina de
avaliação ex post, que pode trazer boa capacidade para o aprimoramento da regulação.
Ademais o processo de implantação de revisão de atos normativos a partir de inputs externos, favorece
a retroalimentação para a regulação, incorporando à rotina da instituição um processo sistematizado
que preveja a revisão de atos normativos que afinal aumentem a capacidade institucional para
promover o aprimoramento da regulação.
Não obstante, a não realização de pesquisa de satisfação da sociedade por parte da AGÊNCIA
REGULADORA MUNICIPAL avaliada, diminui a percepção da sociedade em relação ao
atendimento da missão institucional, relacionado ao cumprimento das competências do órgão
regulador.
Outros fatores que contribuíram para reduzida nota global da quarta dimensão foram a ausência de
uma carta de serviços e ausência da incorporação institucional de práticas de monitoramento e
avaliação integradas à atividade de regulamentação, ocasionando assim ínfima proporção de
mensuração dos resultados alcançados pela AGÊNCIA REGULADORA MUNICIPAL avaliada.
A quinta e última dimensão avaliada - Participação Social, Prestação de Contas e Transparência,
apontou através de seus indicadores que a AGÊNCIA REGULADORA MUNICIPAL avaliada,
possui alta capacidade institucional em promover transparência e acesso à informação em tempo
oportuno quando considerado o atendimento ao prazo fixado pela Lei de Acesso à Informação para
respostas aos pedidos de informação apresentados pela sociedade.
A divulgação, ao público em geral de informações em linguagem clara e acessível por parte da
AGÊNCIA REGULADORA MUNICIPAL avaliada, indica alta disposição da instituição em
favorecer o entendimento pelas partes interessadas sobre as regulamentações, específicas e de caráter
geral, adotando linguagem adequada aos respectivos públicos.
No entanto, a nota 0 atribuída ao indicador 5.2 indica a ausência por parte da AGÊNCIA
REGULADORA MUNICIPAL avaliada, de um mecanismo de participação social institucionalizado,
pelo qual haja propostas regulatórias com participação social em etapa prévia à realização de consulta
pública como realização de reuniões, grupos de trabalho ou agenda regulatória.
Ainda notado que, a existência de Ouvidoria independente, capaz de buscar soluções para as
demandas dos cidadãos indicou moderado comprometimento com a interação entre a AGÊNCIA
REGULADORA MUNICIPAL e a sociedade, denotando boa capacidade para o aprimoramento da
regulação.

Conclusão

Os resultados deste modelo avaliativo deverão servir de oriente para o processo de aprimoramento da
AGÊNCIA REGULADORA MUNICIPAL, no âmbito estabelecimento de padrões e normas para a
adequada prestação dos serviços e para a satisfação dos usuários, garantindo o cumprimento das
condições e metas estabelecidas, mediante mecanismos que induzam a eficiência e a eficácia dos
serviços permitindo a apropriação social dos ganhos de produtividade.

Referências Bibliográficas

ABAR, A. B. D. A. D. R. QUALIDADE REGULATÓRIA NO BRASIL: Dimensões e indicadores
para o monitoramento e avaliação da atividade regulatória. Associação Brasileira das
Agências de Regulação. Brasília, p. 44. 2016.
ABAR, A. B. D. A. R.; TRATA BRASIL, I. Percepção das Agências Reguladoras Infranacionais
quanto à atualização do Marco Regulatório do Saneamento Básico. Associação Brasileira das
Agências de Regulação. Brasília, p. 25. 2021.
BRASIL, F. D. Lei 9433, de 08 de janeiro de 1997. Institui a Política Nacional de Recursos
Hídricos, cria o Sistema Nacional de Gerenciamento de Recursos Hídricos., Brasília, 08 jan.
1997. 20.
BRASIL, R. F. D. GUIA REFERENCIAL PARA MEDIÇÃO DE DESEMPENHO E MANUAL PARA
CONSTRUÇÃO DE INDICADORES. Ministério do Planejamento Gestão e Orçamento. Brasília, p.
113. 2009.
BRASIL, R. F. D. Lei Nº 14.026 de 15 de julho de 2020. Atualiza o marco legal do saneamento
básico e altera a Lei nº 9.984 de julho de 2000, para atribuir à Agencia Nacional de Águas e
Saneamento Básico competência para editar normas de referência sobre o serviço de
saneamento, Brasília, 15 jul 2020. 77.
JANNUZZI, P. D. M. Indicadores para diagnóstico, monitoramento e avaliação de programas
sociais no Brasil. Revista do Serviço Público, Brasília, 2, abr/jun 2005. 24.
OCDE. Governança de Recursos Hídricos no Brasil. Paris: [s.n.], 2015