Dados do Trabalho

Título

TUTORIAL DE AVALIAÇAO COMO SUPORTE AS AÇOES EM CAMPO DE FISCALIZAÇAO DE RESIDUOS SOLIDOS URBANOS

Resumo

O presente trabalho retrata uma proposta de tutorial de referência com vistas a facilitar a definição e a interpretação dos resultados obtidos em campo para uma regulação de qualidade na área de resíduos sólidos urbanos por parte dos envolvidos (ente regulador e entes regulados), tendo sido elaborado para dar suporte à plataforma Regulação Inteligente, desenvolvida pela Agência de Regulação de Serviços Públicos de Santa Catarina - Aresc. Levando se em consideração que a avaliação via tablet nem sempre é viável fisicamente e que os critérios de avaliação tendem a não ser iguais entre os avaliadores da agência, achou-se necessário a criação de uma ferramenta de suporte com uma definição mais objetiva a respeito dos conceitos elencados em cada item avaliado em campo. Avaliando-se cada item com base nas diretrizes apresentadas no sugerido tutorial de referência, tem-se uma tendência a uma padronização do método de avaliação. O referido tutorial foi utilizado na avaliação dos Aterros Sanitários dos municípios de Lages (SC) e Otacílio Costa (SC), e sua utilização aparenta ter ajudado na agilidade da avaliação e na segurança da interpretação dos resultados visualizados em campo.

Palavras Chave

Critérios de Avaliação. Padronização dos Métodos de Avaliação. Resíduos sólidos urbanos.

Introdução/Objetivos

A Agência de Regulação de Serviços Públicos de Santa Catarina – Aresc foi criada com o advento da Lei nº 16.673, de 11 de agosto de 2015, com a competência de regular as áreas de saneamento básico, distribuição de gás natural canalizado e, mais recentemente, do transporte intermunicipal de passageiros (Lei Complementar nº 741 de 12 de junho de 2019).
O avanço tecnológico traz benefícios incontestes à sociedade, cujas ferramentas de tecnologia da informação e comunicação estão disponíveis para facilitar e melhorar o dia a dia das pessoas e das instituições. Neste sentido, o projeto Regulação Inteligente desenvolvido na área de Resíduos Sólidos Urbanos tem como objetivo possibilitar à Agência de Regulação de Serviços Públicos de Santa Catarina cumprir suas tarefas de fiscalização em campo com maior segurança das informações e agilidade, porém critérios mais objetivos com relação aos itens pré-estabelecidos e avaliados nessa ferramenta tornam-se necessários. A gestão das informações técnicas produzidas com a utilização de benchmarking e de indicadores são a base da inovação desta proposta, que é composta por uma série de iniciativas, que se dividem em aspectos operacionais e aspectos econômico-financeiros.
Considerando que os critérios que justificam a avaliação de todos os itens fiscalizados foram baseados na legislação vigente do setor de resíduos sólidos urbanos, percebeu se a necessidade de um tutorial de referência para definir como cada item será avaliado. A transparência na definição do que se entende por “bom ou ruim” deixa tudo mais claro e tranquilo para todos os agentes envolvidos na avaliação. Ressalta se que esta ferramenta visa a melhoria da prestação de serviços dos entes regulados, visto que esclarece o porquê de determinado item ser avaliado de determinada forma, possibilitando ao ente regulado um melhor entendimento de como melhorar aquele processo, benfeitoria, maquinário, equipamento, etc., após seu item estar objetivamente avaliado.
Em se tratando de um processo de construção de uma nova ferramenta é normal que sejam feitos muitos ajustes. Com estas alterações, criam-se exigências e até novas modalidades, ampliam horizontes e transformam instrumentos, portanto, faz-se necessário informar, tornar público e coletar contribuições dos entes envolvidos no processo regulatório.
Após a edição e publicação da Nota Técnica n. 15/2018 da Aresc que dispõe sobre a proposição de qualificadores para os serviços de gestão de resíduos sólidos urbanos, em caráter preliminar, esse conjunto de planilhas denominado Checklist foi posto à prova a partir de Relatórios de Fiscalização, utilizados até então para a avaliação dos entes regulados pela Agência. Desta forma, foi verificada a necessidade de padronização dos procedimentos de avaliação dos itens elencados, bem como a definição de critérios mais objetivos na execução destes procedimentos.
Portanto, o presente trabalho retrata uma proposta de tutorial de referência com vistas a facilitar a definição e a interpretação dos resultados obtidos em campo para uma regulação de qualidade na área de resíduos sólidos urbanos por parte dos envolvidos (ente regulador e entes regulados), de acordo com a Resolução da Aresc n. 103/2018 que estabelece as condições gerais da prestação e utilização dos serviços públicos de manejo de resíduos sólidos pelas concessionárias, e demais legislações afetas, tendo sido elaborado para dar suporte à plataforma Regulação Inteligente, desenvolvida pela Agência de Regulação de Serviços Públicos de Santa Catarina. Esse tutorial de referência foi pensando na padronização dos entendimentos em relação aos itens avaliados pelos técnicos da Agência, assim como para todos os envolvidos na cadeia de resíduos sólidos urbanos, sendo utilizado na avaliação dos Aterros Sanitários dos municípios de Lages (SC) e Otacílio Costa (SC), e sua utilização aparenta ter ajudado na agilidade da avaliação e na segurança da interpretação dos resultados visualizados em campo.

Metodologia

Com a utilização piloto da ferramenta Regulação inteligente, as ações de fiscalização passaram a ser denominadas auditorias, ocasião em que as exigências técnicas e legais de operação impostas aos entes regulados são conferidas em campo por meio de quatorze planilhas de avaliação (cujo conjunto denominou-se checklist), criadas para abarcar toda a cadeia de resíduos sólidos reguladas pela Aresc.
Consequentemente, criou-se a expectativa de acompanhamento em tempo real do perfil e da situação operacional dos prestadores, com checagens presenciais e periódicas, já que, as planilhas de avaliação, preenchidas em campo, podem ser atualizadas em tempo real à medida que o ente regulado pede homologação de atualizações visando melhorar seu conceito perante a sociedade.
A fase inicial do trabalho foi pautada na percepção técnica e prática, por parte da equipe técnica da Agência, dos métodos de avaliação correntes a respeito de cada item constante das planilhas de avaliação, considerando os preceitos estabelecidos pela Resolução da Aresc n. 103/2018 que estabelece as condições gerais da prestação e utilização dos serviços públicos de manejo de resíduos sólidos pelas concessionárias e a Nota Técnica da Aresc n. 15/2018 que dispõe sobre a proposição de qualificadores para os serviços de gestão de resíduos sólidos urbanos, em caráter preliminar. A Figura 1 ilustra uma das várias planilhas constantes da Regulação inteligente em Resíduos Sólidos Urbanos.
Figura 1 – Planilha “ESCRITÓRIO” do conjunto de planilhas do método Regulação Inteligente.

No Anexo I da referida Nota Técnica foram definidas e aprovadas quatro opções de avaliação (níveis de satisfação) para cada item avaliado, que passaram a integrar as planilhas de avaliação (Checklist). Para cada rol de opções foi atribuído um rol de valores numéricos avaliativos possíveis, atribuídos hierarquicamente de acordo com sua importância legal (legislação federal, estadual ou resolução da Agência, respectivamente).
Os níveis de satisfação de cada item foram estabelecidos com base em documentos pesquisados e publicados por diversas instituições públicas e privadas, de onde se extraiu aquilo considerado adequado aos propósitos da Agência de Regulação. Estão divididos em unidades, de acordo com a cadeia de resíduos sólidos urbanos (escritório, coleta e transporte, aterro sanitário, reciclagem, usina de energia, etc.), abrangendo todos as áreas atuantes e serviços concedidos à exploração pública ou privada.
Os quatro níveis de satisfação de cada item avaliado variam entre ruins, satisfatórios, bons, excelentes; a eles foram atribuídos como convenção os números 1, 2, 3 ou 4, respectivamente. Já o Peso de cada item avaliado tem sua atribuição convencionada variando de 1 a 3 e gera um total de doze possíveis resultados (Conceitos) quando multiplicado a estes quatro números, escolhido de acordo o nível de satisfação anteriormente observado e assinalado, conforme demonstra o Quadro 1 abaixo.
O Peso 1 foi definido quando a exigência de obrigatoriedade de existência e atendimento de critérios mínimos de qualidade encontrados somente em legislações internas da Aresc (Resoluções); o Peso 2, quando a exigências encontra-se em legislações estaduais; e o Peso 3, quando a exigências encontra-se em legislações federais.

Quadro 1 - Conceitos conforme ponderação.
Questão Conceito 1 Conceito 2 Conceito 3 Conceito 4
Peso 1 1 2 3 4
Peso 2 1 4 6 8
Peso 3 1 6 9 12


Ocorre que muitas das conceituações definidas no tutorial e atribuídas a cada um dos níveis de satisfação foram pensadas de acordo com a realidade observada em cada unidade de cada instituição avaliada, utilizando-se o empirismo como principal norteador, visto que não foi observado nada parecido na bibliografia atual. Alguns níveis de satisfação puderam ser tecnicamente definidos com base na legislação e normas técnicas, porém outros não possuem o mesmo arcabouço de normatização técnica.
Com o intuito de definir uma maneira mais objetiva os atributos de cada um dos quatro conceitos mencionados anteriormente e facilitar a compreensão de todos sobre quais características levar em consideração no momento de avaliá-los, instituiu-se então um tutorial de referência (conforme modelo do anexo 1). Esse instrumento informativo tem como objetivo dar suporte técnico aos profissionais reguladores, visando auxiliá-los a tornar sua avaliação mais objetiva, bem como elucidar aos entes regulados alguns critérios usados na avaliação de seus desempenhos. Trata-se de um documento explicativo de avaliação dos itens de acordo com os preceitos da Nota Técnica da Aresc nº 15/2018, revisada em 2020.
Foram definidos critérios objetivos para todos os itens constante do conjunto de planilhas de avaliação (checklist) da Regulação Inteligente. Com a utilização de indicadores, os prestadores recebem notas (Figura 2 com exemplo de avaliação geral da auditoria) que são transformadas em um índice de eficiência e este é comparado ao índice de eficiência dos demais prestadores de resíduos sólidos urbanos avaliados, criando um Ranking. A publicação deste Ranking deverá permitir o acompanhamento da sociedade quanto à qualidade geral da prestação de serviços e a situação do prestador que lhe atende, provocando a concorrência entre os players e o consequente aumento da eficiência individual e coletiva. Porém esse ranking não está em uso, visto que demanda uma plataforma para sua publicação em tempo real, o que não existe no momento.

Figura 2 – Exemplo de avaliação geral da auditoria



Desta forma, esse tutorial de referência foi aplicado como piloto nos Aterros Sanitários dos municípios de Lages e Otacílio Costa, localizados em Santa Catarina. Foram conceituados todos os níveis de satisfação integrantes e a situação em que cada item se apresenta na prática, deixando o avaliador mais situado e mais seguro sobre quais procedimentos e medidas tomar na hora da avaliação em campo.
Como exemplo, estará demonstrado aqui parte do Tutorial relativa à unidade “Escritório”, no Anexo 1, com todos as definições/critérios de avaliação relativas aos níveis de satisfação de todos os itens avaliados nesse tipo de unidade, seja ela relativa a qualquer que seja o tipo de empresa integrante da cadeia de resíduos sólidos urbanos avaliada.

Resultados e Discussão

O projeto Smart Regulation teve sua gênese em meados de 2017 com o objetivo de modernizar ferramentas, instrumentos e processos de regulação, para obtenção de melhores resultados, mais céleres e seguros.
Nos dia 18 de maio de 2021, visitou-se os Aterros Sanitários situados nos municípios de Lages (SC) e Otacílio Costa (SC). Foram levados a campo os tutoriais de referência relativos às unidades que seriam avaliadas dentro de cada uma das unidades (escritório, aterro sanitário e projetos especiais). A unidade técnica denominada “Projetos Especiais” referentes à avaliação do cumprimento de programas corporativos, técnicos, de segurança, de saúde e demais planos técnicos exigidos por lei. Foram avaliadas, portanto, três unidades, por meio de três planilhas de avaliação das quatorze disponíveis.
De maneira geral, o método de avaliação física com apoio do tutorial de referência foi muito bem recebido pelos responsáveis técnicos dos dois aterros sanitários, visto que suas dúvidas a respeito dos critérios de avaliação estavam objetivamente definidas e de fácil compreensão.
O Aterro Sanitário do Município de Lages/SC apresentou condições e estruturas satisfatórias. Com relação a manipulação da cadeia de destinação e tratamento dos resíduos sólidos urbanos em si, o Aterro Sanitário atendeu às exigências legais e técnicas. Porém faltou a apresentação de alguns documentos na hora da avaliação e estes não foram apresentados a posteriori, deixando a avaliação desses itens com o conceito mais baixo possível, como por exemplo questões de outorga de uso de água para lançamento de efluentes. Além disso não houve a apresentação das análises laboratoriais da água dos diversos pontos do Aterro com obrigatoriedade de aferição periódica definidos por lei. Todas foram consideradas inexistentes (conceito mais baixo), visto que não foi apresentado um laudo documental comprobatório das análises.
Outro ponto a se observar foi um item integrante do tutorial que não se aplicava a essa unidade: Como não atendiam público em geral, por se tratar de escritório no aterro de resíduos urbanos, o Código de Defesa do Consumidor deixou de ser uma exigência, sendo então desconsiderado esse item para fins de avaliação.
Por fim, a Unidade “Projetos Especiais”, que de forma prática é avaliada somente com conferência documental indicativa de quatorze planos e processos legais a serem seguidos, dentre os quais cinco são obrigatórios e o restante é “desejável”. A empresa obteve uma boa avaliação.
A nota final da Unidade “Escritório” ficou em 63, sendo que a nota máxima possível nesse caso seria 204 (desconsiderando o item 12, conforme explicado anteriormente). A nota final da Unidade “Aterro Sanitário” ficou em 204 de 332 possíveis (desconsiderando o item 9). A nota final da Unidade “Projetos Especiais” ficou em 27 de 32 possível, desconsiderando os projetos desejáveis/não obrigatórios não apresentados.
O Aterro Sanitário do Município de Otacílio Costa/SC além de atender as demandas de resíduos sólidos urbanos, atende também resíduos industriais de toda a região. Por esse motivo, possui uma quantidade considerável de clientes, tanto entes públicos como privados. A Unidade “Escritório” desse aterro atendeu bem às exigências avaliativas do tutorial.
Na unidade “Aterro Sanitário”, a avaliação foi positiva. Entretanto, a empresa não conta com uma Estação de Tratamento de Efluentes (ETE) própria, terceirizando esse serviço a uma empresa de celulose vizinha. Esse fato acabou por desconsiderar uma boa parte dos itens elencados no tutorial, e que seriam avaliados, porém toda a documentação exigida para atendimento ambiental foi exigida para avaliação da Agência. Já a unidade “Projetos Especiais” obteve nota máxima, com a empresa apresentando todos os cinco planos obrigatórios de forma exemplar.
A nota final da Unidade “Escritório” ficou em 70, de sendo que a nota máxima possível nesse caso seria 108 A nota final da Unidade “Aterro Sanitário” ficou em 176 de 188 possíveis (desconsiderando os itens referentes a ETE). A nota final da Unidade “Projetos Especiais” ficou em 40 de 40 possíveis, desconsiderando os projetos desejáveis/não obrigatórios não apresentados.
Portanto, percebeu-se uma maior tranquilidade no momento de avaliação em campo, pois com o critério objetivo definindo exatamente como determinado item tem que se apresentar aos olhos do avaliador e do avaliado criou uma segurança legal muito maior entre os envolvidos. Tanto avaliador quanto avaliado, agora, sabem exatamente como deve se apresentar cada item na hora de sua avaliação, diminuindo-se então possíveis distorções objetivas e possíveis erros interpretativos a respeito de cada item avaliado.

Conclusão

A modernização das ferramentas regulatórias é imprescindível para uma regulação mais eficiente e dinâmica. Concernente a isso, o tutorial de referência elaborado se mostrou de suma importância na hora da padronização da avaliação. Além das questões da celeridade, da objetividade e da segurança legal, o tutorial também permite a qualquer pessoa entender quais os critérios que levaram o avaliador a atribuir determinado conceito/nota a determinado item avaliado.
Desta forma, o documento veio para dar um caráter qualitativo de fato para cada um dos quatro níveis de satisfação atribuídos a cada item avaliado de cada unidade, uniformizando-se assim a definição de cada um deles, com vistas a padronizar os procedimentos de avaliação no momento da fiscalização in loco. Tornou-se possível assim diminuir muito a margem de subjetividade dessas avaliações, tornando o processo mais claro aos envolvidos.
As unidades vistoriadas apresentam bons índices de atendimento da legislação vigente, porém foram identificados pontos de melhoria para uma próxima avaliação da Aresc. O Aterro Sanitário de Lages/SC obteve índice satisfatório com 51,7% dos itens avaliados no tutorial de referência atendidos, cujos pontos de melhoria identificados estiveram relacionados com acessibilidade, cadastros de equipamentos e contratantes, comprovantes fiscais, necessidade de distanciamento adequado aos cursos de água naturais, plano de monitoramento do lençol freático, elaboração de laudo de análise laboratorial, gerenciamento e controle dos processos, sistema de combate a incêndio, entre outros.
Já o Aterro Sanitário de Otacílio Costa/SC obteve índice excelente com 85,1% dos itens avaliados atendidos, estando conforme às normas exigidas.
De acordo com as faixas numéricas de ICRS estabelecidas com base nos relatórios elaborados nas Visitas Técnicas realizadas entre 2011 e 2019, conforme estudo para elaboração do método da Regulação inteligente, o Aterro Sanitário de Lages/SC ficou em situação “Satisfatória” (amarela), com um total de 294 pontos de 568 possíveis; já o Aterro Sanitário de Otacílio Costa/SC obteve uma pontuação melhor, ficando na situação “Excelente” (verde), com um total de 286 pontos de 336 possíveis. Todos esses scores “possíveis” levam em consideração os itens desconsiderados para avaliação. Segue a definição das faixas para melhor entendimento:
• Situação crítica (cor vermelha): Compreendida entre o ICDR-ARESC abaixo de 20% do valor da mediana;
• Situação satisfatória (cor amarela): Compreendida entre o ICRS-ARESC de 20% < mediana > 20%;
• Situação excelente (cor verde): Compreendida entre o ICRS-ARESC acima de 20% sobre o valor da mediana.

Referências Bibliográficas

BORGES, J. F.; SIMM, A. P. R. L. Smart Regulation: da regulação tradicional à regulação inteligente. Anais do XI Congresso da ABAR, Maceió/AL, agosto de 2019.

Área

Saneamento básico, recursos hídricos