O processo de avaliação de impacto seguiu uma jornada com uma sequência de etapas como conhecer o negócio social a ser avaliado, alinhamento de expectativas das partes envolvidas, construção da teoria da mudança da iniciativa a ser avaliada e criação da matriz de avaliação. A Jornada de avaliação do negócio de impacto social Varre Vila teve início em um webinar com MOVE e demais colaboradores durantes os dias 13 e 14 de junho.
O reconhecimento do negócio “Com Você” e do Projeto “Varre Vila” foi feito usando um framework disponibilizado pela Move Social. O seu preenchimento foi feito em reunião via Skype com a equipe do projeto em 14/06/2019. Utilizando este material, nesta reunião, foi possível identificar e redigir vários dados objetivos e subjetivos a respeito do projeto, como número de colaboradores, principais parceiros, públicos alvo, missão, dentre outros, que serviram de base e ponto de partida para o restante das atividades.
A atividade foi realizada no Centro de Educação Popular da Comunidade Nossa Senhora Aparecida, Vila Santa Inês, região de São Miguel Paulista, em 26/10/2019. Neste dia o grupo reviu a Teoria da Mudança proposta visando checar se ela, de fato, reflete seu entendimento do que o Projeto Varre Vila tem como impacto. Do grupo de resultados que aparecem no Fluxograma de Teoria da Mudança, foram selecionados nove para serem a base da matriz de avaliação, sendo estes:
Grupo I – Resultados Individuais e Subjetivos
– sentimento de responsabilidade dos moradores pelo descarte correto do resíduo sólido, seu próprio e o da comunidade;
– conhecimento dos moradores sobre descarte de resíduos sólidos;
– reconhecimento de ganhos pessoais com o local limpo.
Grupo II: Resultados Individuais e Objetivos
– mudanças nos hábitos de descarte dos resíduos sólidos;
– nível de saúde das pessoas da comunidade.
Grupo III: Resultados Interpessoais e Subjetivos
– valorização da limpeza pública pela comunidade;
– valorização do ambiente de paz.
Grupo IV: Resultados Interpessoais e Objetivos
– mudança na economia local;
– valorização imobiliária.
Selecionados tais resultados, a oficina prosseguiu com preenchimento da matriz de avaliação e elaboração de instrumento de avaliação tendo sido decidido que a fase de coleta de dados seria financiada pela Com Você e a pesquisa serei realizada nas comunidades de Vila Santa Inês/Nossa Senhora Aparecida, local onde o projeto teve início e tem ação continuada desde 2012 e Cidade Nova Heliópolis que é a comunidade onde o projeto tem intenção de iniciar suas atividades. Cidade Nova Heliópolis serviu como grupo de controle para a avaliação do projeto.
Com o material desenvolvido nas etapas anteriores em mãos, agora, com objetivo de conhecer os impactos socioambientais produzidos a partir da iniciativa comunitária de limpeza da Vila Santa Inês na Zona Leste paulistana, foi proposto um estudo comparativo entre duas comunidades com similaridades econômicas e sociais. Dessa forma a coleta de dados sobre a percepção dos moradores na Comunidade da Vila Santa Inês, onde o Projeto Varre Vila atua há sete anos, ocorreu também na Comunidade da Cidade Nova Heliópolis, Zona Sul, que de acordo com informações prévias obtidas junto às representações comunitárias, havia o desejo de buscar a atuação do Projeto Varre Vila implementando melhorias para aquela comunidade. A Universidade Federal do Espírito Santo (UFES) por meio do Laboratório de Tecnologias de Apoio a Redes de Inovação – LabTAR, em parceria com a Coordenação do Projeto Varre Vila elaborou o Instrumento de Coleta de Dados (Questionário) que seria aplicado nas duas comunidades para o mesmo número de cidadãos. A elaboração do questionário foi possível a partir da oficina que gerou a Matriz Avaliativa de onde foram identificadas, discutidas e extraídas as dimensões de análises que deveriam constar no Instrumento de Coleta de Dados.
Buscando assegurar que o Instrumento de Coleta de Dados extrairia da percepção dos moradores das Comunidades, suas percepções mais próximas de suas realidades, assim como preconizam as literaturas dos métodos de pesquisa, o questionário foi previamente testado em uma comunidade que também apresentava similaridade com as comunidades que seriam posteriormente submetidas ao estudo. A comunidade escolhida para o teste do Instrumento de Coleta de Dados foi a do Morro São Benedito na Cidade de Vitória/ES. Após a aplicação, que ocorreu no dia 13 de dezembro de 2020, com a contribuição de voluntários, lideranças comunitárias e membros do LabTAR/UFES, foram discutidos os pontos negativos e positivos observados e realizados os ajustes necessários para maior assertividade na coleta dos dados nas comunidades de São Paulo. Considerando ainda as particularidades comumente identificadas nas regiões onde o poder público não possui expressiva atuação na melhoria da qualidade de vida da população, a violência e os poderes paralelos poderiam dificultar o acesso ou comprometer o trabalho na coleta de dados. Assim, a caracterização visual da equipe de entrevistadores foi de fundamental importância no processo da pesquisa. O contato com as lideranças comunitárias e a caracterização da equipe permitiram que os entrevistadores transitassem pela comunidade – ruas/becos/escadarias/vielas – com maior tranqüilidade, já que, pelas “redes de comunicação” na comunidade, rapidamente se fez saber da presença de pesquisadores da Universidade Federal do Espírito Santo, o que também contribuiu para a segurança da equipe.
No período de 04 a 07 de fevereiro de 2020, simultaneamente na Vila Santa Inês e Cidade Nova Heliópolis, foram aplicados os questionários aos moradores das comunidades. Em áreas previamente definidas com semelhança no número populacional, duas equipes aplicaram os questionários que totalizou em 578 entrevistas validadas, sendo 264 na Vila Santa Inês e 264 na Comunidade da Cidade Nova Heliópolis. Na sequência os dados foram tratados pela equipe de pesquisa e a comunicação dos resultados ocorreu por meio do relatório que teve sua apresentação ocorrida por videoconferência no dia 15 de maio de 2020.
Agendada para o dia 15 de maio de 2020 às 15 horas, foi realizada a Videoconferência de Comunicação/Apresentação dos Resultados da Avaliação de Impacto Socioambiental do Projeto Varre Vila para a Coordenação e equipe de Colaboradores da Com Você/Varre Vila. A apresentação foi realizada pela Equipe do Labtar/UFES – Professora Miriam de Magdala Pinto, com a colaboração do Servidor Valdir da Silva Corrêa (Junior) e do aluno do Curso de Desenho Industrial, João Francisco de Jesus Silva -. Utilizando-se do recurso de PowerPoint e a plataforma Zoom, a apresentação do Relatório teve a duração 40 minutos e, após, mais 40 minutos foram destinados às manifestações dos participantes da Videoconferência.
As manifestações dos participantes ocorreram no sentido de identificação e reconhecimento dos resultados, reforçando hipóteses por eles já aventadas. Participaram do evento virtual, além da equipe LabTar Ufes, O Coordenador do Projeto Varre Vila, Ionilton Aragão, e os colaboradores: Adelino de Jesus Barreto, Anísio Barbosa da Cunha, Daiana Ferreira, Juliana Lopes Silva, Lucila Silva de Almeida, Ozana Sousa, Sueli da Silva Moreira Zacarias e Thomaz Martins Fonseca. Ao final foram manifestadas as intenções dos participantes no sentido de dar continuidade à parceria com o LabTar/UFES na idealização e desenvolvimento de futuros projetos.