Autores: Carla Seibel Vervloet.
Orientadora: Profa. Dra. Miriam de Magdala Pinto.
Aprovado em 10 de dezembro de 2020.
Avaliações de impacto permitem que as organizações entendam se, como e porque seus projetos ou programas cumprem o que deles foi esperado desde sua concepção, passando pela execução até a entrega e encerramento. A prática avaliativa de projetos públicos de modo geral e, particularmente, no Brasil é ainda pouco disseminada e carece de desenvolvimento em aspectos conceituais e metodológicos. Este trabalho objetiva avaliar os impactos do Portal de Contratos do Governo do Espírito Santo, um website desenvolvido para melhorar a gestão de contratos estaduais, concebido e mantido pela Secretaria Estadual de Gestão e Recursos Humanos. A metodologia utilizada, de natureza quase-experimental, foi desenvolvida de forma adaptada, participativa e inovadora. A partir de oficinas de construção do Modelo Lógico da Teoria da Mudança e instrumento avaliativo com a participação de stakeholders de órgãos do governo do Estado, o questionário foi respondido por 224 servidores que atuam nos cargos de gestores e fiscais de contrato. O impacto foi avaliado por meio da mensuração das transformações de curto e médio prazo percebidas no grupo de gestores e fiscais de contratos, usuários do Portal. Também foram investigados o perfil dos usuários, o alcance do Portal e a qualidade do que é entregue por ele sob a ótica dos usuários. Os resultados, a partir da comparação entre grupos de controle e tratamento, apontaram que o uso do Portal de Contratos gerou melhor desempenho em todos os indicadores analisados. Destaque para aumento do conhecimento e segurança dos usuários caracterizado como impacto profundo. O desenvolvimento e aplicação de metodologia de avaliação de impacto forneceram evidências que permitem afirmar que o projeto está no caminho certo para gerar as transformações de longo prazo e também orienta ações que podem potencializar seu sucesso.
Palavras chave: Avaliação de impacto. Portal de contratos. Mensuração de resultados. Teoria da mudança.
Impact evaluation allow associations to understand whether, how and why their projects or programs fulfill what was expected from conception, through execution to delivery and closure. The evaluative practice of public projects in general and, particularly, in Brazil is still little disseminated and needs to be developed in conceptual and methodological aspects. This work aims to assess the impacts of the Contracts Portal from Government of Espírito Santo, a website developed to improve the management of state contracts, prepared and maintained by the State Secretariat for Management and Human Resources. The methodology used, of a quasi-experimental nature, was developed in an adapted, participatory and innovative way. Based on workshops for the construction of the Logical Model of Theory of Change and an evaluation instrument with the participation of stakeholders from state government agencies, the questionnaire was answered by 224 civil servants who work in the positions of contract managers and inspectors. The impact was assessed by measuring the short and medium-term changes perceived in the group of contract managers and inspectors, users of the Portal. The profile of users, the reach of the Portal and the quality of what is delivered by it from the users’ perspective were also investigated. The results, from a comparison between control and treatment groups, showed that the use of the Contract Portal generated the best performance in all impact indicators. Highlight for increased knowledge and safety of users, as a profound impact. The development and application of an impact assessment methodology provided evidence that allows us to affirm that the project is on the right path to generate long-term transformations and also guide actions that can enhance its success.
Keywords: Impact evaluation. Contract portal. Outcomes measurement. Theory of change.
