Texto baseado no livro Avaliação – conceitos e métodos, de Astrid Brousselle, François Champagne, André Pierre Contrandriopoulos e Zulmira Hartz. Editora Fiocruz, 2016

A avaliação de intervenções sociais ocorre há milênios, mas somente há alguns séculos iniciou-se sua institucionalização na área da saúde. Esta se deu, principalmente, pela capacidade de geração de melhores resultados e da contenção da escalada dos custos em saúde que foram alcançadas pelas atividades avaliativas. Há 4 mil anos, a China já utilizava avaliações para selecionar seus “servidores públicos”. No Ocidente, a história moderna da avaliação tem início no século XVIII, na Grã-Bretanha e na França. Porém, é somente no século XIX, com a industrialização, o movimento pela reforma sanitária e o desenvolvimento da epidemiologia, que a avaliação ganha força no âmbito da saúde. Atualmente, o desenvolvimento das tecnologias, as crises no financiamento público e o envelhecimento da população têm obrigado os governos ao controle dos custos em saúde. Essa tensão associa-se à pressão crescente por serviços de melhor qualidade e acesso equitativo, tornando o processo de tomada de decisão cada vez mais complexo. Nesse contexto, a avaliação em saúde apresenta-se como um dos melhores mecanismos para apoiar os gestores no processo de decisão.

Reconhecendo seus benefícios, processos de decisão informados por evidências têm se institucionalizado tanto em âmbito macro, como na construção de políticas públicas informadas por evidências, quanto em âmbito micro, como na utilização adequada de evidências nas decisões clínicas. Grande parte dos países, entre os quais os Estados Unidos, o Canadá e a França, criou organismos encarregados de avaliar o impacto e a incorporação de novas tecnologias. Além disso, observa-se uma explosão de programas de formação, debates, livros e artigos sobre a avaliação.

Mas o que é avaliar?

Segundo Champagne e cols (2016, p. 44),

“Avaliar consiste fundamentalmente em emitir um juízo de valor sobre uma intervenção, implementando um dispositivo capaz de fornecer informações cientificamente válidas e socialmente legítimas sobre essa intervenção ou sobre qualquer um de seus componentes, com o objetivo de proceder de modo a que os diferentes atores envolvidos, cujos campos de julgamento são por vezes diferentes, estejam aptos a se posicionar sobre a intervenção para que possam construir individual ou coletivamente um julgamento que possa se traduzir em ações.”

Ainda segundo estes autores, uma intervenção pode ser compreendida como:

“Um sistema organizado de ação que visa, em um determinado ambiente e durante um determinado período, a modificar o curso previsível de um fenômeno para corrigir uma situação problemática”(p. 45).

As intervenções possuem cinco componentes: uma estrutura (com uma dimensão física, uma organizacional e uma simbólica); atores individuais e coletivos, que interagem em um jogo permanente de cooperação e concorrência para aumentarem seu controle sobre os recursos críticos do sistema de ação; processos de ação, por meio dos quais os recursos são mobilizados e utilizados pelos atores para produzir os bens e serviços requeridos para alcançar as finalidades da intervenção; uma ou várias finalidades; e um ambiente (físico, jurídico, simbólico, histórico, econômico e social).

Tipos de avaliação em saúde

Não há consenso na literatura sobre a tipologia de avaliações em saúde, mas o modelo proposto por Champagne e cols (2016) classifica as avaliações em dois tipos: a avaliação normativa e a pesquisa avaliativa. Avaliações normativas buscam comparar componentes de uma intervenção com critérios e normas pré-estabelecidos, em um processo de verificação da conformidade. Já a pesquisa avaliativa, respeita os ritos de uma pesquisa científica, analisando as relações causais entre os diferentes componentes da intervenção.

A pesquisa avaliativa

A pesquisa avaliativa permite avaliar a pertinência da relação entre um problema de saúde e os objetivos de uma intervenção; a coerência entre os objetivos e as atividades de uma intervenção; ou ainda a adequação entre os recursos investidos e os efeitos de uma intervenção. Esse tipo de avaliação é decomposto em seis subtipos:

• Análise estratégica: permite apreciar a pertinência da intervenção, ou seja, se a intervenção se destina a necessidades em saúde relevantes para uma dada população;
• Análise lógica: examina a coerência (o mérito e a validade operacional). Esse tipo de análise avalia, ex ante (antes da intervenção ser implementada), se há uma base racional nos mecanismos de utilização dos recursos para a produção dos processos que irão gerar os resultados esperados;
• Análise da produção: se interessa pela produtividade e pelos determinantes da qualidade dos processos. Dessa forma, essa análise avalia se o processo está sendo executado como esperado e se a produção também ocorre como previsto;
• Análise dos efeitos: verifica a eficácia (eficácia laboratorial), a efetividade (eficácia de utilização) e/ou o impacto (eficácia populacional) da intervenção sobre o problema, bem como as externalidades (impactos não intencionais positivos ou negativos);
• Análise da eficiência: atesta a eficiência global da intervenção, ou seja, a relação entre os efeitos e os recursos necessários para obter tais efeitos; e
• Análise da implantação: observa as interações entre a intervenção e o contexto de implantação na produção dos efeitos. Esse tipo de análise é de grande valia para que se possa compreender como o conhecimento produzido pela intervenção em um dado contexto pode ser traduzido para um contexto diferente.

Para que avaliar?

Conhecer o intuito para o qual uma avaliação é encomendada é fundamental para o seu desenvolvimento e para sua interpretação. As finalidades para o desenvolvimento de uma avaliação podem ser divididas em oficiais e não oficiais. Entre as finalidades oficiais estão as seguintes:

• Finalidade estratégica: auxiliar o planejamento e a elaboração de uma intervenção;
• Finalidade formativa: fornecer informações para melhorar a intervenção no curso da atividade;
• Finalidade somativa: determinar os efeitos de uma intervenção para decidir se ela deve ser mantida, ampliada, modificada ou interrompida;
• Finalidade transformadora: utilizar o processo de avaliação como alavanca para transformar uma situação injusta ou problemática, pois a avaliação tem por objetivo a melhoria do bem-estar coletivo; e
• Finalidade fundamental: contribuir para o avanço dos conhecimentos empíricos e teóricos sobre a intervenção, assim como para a construção e validação de normas.

Entre as finalidades não oficiais, gestores podem solicitar avaliações para protelar ou legitimar uma decisão, para aumentar seu poder e o controle que exercem sobre a intervenção, por exemplo. Os usuários, podem buscar melhorar a qualidade dos serviços a que estão submetidos. Funcionários de uma organização podem requerer avaliações para romper com as regras hierárquicas e os próprios avaliadores podem almejar maiores prestígio e poder, obter uma promoção ou promover uma ideia que lhes seja cara. Essas finalidades oficiosas da avaliação podem ser resumidas em duas categorias:

• Finalidade tática: utilizar o processo de avaliação para outro fim, que não o explicito no objetivo da avaliação; e
• Finalidade política: utilizar os resultados da avaliação como munição no âmbito de um debate político.

Na Souk Analytics, fomentamos pesquisas avaliativas para análise dos efeitos. Nos próximos textos, vamos nos aprofundar nesse tipo de avaliação em saúde.