Texto baseado no livro Avaliação – conceitos e métodos, de Astrid Brousselle, François Champagne, André Pierre Contrandriopoulos e Zulmira Hartz. Editora Fiocruz, 2016; e Avaliação de Impacto na Prática, de Paul J. Gertler, Sebastián Martinez, Patrick Premand, Laura B. Rawlings e Christel M. J. Vermeersch, segunda edição. Washington, DC: Banco Interamericano de Desenvolvimento e Banco Mundial

No texto Avaliação em Saúde, abordaram-se os conceitos gerais de avaliação. Esta foi foi divida em dois tipos: avaliação normativa e pesquisa avaliativa. Avaliações normativas buscam comparar componentes de uma intervenção com critérios e normas pré-estabelecidas. A pesquisa avaliativa, por sua vez, respeita os ritos de uma pesquisa científica, analisando as relações causais entre os diferentes componentes da intervenção.

A pesquisa avaliativa é composta por seis subtipos:

• Análise estratégica: permite apreciar a pertinência da intervenção, ou seja, se a intervenção se destina a necessidades em saúde relevantes para uma dada população;
• Análise lógica: examina a coerência (o mérito e a validade operacional). Esse tipo de análise ex ante (antes da intervenção ser implementada), avalia se há uma base racional na utilização dos recursos para a produção dos processos que irão gerar os resultados esperados;
• Análise da produção: interessa-se pela produtividade e pelos determinantes da qualidade dos processos. Dessa forma, essa análise avalia se o processo está sendo executado como planejado e se a produção ocorre como previsto;
• Análise dos efeitos: verifica a eficácia (eficácia laboratorial), a efetividade (eficácia de utilização) e/ou o impacto (eficácia populacional) da intervenção, bem como suas externalidades (impactos não intencionais positivos ou negativos). Esse tipo de análise avalia se a intervenção produziu o resultado esperado;
• Análise da eficiência: atesta a eficiência global da intervenção, ou seja, a relação entre os efeitos e os recursos necessários para obter tais efeitos; e
• Análise da implantação: observa as interações entre a intervenção e o contexto de implantação na produção dos efeitos. Esse tipo de análise é de grande valia para que se possa compreender como o conhecimento produzido pela intervenção em um dado contexto pode ser traduzido para um contexto diferente.

Análise de Efeitos/Avaliação de Impacto em Saúde

As análises de efeitos em saúde, também de avaliações de impacto em saúde”, são de grande utilidade para se determinar quais intervenções realmente “funcionam”. Isso é fundamental para evitar o desperdício de recursos, principalmente em ambientes onde esses são escassos, como em países de renda baixa e média.

Na literatura anglófona, o termo “avaliação de impacto em saúde” pode ser encontrado como sinônimo de Health Impact Assessment – HIA ou de Health Impact Evaluation – HIE. HIA e HIE apresentam abordagens diferentes. A HIA é realizada ex ante, ou seja, antes da intervenção ocorrer, e serve para determinar quais possíveis impactos futuros de sua implementação na saúde. Esse método é muito comum para avaliação dos possíveis impactos de intervenções de outros setores (construção, mineração…) na saúde. A HIE, por outro lado, pode iniciar antes da intervenção, mas só é concluída após quando os impactos forem passíveis de mensuração. Dessa forma, HIA aproxima-se da análise estratégia e da análise lógica; e a HIE da análise de efeitos. Neste texto, o termo “avaliação de impacto em saúde” será utilizado como sinônimo de análise de efeitos em saúde, aproximando do conceito de HIE.

Os efeitos analisados podem ser de diversos tipos. As avaliações de impacto podem analisar as eficácias laboratorial e clínica (geralmente denominada apenas “eficácia”), a eficácia de utilização (conhecida também como efetividade) e a eficácia populacional (impacto) das intervenções. . Podem ser avaliadas, ainda, a saída (output) das intervenções, seus resultados (outcome) e seus impactos (impact). Esses termos são utilizados para designar a proximidade de efeitos na cadeia causal de uma intervenção. Os output são os efeitos mais proximais. Outcomes são produzidos por output em um determinado contexto, assim como impacts são produzidos pelos outcomes e por diversos outros determinantes.

As avaliações de impacto em saúde possibilitam, ainda, estabelecer uma distinção entre os efeitos diretos desejados e não desejados sobre a população em análise; e efeitos indiretos positivos e negativos (externalidades). Permitem, ainda, distinguir os efeitos de curto prazo daqueles de médio e longo prazos.

Métodos de Avaliação de Impacto em Saúde

Os métodos utilizados para realização de avaliações de impacto em saúde são numerosos. Estudos experimentais e quase-experimental são os mais comuns.

Estudos experimentais

Um experimento é uma intervenção controlada realizada para se avaliar os resultados em um indivíduo (clinical trials) ou em uma população (community trials). Os experimentos possuem três características:

• Randomização: dividindo a amostra sob estudo em grupo de intervenção e grupo controle de forma aleatória. Com isso, busca-se selecionar populações com características observáveis e não observáveis semelhantes para ambos os grupos;
• Controle: possibilitando a construção de uma amostra que permita a comparação não enviesada entre uma população que recebeu intervenção e uma população igual que não recebeu intervenção; e
• Manipulação: com o pesquisador agindo ativamente sob o grupo de intervenção.

Vantagens e desvantagens do desenho experimental

Esse tipo de desenho é relevante por gerar evidências de alta qualidade e por ter o potencial de evitar vieses de seleção entre os grupos experimental e controle. Como desvantagens, destacam-se a impossibilidade de aplicação em intervenções já iniciadas ou de cunho universal. O custo geralmente elevado para conduzir um experimento, o número pequeno de participantes envolvidos nos estudos e o curto tempo de seguimento, que pode mascarar o verdadeiro efeito da intervenção realizada.

Estudos quase-experimentais

Os estudos quase-experimentais contemplam algumas características dos estudos experimentais, mas não todas. As principais diferenças referem-se à randomização, que pode não estar presente; e/ou à intervenção, que pode estar sendo realizada por outro ator que não o pesquisador.

Existem diversos motivos para se realizar um estudo quase-experimental, por exemplo:

• Existência de evidências robustas dos benefícios de determinadas intervenções, o que geraria problemas éticos na determinação de um grupo controle;
• Intervenções já em curso; ou
• Designação para um grupo controle socialmente inaceitável.

Vantagens e desvantagens de desenhos quase-experimentais

Entre as vantagens do desenho quase-experimental estão:

• Sua aplicabilidade, visto que um experimento verdadeiro exige um rigor muitas vezes impossível de ser seguido em determinadas situações;
• Menor custo, em geral, que estudos experimentais;
• Menores riscos no que concerne à problemas éticos, quando não é o pesquisador a aplicar a intervenção;
• Crescente volume de dados disponíveis de forma aberta;
• Aumento da quantidade de algoritmos capazes de lidar com problemas complexos e grande volumes de dados, alinhados ao desenvolvimento dos métodos em Data Science e Big Data. Isso tem possibilitado analisar populações extremamente grandes por longos períodos de tempo.

Entre as principais desvantagens está a dificuldade em controlar vieses advindos de fatores não observáveis e a complexidade metodológica.

Avaliações de impacto em saúde na Souk Analytics

As avaliações de impacto realizadas pela Souk Analytics seguem os modelos das HIEs, utilizando métodos quase-experimentais. Não se propõem, com isso, que este métodos são superiores aos experimentais ou que os experimentais sejam superiores aos quase-experimentais. Métodos são instrumentos e a adequação de um instrumento se dá pelo fenômeno onde ele é empregado e pelo contexto. Por isso, advoga-se pela adequação e pelo rigor na aplicação de métodos, não por sua hierarquização descontextualizada.

Em outros textos, serão abordados métodos em estudos quase-experimentais para a análise de impacto em saúde. Inscreva-se em nossa Newsletter para receber atualizações sobre avaliação em saúde, data science e projetos de impacto.