Psicometria e Validação de Instrumentos de Avaliação

A construção de um instrumento de avaliação deve começar com a definição clara do construto que se pretende medir e do respetivo enquadramento teórico.

O apoio pode incluir:

• Definição conceptual e operacional dos construtos;
• Identificação das dimensões teóricas;
• Revisão da literatura sobre instrumentos existentes;
• Construção de questionários e escalas;
• Formulação e revisão de itens;
• Definição de escalas de resposta;
• Avaliação da clareza e pertinência dos itens;
• Planeamento de pré-testes e estudos-piloto;
• Revisão da estrutura inicial do instrumento.

O objetivo é desenvolver um instrumento conceptualmente fundamentado e adequado à população e aos objetivos da investigação.

A utilização de instrumentos desenvolvidos noutros países ou contextos pode exigir procedimentos de adaptação linguística, cultural e psicométrica.

O apoio pode incluir:

• Planeamento da adaptação transcultural;
• Definição de procedimentos de tradução;
• Organização da retrotradução, quando adequada;
• Avaliação da equivalência conceptual;
• Avaliação da equivalência semântica;
• Revisão dos itens por especialistas;
• Planeamento de entrevistas cognitivas;
• Pré-teste da versão adaptada;
• Planeamento da avaliação psicométrica;
• Discussão das limitações da adaptação.

A tradução de um questionário, por si só, não demonstra que a versão adaptada possui propriedades psicométricas adequadas ao novo contexto.

A avaliação do conteúdo permite examinar a relevância, clareza e representatividade dos itens relativamente ao construto que se pretende medir.

O apoio pode incluir:

• Planeamento da avaliação por especialistas;
• Definição de critérios de seleção dos avaliadores;
• Construção de grelhas de avaliação;
• Avaliação da relevância e clareza dos itens;
• Cálculo do Índice de Validade de Conteúdo (IVC);
• Avaliação da concordância entre especialistas;
• Utilização de outros indicadores de validade de conteúdo;
• Planeamento e análise de estudos Delphi;
• Organização das recomendações dos especialistas;
• Revisão dos itens e das dimensões propostas.

A seleção dos indicadores e dos procedimentos depende do objetivo da avaliação, do número de especialistas e da natureza dos critérios utilizados.

Antes de avaliar a estrutura fatorial, pode ser necessário examinar o comportamento individual dos itens e a qualidade dos dados recolhidos.

O apoio pode incluir:

• Análise descritiva dos itens;
• Distribuição das respostas;
• Identificação de efeitos de teto e de chão;
• Avaliação de valores omissos;
• Análise de assimetria e curtose;
• Correlação item-total corrigida;
• Avaliação preliminar da consistência interna;
• Identificação de itens problemáticos;
• Discussão fundamentada da retenção ou exclusão de itens.

A decisão de eliminar itens não deve depender exclusivamente de critérios estatísticos, devendo também considerar a relevância teórica e conceptual.

A Análise Fatorial Exploratória é utilizada para investigar a estrutura latente subjacente a um conjunto de itens, quando essa estrutura ainda não está suficientemente estabelecida.

O apoio pode incluir:

• Avaliação da adequação dos dados à análise fatorial;
• Teste KMO e teste de esfericidade de Bartlett;
• Seleção da matriz de correlações adequada;
• Escolha do método de extração;
• Determinação do número de fatores;
• Análise paralela;
• Seleção de métodos de rotação;
• Interpretação das cargas fatoriais;
• Avaliação das comunalidades;
• Identificação de cargas cruzadas;
• Revisão da estrutura dimensional;
• Interpretação e apresentação dos resultados.

A AFE deve ser conduzida com critérios metodológicos e estatísticos adequados, evitando decisões baseadas exclusivamente em regras automáticas.

A Análise Fatorial Confirmatória permite avaliar em que medida um modelo de medida previamente especificado é compatível com os dados observados.

O apoio pode incluir:

• Especificação de modelos de medida;
• Definição das relações entre itens e fatores;
• Seleção de métodos de estimação;
• Avaliação de cargas fatoriais;
• Interpretação de erros de medida;
• Avaliação dos índices de ajustamento;
• CFI, TLI, RMSEA e SRMR, quando aplicáveis;
• Comparação de modelos teoricamente fundamentados;
• Avaliação de modificações ao modelo;
• Interpretação e apresentação dos resultados.

As modificações aos modelos devem ser justificadas com base em fundamentos teóricos, não apenas na melhoria dos índices de ajustamento.

A fiabilidade refere-se à consistência e precisão das medidas obtidas nas condições de avaliação consideradas.

O apoio pode incluir:

• Alfa de Cronbach;
• Ómega de McDonald;
• Fiabilidade compósita;
• Correlação item-total;
• Avaliação da consistência interna por dimensão;
• Fiabilidade teste-reteste;
• Coeficiente de Correlação Intraclasse (CCI/ICC), quando adequado;
• Avaliação da estabilidade temporal;
• Interpretação dos indicadores de fiabilidade;
• Discussão das limitações das estimativas obtidas.

A escolha dos indicadores deve considerar o modelo de medida, o tipo de dados e os pressupostos associados a cada estimativa.

A avaliação da validade envolve diferentes fontes de evidência que sustentam a interpretação dos resultados de um instrumento.

O apoio pode incluir:

• Avaliação da validade convergente;
• Avaliação da validade discriminante;
• Variância Média Extraída (AVE);
• Rácio Heterotrait-Monotrait (HTMT), quando adequado;
• Correlação entre fatores;
• Relações com instrumentos externos;
• Validade baseada em critérios externos;
• Avaliação de hipóteses sobre relações entre construtos;
• Interpretação das evidências de validade;
• Discussão das limitações da avaliação.

Os procedimentos devem ser selecionados de acordo com o enquadramento teórico, o modelo de medida e a finalidade do instrumento.

A invariância de medida permite avaliar se um instrumento apresenta propriedades de medida comparáveis entre diferentes grupos ou momentos de avaliação.

O apoio pode incluir:

• Planeamento de análises multigrupo;
• Invariância configural;
• Invariância métrica;
• Invariância escalar;
• Invariância residual, quando aplicável;
• Comparação de índices de ajustamento;
• Avaliação de diferenças entre grupos;
• Invariância longitudinal;
• Discussão das condições para comparação de médias latentes;
• Interpretação dos resultados.

A invariância de medida é especialmente relevante quando se pretende comparar grupos ou momentos temporais com base num mesmo instrumento.

A apresentação dos resultados deve permitir compreender os procedimentos realizados, os critérios adotados e as conclusões sustentadas pelas análises.

O apoio pode incluir:

• Organização das análises realizadas;
• Construção de tabelas de resultados;
• Apresentação da estrutura fatorial;
• Relato dos indicadores de fiabilidade;
• Apresentação das evidências de validade;
• Interpretação dos índices de ajustamento;
• Discussão das limitações metodológicas;
• Preparação de relatórios técnicos;
• Apresentação segundo normas APA;
• Apoio à interpretação para artigos científicos e teses.

O objetivo é produzir uma apresentação clara, rigorosa e metodologicamente fundamentada dos resultados psicométricos.

Não. O alfa de Cronbach é um indicador de consistência interna, não constituindo, por si só, uma demonstração da validade de um instrumento.

A avaliação psicométrica pode exigir diferentes fontes de evidência de validade e indicadores de fiabilidade, dependendo dos objetivos e características da medida.

A Análise Fatorial Exploratória (AFE) é utilizada para investigar a estrutura latente dos itens, quando essa estrutura ainda não está suficientemente estabelecida.

A Análise Fatorial Confirmatória (AFC) permite avaliar um modelo de medida previamente especificado, examinando a sua compatibilidade com os dados observados.

A escolha depende do estado de desenvolvimento do instrumento e dos objetivos da investigação.

Não necessariamente. A necessidade de realizar AFE, AFC ou ambas depende dos objetivos da investigação, do conhecimento existente sobre a estrutura do instrumento e das características dos dados.

Quando ambas são realizadas, é preferível que a confirmação da estrutura seja efetuada numa amostra independente ou através de uma estratégia de validação adequada.

Não existe um número universal de participantes adequado a todos os estudos psicométricos.

A dimensão amostral depende de fatores como o número de itens, a estrutura fatorial, as características das variáveis, a qualidade esperada das medidas e os métodos de análise utilizados.

O planeamento deve ser fundamentado nas características concretas do estudo e do instrumento.

Sim. A adaptação de instrumentos a novos contextos linguísticos, culturais ou populacionais é frequente na investigação científica.

Contudo, a utilização de uma versão traduzida pode exigir procedimentos de adaptação e avaliação psicométrica adequados ao novo contexto.

Sim. O acompanhamento pode incidir numa etapa específica, como validação de conteúdo, AFE, AFC, avaliação da fiabilidade ou invariância de medida.

Também é possível desenvolver um plano de avaliação mais abrangente, quando o projeto o justificar.

Sim, desde que os dados disponíveis sejam adequados aos procedimentos que se pretende realizar.

Antes de iniciar as análises, é importante avaliar a dimensão e qualidade da amostra, a estrutura da base de dados e as características do instrumento.

O orçamento depende da complexidade do instrumento, do número de itens e dimensões, da dimensão da amostra, das análises necessárias e dos entregáveis pretendidos.

Após uma avaliação inicial, apresentamos uma proposta adaptada às necessidades do projeto.