Em algumas situações, a defensibilidade de uma avaliação tem que ser provada num meio jurídico. Uma entidade certificadora, por exemplo, nalguns casos terá que ser capaz de suportar modificações legais.

Apesar de este ser um assunto de interesse em particular para as organizações que se depararem com esta situação, deverá ser tomado em especial consideração também para qualquer organização que pretenda garantir a justiça, fiabilidade, validade e segurança das suas avaliações. Seguir os princípios para a criação de testes defensíveis legalmente pode ajudar qualquer organização a melhorar a criação de testes e a tornar mais eficiente sua administração, quer se trate de uma organização orientada para questões legais ou não.

Os desafios legais poderão surgir quer da parte de indivíduos, quer de grupos que indiquem que a própria organização, os processos que a regem (por exemplo, a atribuição de pontuações, implementação de avaliações, estabelecimento de aprovações ou reprovações, etc.) ou os resultados das suas avaliações não são legalmente válidos. Basicamente, a defensibilidade legal tem a ver com a seguinte questão: " Os resultados desta avaliação, ou de um modo mais generalizado, o programa de avaliação, são defensíveis num meio jurídico?".

De acordo com peritos em leis e casos legais registados, as quatro áreas principais em que um teste é legalmente posto em causa são:

• Fiabilidade;
• Validade;
• Justiça;
• Nota para aprovação.

Cada uma destas áreas requer especial atenção no desenvolvimento, administração e tratamento de dados (condução do trabalho de tratamento de dados). Em cenários de avaliação de médio e alto nível, o foco nestas quatro áreas principais vai seguramente ajudar a garantir o rigor e a justiça na avaliação.

Plágio em respostas a testes, assim como falhas de segurança na avaliação são áreas de preocupação que colocam de imediato em questão a validade dos resultados de uma avaliação. Senão se pode garantir/confiar que os resultados de um teste reflectem de modo rigoroso a verdadeira "capacidade" de um participante para um determinado grau de desempenho, então a validade dos resultados é questionável e defensibilidade legal de um programa de avaliação pode estar em jogo. A segurança é um facto bastante importante na garantia da defensibilidade dos testes, podendo ser reforçada e garantida através dos produtos Questionmark.

A defensibilidade requer uma vigilância para as situações de processo e utilização de informação. As organizações de avaliação deverão reunir e manter actualizado um portfólio de evidências que ilustre como promover as melhores práticas e documentam os processos e procedimentos. A utilização de produtos Questionmark ajuda a garantir a defensibilidade das avaliações, beneficiando não só a organização avaliadora e responsável pela implementação das avaliações, mas também os participantes que executarem avaliações junto daquela organização.

O que é a defensibilidade?

A defensibilidade legal, no contexto de uma avaliação, está relacionada com a capacidade de uma entidade avaliadora fazer frente a desafios legais. As consequências de não ter práticas defensáveis, quer para os participantes, quer para a entidade avaliadora, são bastante consideráveis. Em exames de alto nível de exigência, os participantes que sejam inadequadamente certificados podem colocar em causa os próprios stakeholders que estão a servir ( por exemplo, a obtenção de certificados por parte de médicos que não estejam realmente qualificados pode colocar os seus pacientes em risco).

Por outro lado, os participantes que merecem ser certificados mas acabam por falhar, poderão ter fundamentos para levantar acções legais contra a entidade certificadora. É também uma perda para a classe de profissionais do participante que acaba por não ser certificado, quando pessoas com as reais capacidades e competências não são devidamente reconhecidas.

No que toca a certificações, a decisão de "certificar/não certificar" é geralmente baseada num limite mínimo de pontuação (por exemplo, 50 por cento de um teste correcto). A simples diferença de um ponto percentual pode resultar em que pessoas qualificadas acabem por não ser certificadas, ou que pessoas com menos qualificações consigam a certificação de uma forma desajustada.

Nos testes de baixo e médio nível, os riscos podem aparentar ser menores, no entanto os efeitos de não seguir práticas defensáveis, tanto para os participantes, como para as organizações, pode ser sentidos. A reputação da organização pode ser posta em causa quando os participantes perdem a confiança na qualidade dos testes que estão a executar.

Surgirão mais queixas e reclamações se os participantes sentirem que os testes não medem exactamente aquilo que é suposto medirem, ou se a qualidade das questões é posta em causa. Seguir as boas práticas num processo de avaliação consome tempo, mas retorna dividendos sob a forma de avaliações de maior grau de qualidade.

Seguir as melhores práticas e os standards, independentemente do programa de avaliação, trará benefícios para os responsáveis pelo desenvolvimento de um teste, stakeholders e para os participantes. A adesão às directrizes de melhores práticas e standards na área da psicometria (medições educativas e psicológicas) é essencial para que um processo de avaliação seja considerado legalmente defensível.

No caso da apresentação de desafios legais, a organização avaliadora necessitará de apresentar provas em como as directrizes e standards profissionais foram seguidas (desde a fase de planeamento até ao desenvolvimento de conteúdos, implementação da avaliação, pontuação e tratamento de resultados).

Como já foi referido, as quatro principais áreas sob as quais se colocam questões legais são a fiabilidade, validade, justiça e estabelecimento de margens para aprovação/reprovação. A fiabilidade tem a ver com o grau de confiança que se pode depositar na medida que uma avaliação faz de determinada construção. Uma construção é uma variável latente, que está a ser alvo de avaliação, tal como uma capacidade matemática ou uma aptidão mecânica.

De um modo geral, uma avaliação é um instrumento de medida composto por muitos outros instrumentos de medida (questões e items). Todos os instrumentos de medida têm alguma margem de erro nas suas estimativas (incluindo as questões de avaliação). Pretende-se com isto chegar à conclusão que se um teste não tivesse qualquer erro e a memória de um participante pudesse ser apagada sempre que o fosse executar, o participante teria sempre a mesma nota. Isto quereria dizer que nesta situação teórica, a fiabilidade do teste seria perfeita.

No mundo real, a situação não é esta. As questões não medem de forma perfeita o quanto os participantes sabem sobre um determinado assunto, e por isso, as pontuações de um teste não podem ser fiáveis a 100 por cento. Existem diversas formas de medir a fiabilidade de um teste:

• Consistência interna. Como é o comportamento de todas as questões juntas de um teste?
• Divisão a metade. Comparação entre duas partes do mesmo teste (os primeiros 25 items versus os últimos 25).
• Teste do teste. Comparação entre múltiplas implementações do mesmo teste.
• Fiabilidade entre diferentes pontuadores. Comparação entre dois ou mais avaliadores que classificam o mesmo teste.

Os principais factores que influenciam a consistência interna da classificação de um teste são:

• Dimensão do teste. De um modo geral, testes com mais itens resultam em maior fiabilidade nos resultados do teste.
• Discriminação de itens. Itens com maior discriminação (fidelidade) providenciam mais valor de medida (dependendo do que está a ser avaliado e de quem está a ser avaliado. Por exemplo, pode não se tratar de uma falha do item de avaliação, mas talvez do facto da turma não ter recebido determinado conhecimento de forma apropriada).
• Construção que está a ser avaliada. Se todas as questões estão a medir a mesma construção, a fiabilidade aumenta.
• Quantos participantes executaram o teste. Com números pequenos de participantes, a fiabilidade do teste será menor.

O Questionmark Perception dá resposta a estas necessidades de análise de resultados através do Item Analysis Report e do Test Analysis Report, que geram correlações entre itens e seu total do tipo Point-Biserial/Pearson para as questões, e ainda o Alpha de Cronbach para os testes. Geralmente, a validade refere-se à verificação de que o teste está a medir de facto o que é suposto medir. O processo de validação lida com a reunião de evidências acerca dos seguintes pontos:

• Se o teste mede o que é suposto medir;
• Até que ponto o processo de criação do teste e suas questões está de acordo com as linhas condutoras e standards geralmente subscritos;
• Se os especialistas têm oportunidades de rever e aprovar os processos;
• A capacidade das classificações dos testes preverem os resultados esperados em avaliações futuras.

Tradicionalmente, a validade refere-se a três áreas:

• Validade dos critérios de avaliação. Até que ponto é que as variáveis que estão a ser avaliadas são capazes de apontar resultados futuros (por exemplo, até que ponto as classificações de um participante num teste são capazes de garantir o seu desempenho no local de trabalho).
• Validade dos conteúdos a avaliar. O conteúdo do teste é adequado àquilo que se pretende medir? (por exemplo, a cobertura que é feita aos conteúdos é representativa do curriculum de conteúdos a avaliar?).
• Validade da construção. O teste está a medir o atributo, ou capacidade ou construção correcta? (por exemplo, um teste de capacidade matemática está de facto a medir a capacidade matemática do participante?).

A justiça da avaliação refere-se ao facto de o teste apenas medir aquilo para que foi construído sem o estabelecimento de qualquer (des)vantagem para um determinado grupo demográfico. De um modo geral, um teste é considerado desajustado se apresenta desempenhos diferentes para diferentes grupos de participantes ou demografias que têm o mesmo nível de capacidades. Existem muitos factores que podem contribuir para este desajuste:

• A forma como o teste foi implementado;
• A tradução das questões do teste;
• O conteúdo das questões (gráficos fora do comum, pouco compreensíveis ou até que possam ser considerados ofensivos para certos grupos ou demografias).

A justiça de um teste refere-se ao modo como os resultados de um teste são usados. Por exemplo, os resultados de um teste que foi considerado ser desajustado podem ser usados injustamente pela aplicação de diferentes standards ou critérios para diferentes grupos demográficos. A justiça deverá ser tratada pela aplicação de boas práticas da área de avaliação e pela implementação de revisões independentes para garantir que as decisões que são tomadas são o mais justas possível.

As margens para aprovação/reprovação são as melhores práticas geralmente usadas para determinar se os participantes demonstraram ou não o nível adequado de conhecimentos ou competências num determinado teste. Estas margens de aprovação/reprovação não têm que se referir apenas ao estabelecimento de limites para aprovação/reprovação como a regra dos 50 por cento, por exemplo. Podem ser definidas diferentes margens para um teste que farão a diferenciação entre níveis "avançado", "aceitável" e "reprovado".

Existem muitos métodos standard para o estabelecimento de níveis de desempenho e limites de aprovação/reprovação num teste, sendo estes métodos geralmente divididos em dois tipos: aproximação centrada no teste ou questões; aproximação centrada no participante. Alguns dos métodos mais conhecidos são os seguintes:

• Metódo de Angoff modificado (centrado no teste ou questão). Cada perito na matéria de um conjunto de questões estabelece qual será o grau de aprovações mínimo expectável para cada questão. No final é estabelecido o limite de aprovação/reprovação pela média das estimativas apresentadas. Este método geralmente é usado nas questões de escolha múltipla.

• Método de Nedelsky (centrado no teste ou questão). Um conjunto de peritos na matéria faz uma análise questão a questão de forma a determinar que elementos distractores em cada questão poderão levar os participantes que se posicionem no limite da aprovação/reprovação a dar uma resposta incorrecta. Este método só é usado nas questões de escolha múltipla.

• Método Bookmark (centrado no teste ou questão). As questões são ordenadas por ordem crescente de dificuldade e os peritos na matéria estabelecem marcas para identificar onde se devem situar os níveis de desempenho.

• Método de grupos "borderline" (centrado no participante). É preparada uma descrição para cada categoria de desempenho. É pedido aos peritos na matéria para apresentar uma lista dos participantes cujo desempenho num teste deverá ser próximo do desempenho standard. O teste é aplicado a este conjunto de participantes e a média das classificações é usada como o limite para aprovação/reprovação.

• Método de contraste de grupos (centrado no participante). Os peritos na matéria categorizam os participantes nas suas avaliações de acordo com descrições de categorias de desempenho. O teste é aplicado a todos os participantes categorizados e as distribuições de classificações para cada grupo categorizado são comparadas. No ponto de intersecção entre os grupos contrastados é onde será definido o limite de aprovação/reprovação.

O Questionmark Perception pode ajudar na definição de classificações de aprovação/reprovação para facilitar a defensibilidade de um teste de diversas formas:

• Pode ser usado o Item Analysis Report para obter informação sobre o grau de dificuldade de questões para todos os participantes ou apenas para alguns grupos.
• Pode ser usado o campo relativo ao método de Angoff no Perception para capturar as estimativas de dificuldade das questões.
• Na utilização do método "Bookmark", podem ser ordenadas as questões de um teste actual para um teste separado, criado especificamente para fazer estas medições. Pode ser usada a informação sobre o grau de dificuldade das questões obtida a partir do Item Analysis Report para fazer o ordenamento das questões por ordem crescente de dificuldade.

À medida que a indústria de avaliações se desenvolve em direcção às ferramentas de autoria, agendamento, entrega e tratamento de resultados de forma computorizada, sistemas como o Questionmark Perception podem ajudar a garantir defensibilidade legal.

Directrizes, standards e recursos de boas práticas

Como já foi referido, a adesão às directrizes de melhores práticas e standards na área da psicometria é essencial para que um processo de avaliação seja considerado legalmente defensível. Muitas destas directrizes, boas práticas e standards são produzidas por diversas organizações por todo o mundo.

a) Standards para testes educacionais e psicológicos

No âmbito de documentação sobre standards e linhas condutoras para a produção de avaliações de carácter educativo e psicológico, existe uma publicação importante: "Standards for Educational and Psychological Testing" (1999). Este documento foi desenvolvido conjuntamente pela "American Educational Research Association "(AERA), a "American Psychological Association" (APA), e pela "National Council on Measurement in Education" (NCME).

Esta publicação é dirigida tanto a profissionais como a utilizadores "ad hoc" na área da avaliação. Está focada no desenvolvimento de testes nas áreas da educação, psicologia e recrutamento, e as recomendações que apresenta são aplicáveis internacionalmente (e não apenas no contexto dos EUA, onde foi produzida). O "Standards for Educational and Psychological Testing" apresenta boas práticas para uma audiência alargada orientada para organizações que desenvolvam testes educativos e psicológicos a vários níveis, mas que têm aplicabilidade a qualquer área de avaliação.

b) Teste de conformidade - requisitos gerais para organizações certificadoras de pessoas (17024 (2203))

O documento 17024 foi desenvolvido como um standard internacional e disponibilizado pelo "American National Standard Institute" (ANSI), e fornece linhas condutoras para a área da certificação de pessoas. Este documento encontra-se estruturado em secções numeradas e sucintas que permitem a uma organização facilmente conduzir uma auditoria para determinar se uma organização está ou não conforme as directrizes que aponta.

Deste modo, uma organização pode facilmente elaborar uma checklist em que cada secção do documento do standard 17024 é comparada com a situação actual da própria organização, determinando o grau de correspondência entre os dois. Esta actividade pode funcionar, assim, como uma auditoria ao estado actual de uma organização relativamente aos standards e como um ponto de partida para o desenvolvimento de um roadmap para melhorias, se necessário.

c) Guidelines for Computer-Based Testing (2000)

A publicação "The Guidelines for Computer-Based Testing" foi produzida pela "Association of Test Publishers" (ATP), da qual a Questionmark é um membro activo. O público-alvo desta publicação é bastante alargado:

• Organizações de criação de testes e avaliações;
• Publicadores de testes, implementadores de avaliações e organizações de disseminação de avaliações;
• Instituições de licenciamento e certificação.

De que modo pode o Questionmark Perception apoia na garantia da defensibilidade das avaliações?

O Questionmark Perception dispõem de mecanismos que ajudam na garantia da defensibilidade das avaliações ao longo das quatro fases de criação de uma avaliação:

• Autoria das questões e respectiva selecção para composição de um teste;
• Agendamento das sessões de avaliação para um grupo de participantes;
• Entrega das avaliações aos participantes;
• Tratamento e análise de resultados dos testes.

a) Autoria

O Perception disponibiliza 22 tipos de questões. Este grau de flexibilidade na autoria de questões permite uma mais fácil adaptação do tipo de questão ao conteúdo alvo de avaliação, de forma a medir de modo mais eficaz o que se pretende de facto medir. O Percetion também permite um elevado grau de flexibilidade na pontuação de questões, de modo a garantir pontuações psicométicas adequadas e justas.

O Perception possibilita ainda o envolvimento de diversos intervenientes na revisão e edição das questões antes de estas serem aplicadas aos participantes. Deste modo é garantida a validade dos conteúdos do teste. Este envolvimento de diferentes intervenientes é controlado e gerido pela utilização de repositórios partilhados e acedidos remotamente através de meios seguros na Internet ou em Intranets.

De igual modo, podem ser estabelecidos graus de acesso à estrutura de tópicos para organização das questões para limitar o grau de intervenção de cada autor, e ainda diferentes perfis, ajustados ao tipo de intervenção de cada participante na autoria das questões e dos testes. A atribuição de diferentes status a cada questão (normal, beta, experimental, incompleta ou retirada) permite que a selecção de questões para testes seja controlada e que seja efectuados testes com perguntas que não contarão ainda para a classificação final, mas que serão aplicadas para serem validadas ou ajustadas consoante as repostas dos participantes.

O Perception permite ainda o registo de dados demográficos dos participantes para posterior análise através de relatórios de avaliação.

b) Agendamento

O agendamento de avaliações no Perception procura garantir que são as pessoas certas que executam o teste certo e que estão activos os mecanismos de segurança necessários para garantir a defensibilidade legal da avaliação. Podem ser agendados testes para um participante em particular, para diversos participantes especificamente ou para conjuntos de participantes mediante utilização de um conjunto de características específicas, tais como:

• Introdução de um login e de uma password;
• Limite do número de tentativas para execução do teste ou sem limite;
• Execução do teste entre determinadas datas;
• Execução do teste apenas na presença de um monitor;
• Ajuste das condições de execução do teste para pessoas com necessidades especiais;
• Execução do teste apenas em centros de testes;
• Execução de testes online ou offline (mediante utilização do Questionmark to go).

O Perception permite ainda a actualização dos dados dos participantes de forma a garantir a segurança na execução dos testes e rigor nos resultados extraídos, através de diversos mecanismos:

Importação manual ou automática de informação de participantes;

Organização dos participantes em diferentes grupos ou hierarquias, podendo cada um estar associado a diferentes centros de testes.

c) Entrega/disseminação

Muitas das questões relacionadas com a defensibilidade de um teste são colocadas no momento da entrega do teste: meio de entrega do teste, segurança do método de execução e aspectos críticos do processo de avaliação. Também o interface do participante com o teste tem implicações importantes na justiça e igualdade de acesso do participante ao teste. O Perception permite a entrega das avaliações de diversos modos:

• Browsers Web standard;
• Browsers Web seguros;
• CD-ROM ou desktop Windows;
• Impressão e digitalização;
• PDAs e Smartphones.

É importante que sejam tomadas as opções de entrega mais adequadas as necessidades de defensibilidade legal de uma avaliação. No caso das avaliações de grau elevado (por exemplo, certificações), o Questionmark Secure permite a restrição de acessos a outros programas num computador em que está a ser executada a avaliação:

• Não é possível fazer impressões de questões;
• Não se tem acesso à barra de URL;
• Exame apresentado em fullscreen, impossível de redimensionar;
• Impossível arrancar uma nova tarefa;
• Não há menus ou ícones;
• Não é possível usar teclas de atalhos;
• Não é possível usar o botão direito do rato;
• Impossível arrancar uma nova aplicação;
• Não é possível navegar para páginas anteriores;
• Impossível aceder à fonte HTML;
• Utilização de uma API para controlar determinadas funções de um browser a partir do servidor;
• Possibilidade de introdução de uma barra de ferramentas do Questionmark Secure.

O Perception pode ainda configurar a entrega das avaliações com um "save" automático das respostas já dadas, prevenindo falhas técnicas ou distracções por parte do participante e também definir a apresentação das questões uma a uma no ecrã, ou todas numa única página. Cada um destes métodos de apresentação do teste é legalmente defensável e tem vantagens ou desvantagens consoante o objectivo da avaliação e os mecanismos de segurança que requer.

d) Tratamento/análise de resultados (extracção de relatórios)

Através dos 12 tipos de relatórios apresentados pelo Questionmark as organizações podem avaliar o desempenho dos participantes nas avaliações e o desempenho dos próprios testes, de forma a garantir a defensibilidade legal. Com estes relatórios podem obter resultados que ajudarão a tomar decisões informadas para a melhoria do processo de desenvolvimento de testes. Os doze tipos de relatórios apresentados pelo Enterprise Manager do Perception são os seguintes:

• Coaching Report
• Item Analysis
• Question Statistics Report
• Assessment Overview Report
• Survey Report
• Score List Report
• Transcript Report
• Grade Book Report
• Gap Report
• Test Analysis Report (Perception version 4.4+)
• Export to ASCII
• Export to Excel

O Coaching Report dá informações sobre o desempenho de um participante num teste, incluindo detalhes ao nível da pergunta, como a apresentação da resposta dada pelo aluno. No caso de testes de elevado nível, este relatório apresenta dois benefícios para a sua defensibilidade legal:

• Pode ser usado para investigar suspeita de cópia ou procedimentos não permitidos na execução do teste;
• O relatório apresenta o registo das questões apresentadas e as respostas do participante, uma a uma, útil no caso um participante reclamar da sua pontuação e requerer a revisão das suas respostas.

Os Item Analysis Report e Question Statistics Report apresentam informação estatistica clássica sobre as questões que compõem um exame. Esta informação pode ser usada para avaliar o grau de desempenho psicometrico das questões. Os benefícios destes relatórios para a defensibilidade legal das avaliações prendem-se com:

• O grau de dificuldade das questões;
• A capacidade de diferenciação/discriminação das questões relativamente a participantes de desempenho baixo, médio ou alto.

O Assessment Overview Report dá informações sobre quantos participantes executaram um teste , as médias de pontuação e outros dados sobre os resultados.

O Survey Report pode ser útil para a obtenção de feedback de participantes sobre a sua participação em testes de alto ou médio nível, podendo assim uma organização ajustar os testes que implementa.

O Score List Report apresenta informação sobre todos os participantes que executaram uma avaliação, sendo costumizavel para apresentar apenas os campos que interessa apresentar (como em todos os relatórios). Permite ter uma visão global do desempenho de todos os resultados de todos os participantes num teste num único relatório. O tipo de informação que apresenta permite verificar a validade do teste, garantir que foi efectuado por uma pessoa num determinado IP (garantindo a segurança)e garantir que todos os participantes terminaram o teste num determinado período de tempo.

O Transcript Report apresenta os resultados de um único participante em múltiplos testes, facilitando o arquivo dos resultados de um aluno, necessários para garantir a defensibilidade de um programa de avaliação e a revisão do desempenho histórico do participante.

O Grade Book Report permite aos utilizadores produzir uma caderneta de calssificaçoes composta por múltiplos testes para multiplos grupos. Permite a ponderação de diferentes avaliações para atribuição de uma nota final.

O Gap Report permite a comparação de diferentes grupos de participantes ou de um mesmo grupo de participantes em diferentes períodos. Permite a investigação de diferenças nos resultados em cada questão, tópico ou nível de teste. Permite por exemplo verificar a igualdade na implementação de um mesmo teste em grupos demograficos diferentes, de forma a tornar a avaliação legalmente defensível.

O Test Analysis Report é desenhado para dar um sumario abrangente do desempenho d eum teste, avaliar e garantir a sua defensibilidade legal. Providencia informação estatistcia detalhada sobre o desempenho de um teste e pode ser usado em exames, testes e quizzes. Apresenta uma analise deo coeficiente de fiabilidade do Alfa de Cronbach, indicando o valor de consistência interna do teste e o grau de fiabilidade dos resultados do teste.

Finalmente, os relatórios de exportação para Excell e ASCII permitem a formatação de dados que poderão depois ser importados noutros sistemas. Isto permite o arquivo da informação de avaliações de uma organização e o desenvolvimento de analises psicometricas avançadas para investigação de aspectos relacionados com a defensibilidade legal.

Qualquer um destes relatórios pode ter a implementação de filtros no tratamento de resultados, permitindo a comparação de resultados por datas, grupos demográficos ou participantes. Determinar como é o desempenho de um teste ao longo do tempo e com diferentes grupos demográficos, é informação de valor elevado que suporta a defensibilidade legal de um programa de avaliações, podendo os filtros e os relatórios do Questionmark Perception suportar esta investigação.

Sofia Mendes, consultora na unidade estratégica de negócio e-Learning da Sinfic.