De um modo sumário, a definição de alguns termos é apresentada de seguida:

Avaliação. Qualquer modo sistemático de obtenção de evidências, desde a colocação de questões, ao desenho de inferências sobre conhecimentos, competências, atitudes e outras características de pessoas, ou com vista a um objectivo muito específico.

Exame. Uma avaliação sumativa usada para medir os conhecimentos ou competências de um aluno, com o propósito de documentação do seu nível actual de conhecimentos ou de competências.

Teste. Uma avaliação de diagnóstico para medir os conhecimentos ou competências de um aluno, com o objectivo de informar os alunos ou o professor do seu actual nível de conhecimentos ou competências.

Questionário. Uma avaliação formativa, utilizada para medir os conhecimentos ou competências de um aluno, com o objectivo de fornecer feedback para informar os próprios alunos do seu actual nível de conhecimentos ou competências.

Inquérito. Uma avaliação de diagnóstico ou de reacção para medir os conhecimentos, competências e/ou as atitudes de um determinado grupo, com a finalidade de determinar as necessidades e os requisitos para cumprir com determinado objectivo.

A utilização de avaliações

Existem cinco objectivos principais para a utilização de avaliações:

Diagnóstico. Uma avaliação que é utilizada inicialmente para identificar as necessidades e os conhecimentos que os futuros participantes numa experiência de aprendizagem já detém. A realização deste tipo de avaliação permite o posterior encaminhamento dos participantes para as experiências de aprendizagem que melhor se adequem às suas necessidades. Este tipo de avaliação permite uma personalização do percurso formativo de cada aprendente, adaptado às suas necessidades específicas e, portanto, mais eficaz. Pode ainda suscitar um maior interesse dos formandos ou alunos pelo tema que irão aprender, uma vez que nestas avaliações se poderão deparar com questões a que não saberão responder e que despertarão então a curiosidade pela resposta.

Formativo. Uma avaliação que tem como objectivo principal proporcionar uma oportunidade de os aprendentes tomarem consciência do seu nível de conhecimentos e competências adquiridas, podendo depois decidir se precisam de investir mais tempo no estudo de determinada matéria, ou se estão aptos a passar ao nível seguinte. Este tipo de avaliação põe em prática os mecanismos de pesquisa e memória por parte de um aprendente, reforçando e consolidando os conhecimentos adquiridos. Uma avaliação formativa fornece dados, tanto ao aprendente, como ao formador ou professor, permitindo verificar a eficácia dos métodos de ensino, e eventuais distorções de conceitos por parte dos aprendentes. A avaliação formativa é aplicada essencialmente em exames, testes práticos, testes de auto-avaliação de conhecimentos, competências e atitudes. Os resultados destes testes contribuem normalmente para uma nota final, não como um exame, mas como pontos de controlo que permitem ao formador/professor elaborar um julgamento sobre a evolução dos alunos no final do percurso formativo.

Necessidades. Uma avaliação de necessidades funciona como uma ferramenta que permite elaborar o diagnóstico de necessidades de formação de um grupo de pessoas, detectando lacunas de conhecimentos e competências. Estes são testes de baixo nível de exigência, cujos resultados são comparados com um conjunto de requisitos. Desta comparação resulta a lacuna que terá que ser colmatada. Um diagnóstico de necessidades de formação permite aos gestores, instructional designers e instrutores determinar que curso será necessário desenvolver para satisfazer as necessidades formativas dos colaboradores.

Reacção. Uma avaliação efectuada para determinar o grau de satisfação perante uma determinada experiência de aprendizagem ou de avaliação. Este tipo de avaliação é frequentemente referido também como as avaliações de Nível 1 definidas por Donald Kirckpatrick, que são implementadas no final de uma experiência de aprendizagem ou de certificação de competências/conhecimentos. Uma avaliação da reacção pode incidir sobre diversos aspectos da formação: os materiais usados na formação, o formador/professor, o ambiente de aprendizagem, a correspondência a expectativas dos formandos, etc. A partir destes dados, o formador e os organizadores da formação sabem quais os aspectos a melhorar nas experiências futuras.

Sumativo. Uma avaliação normalmente de carácter quantitativo, cujo principal objectivo é a atribuição de uma nota ou grau definitivos e a elaboração de um julgamento acerca da aprendizagem alcançada por um participante numa experiência de aprendizagem. Em algumas situações, se este juízo confirmar que o participante atingiu um nível de conhecimentos ou competências indicativas de um grau de especialista, poderá conferir uma certificação a esse participante.

Diferentes níveis de avaliação

Antes de se analisar de que modo as avaliações podem ser utilizadas com eficácia no processo de aprendizagem, é importante saber, não só que existe mais do que um tipo de avaliação, mas também que estes podem ser categorizados em termos das consequências para quem é avaliado. Estes níveis são três:

• Alto
• Médio
• Baixo

Por exemplo, um exame será de um nível alto quando as consequências dos resultados forem de maior impacto para quem é avaliado, enquanto um inquérito terá consequências de nível baixo ou médio. Directamente ligado às consequências e respectivo impacto estão as responsabilidades legais da execução de uma avaliação. Recorrendo ao exemplo anterior do exame e do inquérito, no caso o inquérito, as responsabilidades legais de quem o preenche serão reduzidas, podendo este tipo de teste ser respondido sem necessidade de vigilância, uma vez que não existirá qualquer motivação para copiar ou partilhar respostas com outras pessoas. Já no caso do exame, as consequências são diferentes, assim como as responsabilidades do avaliado, o que implica um maior controlo por parte dos avaliadores.

Também os conceitos de validade e fiabilidade das avaliações determinam em que nível se enquadram. É essencial que as avaliações de alto nível sejam fiáveis e válidas, enquanto que numa de baixo nível, esses indicadores poderão ter valores mais baixos. Isto resulta em que as avaliações de alto nível requerem mais planeamento, tanto num contexto académico, como num contexto profissional: requerem análises detalhadas, a definição de pontuações de aprovação e reprovação, a especificação dos métodos e verificação da consistência dos dados a entregar para avaliação, e ainda o detalhe de como serão registados e armazenados os resultados. Os responsáveis pelo desenvolvimento das avaliações planeiam quais as questões que devem estar e em que tópico num teste, quais os temas mais importantes, quais os menos importantes, e ainda a profundidade de competências necessárias.

Finalmente, nas avaliações de nível mais elevado, os psicometristas analisam as estatísticas de resultados e fornecem linhas condutoras sobre melhoramentos a introduzir no texto das questões, das opções de resposta, ou sobre como melhorar o teste em geral. No caso das avaliações de nível mais baixo, é raro estarem profissionais de psicometria envolvidos.

Para além dos indicadores já referidos, existem outros cuja influência na determinação da relevância do exame está expressa na tabela seguinte:

A natureza das avaliações

Conjugando as definições que têm sido feitas ao longo deste artigo, pode-se chegar à seguinte tabela de utilização típica de avaliações:

Por exemplo, o caso dos testes de nivelamento são um exemplo popular de avaliações de diagnóstico. Este tipo de avaliação é aplicado de forma a que quem o executa seja depois colocado na experiência de aprendizagem mais adequada às suas necessidades. No entanto, ainda no contexto dos testes de nivelamento, alguns poderão ser classificados com maior ou menor impacto. No caso do nivelamento de alunos de um curso de línguas, em que em função dos resultados serão colocados num nível mais avançado ou mais básico, o impacto é relevante. Já no caso da execução destes testes para indicação a um aluno de qual a experiência de aprendizagem a executar a seguir no seu percurso formativo, o impacto será menor.

A avaliações com grau de impacto médio mede o nível de conhecimentos e de competências dos participantes. Quanto mais pessoal for este teste, maior o seu grau de impacto e, portanto, maiores as respectivas consequências. Num contexto profissional, este tipo de teste pode ter consequências relevantes - por exemplo, se um funcionário receber um aumento por saber lidar com problemas mais complexos. Num contexto académico, este tipo de teste é utilizado para a atribuição de notas.

As avaliações com nível de impacto alto são as que têm um maior nível de exigência, como é o caso das certificações profissionais, em que para se poder exercer determinada profissão é necessária uma certificação adequada. Também o caso das certificações de entidades como a Microsoft, a Cisco, ou a Linux são certificações de alto nível, mas as consequências da sua realização não são tão decisivas como no caso das certificações profissionais, a não ser que da aprovação nessas certificações possa resultar um aumento ou uma promoção.

A palavra dos consumidores nas avaliações

Quando um cliente requisita um serviço de um profissional, é necessário que exista uma relação de confiança; que exista uma garantia de que a pessoa que vai executar o serviço realmente o saiba executar correctamente. Deste tipo de necessidade surge uma relação de "parceria" entre os consumidores, quem executa as avaliações, e quem as cria. Os consumidores precisam de confiar em quem contratam. Os criadores das avaliações pretendem testes que produzam medidas rigorosas, precisas e realistas. E os candidatos às avaliações pretendem testes justos.

Por esta razão, é necessário que exista comunicação a todos os níveis para garantir que todos entendam que os criadores das avaliações estão a tentar produzir um sistema justo e prático de avaliação. Estes aspectos estão relacionados com o reconhecimento de validade. Ou seja, a percepção dos não-peritos em como um teste realmente mede o que é suposto medir. Uma avaliação precisa, não só de ter a sua validade reconhecida pelos não-peritos, como também o seu conteúdo tem que ser reconhecido por especialistas - a determinação documentada por especialistas em como aquela avaliação mede de um modo justo as competências necessárias para um determinado trabalho.

Uma avaliação terá ainda que ser segura e fiável para o respectivo candidato. Assim, o criador da avaliação terá que obter os conhecimentos necessários à correcta criação de avaliações; os candidatos à avaliação têm que ser educados sobre o valor das avaliações e ver garantida a sua preparação para a executar e; finalmente, também os consumidores têm que ser educados sobre a validade das avaliações, de forma a que possam confiar nos profissionais que contratam.

A disponibilização de avaliações computorizadas de modo seguro

O recurso a computadores para o acesso a materiais de aprendizagem e posterior avaliação de conhecimentos, competências e atitudes tornou-se um hábito relativamente comum nos dias de hoje. Por esta razão, saber fazer a distinção entre os diversos tipos de disponibilização de avaliações online, os requisitos de segurança associados, e ainda os diversos tipos de avaliação que é possível executar em cada ambiente, tornou-se um dado importante. Os testes de baixo impacto e com grandes desenvolvimentos desnecessários podem resultar em custos evitáveis e em tempo perdido. Por outro lado, os testes de grande impacto e sub-desenvolvidos podem fragilizar a confiança dos utilizadores, os processos da organização, e ainda o reconhecimento de validade à avaliação.

Para além das distinções entre os diversos tipos de avaliação possíveis explicados acima, podem ainda ser feitas distinções quanto à sua utilização:

• Execução de avaliações para medida de conhecimentos, competências, atitudes e traços de personalidade;
• Execução de avaliações para promoção da aprendizagem e redução do esquecimento.

No contexto dos testes computorizados e atendendo ao propósito da sua execução, podem ser feitas as seguintes distinções:

O método de disponibilização de avaliações computorizadas depende muito do uso que terão essas avaliações, do objectivo da sua realização e das consequências dessa mesma realização. No entanto, há outro factor a ter em conta: a motivação do participante em completar a avaliação.

Ambientes para disponibilização de testes computorizados

A definição do ambiente para disponibilização de avaliações computorizadas é feita em função do grau de impacto que terá essa mesma avaliação. Quanto mais alto o valor do impacto, mais cuidados serão necessários para controlar o ambiente em que vai ser executada a avaliação, assim como a sua supervisão. Uma vez que as avaliações têm associadas uma grande variedade de consequências, existe também uma grande variedade de modos e lugares onde pode ser feita a disponibilização. O esquema seguinte procura ilustrar todas essas possibilidades:

(Clique na imagem para a visualizar em tamanho maior)

Os centros de avaliação são ambientes controlados e preparados para proporcionar aos seus utilizadores um conjunto de condições que as organizações que promovem a avaliação apontaram como necessárias à execução da própria avaliação. Isto significa que os candidatos podem confiar em condições justas para a execução da avaliação.

As avaliações de impacto mais alto têm que decorrer num ambiente livre de factores distractivos, com monitoria e vigilância. Por outro lado, as avaliações de baixo impacto não exigem tanto rigor. Quanto mais rigor é esperado, mais cara será a disponibilização da avaliação. O ambiente físico, tecnológico e os standards de monitoria da avaliação, assim como os métodos de autenticação da entrega da avaliação, são estipulados pela organização que promove a própria avaliação.

a) O ambiente físico. Os centros de avaliação devem ser salas fechadas, sem movimento que as atravesse. Devem ser sossegadas e livres de distracções, cómodas e com uma temperatura agradável ao longo do ano. Os computadores devem estar separados uns dos outros com divisórias acústicas e o equipamento deve oferecer operações, opções de acessibilidade e desempenho semelhantes. Os candidatos não devem ter possibilidade de imprimir ou capturar o conteúdo da avaliação e devem ser prevenidos quanto ao acesso a recursos (como páginas Web) que possam potenciar uma participação desonesta no processo de avaliação.

b) O ambiente tecnológico. As avaliações devem ser entregues com suporte em tecnologia consistente e comparável. A dimensão dos ecrãs, a velocidade dos processadores e as ligações em rede não têm que ser obrigatoriamente as mais recentes ou as melhores, mas devem ser comparáveis.

c) A vigilância. Os centros de formação podem ser vigiados ou monitorizados de diversos modos. Os candidatos devem estar num ambiente que possibilite uma vigilância visual constante; isto pode ser conseguido através de uma pessoa colocada directamente na sala para vigiar, ou através de um equipamento de videovigilância.

d) A autenticação. É importante confirmar que a pessoa que está a executar a avaliação é realmente a pessoa a quem foi dada a autorização para o fazer. Isto pode ser alcançado através da confirmação fotográfica, seja ela fornecida pelo governo, instituição académica, ou ainda, em algumas situações, por um representante (da instituição) ou por uma assinatura.

Existem diversos tipos de centros de avaliação, tipos esses que podem ser agrupados em dois grandes conjuntos: Centros de Avaliação Dedicados e Centros de Avaliação não Dedicados. No conjunto dos Centros de Avaliação Dedicados encontramos os:

• Centros controlados profissionalmente;
• Centros franchisados;
• Centros de educação superior;
• Centros corporativos.

Centros controlados profissionalmente. Os centros controlados profissionalmente fornecem um ambiente altamente consistente e controlado, de tal modo que um participante pode esperar receber o mesmo tratamento e ter a mesma experiência de um centro para outro. Trata-se de centros usados para exames de impacto bastante elevado, como exames de enfermagem, medicina, cuja implementação e manutenção é cara. Os exames que requerem certificação governamental são normalmente implementados nestes centros. Devido aos elevados custos associados, é pouco frequente serem desenvolvidos outros tipos de avaliações nestes centros.

Centros franchisados. Os centros franchisados são semelhantes a centros controlados profissionalmente, mas não podem garantir o rigor necessário para avaliações de impacto tão alto. No entanto, estes centros de avaliação são menos caros que os anteriores e proporcionam também muito boas condições para o desenvolvimento de avaliações de impacto alto num ambiente razoavelmente consistente.

Centros de educação superior. Algumas instituições de ensino superior cedem as suas instalações para a implementação de avaliações por parte de algumas empresas locais e, por vezes, são mesmo parte de uma associação de franchising. Estes centros de avaliação são semelhantes a centros controlados profissionalmente e têm como vantagem o reforço do rigor característico daquelas instituições. São geralmente centros mais acessíveis e oferecem boas condições para o desenvolvimento de avaliações de impacto elevado.

Centros corporativos. Cada vez mais grandes organizações estão a optar por estabelecer os seus próprios centros de avaliação, garantindo um método confidencial, consistente e eficaz para a implementação de avaliações de alto impacto. O equipamento destes centros é comparável aos dos centros profissionalmente controlados ou dos centros franchisados.

No contexto dos centros não dedicados estão as seguintes opções:

• Salas de formação;
• Local de trabalho supervisionado;
• Local de trabalho supervisionado remotamente;
• Local de trabalho sem supervisão;
• Supervisão em casa;
• Sem supervisão em casa;
• Sem supervisão num local público.

A maior parte das avaliações, computorizadas ou não, decorrem em centros de avaliação não dedicados.

De todos estes locais para implementação de avaliações, as salas de formação são as que se poderão aproximar mais de um centro de avaliação dedicado. Apesar de não reunirem as condições ideais, com algumas alterações na organização do espaço e pela implementação das avaliações com um software profissional de avaliações, grande parte das limitações podem ser ultrapassadam. Com software como o Questionmark Perception e o Questionmark Secure, as salas de formação podem ser transformadas em centros de avaliação, uma vez que previnem a impressão, captura de conteúdo do teste ou exame, abandono desadequado da avaliação, mudança de programa, e permitem ainda a apresentação de respostas de escolha múltipla de modo aleatório, ou até mesmo a criação aleatória de um teste a partir de um conjunto de questões predefinido, reduzindo assim a possibilidade de resposta desonesta ao teste.

O mesmo tipo de software pode ser usado na execução de avaliações no local de trabalho, podendo estas ser vigiadas por um monitor ou até mesmo por câmaras de vídeo que permitem uma vigilância remota da execução das avaliações. Este tipo de contexto não será o mais adequado para a implementação de avaliações de certificação, mas sim para testes de impacto médio.

Já no caso de avaliações para diagnóstico de necessidades de formação, avaliações formativas e de impacto médio/baixo, o local da respectiva implementação, tanto poderá ser o próprio local de trabalho, como em casa, sem supervisão. Algumas organizações de ensino a distância possibilitam já a implementação de avaliações de certificações em pequena escala em casa do candidato, com supervisão. O supervisor destas avaliações deverá ser indicado pelo candidato à organização certificadora, dependendo grande parte do sucesso deste tipo de avaliação do software de avaliação utilizado e dos métodos seleccionados pelo monitor.

Por sua vez, a execução de avaliações sem supervisão, em casa ou locais públicos (por exemplo, uma biblioteca), é indicada para avaliações de baixo impacto e com o objectivo de promoção da aprendizagem e reforço do que foi apreendido.

A criação do ambiente adequado

A entrega de avaliações em ambientes seguros é cada vez mais fácil à medida que a qualidade das redes de comunicação e do software de gestão das avaliações vai melhorando. Soluções como o Questionmark Secure permitem que sejam implementadas avaliações de impacto elevado em centros de avaliação das próprias organizações que as promovem.

Mesmo contando com algumas limitações no ambiente físico do centro de avaliação, o software de gestão de avaliação adequado pode garantir um ambiente seguro de execução da avaliação. No caso do Questionmark Perception, existem diversas funcionalidades que possibilitam a criação dessas condições:

• Autoria de testes seguros pela definição de apresentação de questões de modo aleatório, criando testes diferentes a partir de um mesmo banco de questões. Também as opções de resposta em questões de escolha múltipla podem surgir de modo aleatório, reduzindo a possibilidade de plágio.

• A encriptação de comunicações é um dado sine qua non para a implementação de avaliações computorizadas, uma vez que os dados são passados dos computadores onde cada candidato responde à avaliação para o servidor. No caso de haver tentativas de recolher dados da rede, é importante que estejam encriptados, evitando que a informação que está a ser transmitida seja lida.

• O Questionmark Perception permite o agendamento das avaliações, indicando a hora de início e de fim, o número de vezes que cada candidato pode responder à avaliação e disponibiliza também um nome de utilizador e uma password para cada participante, protegendo o acesso às avaliações.

• Através de um sistema de monitoria ou vigilância da avaliação, em que cada participante só pode iniciar o teste depois de o monitor ter iniciado sessão, o Questionmark permite o controlo da execução dos testes.

• A opção de desenvolvimento de avaliações em modo "secure browser", com o Questionark Secure, permite bloquear os computadores de modo a que os participantes na avaliação apenas tenham acesso à aplicação em que respondem às questões do exame. Ficam bloqueadas funcionalidades de impressão, acesso a outras aplicações, fecho acidental da aplicação de execução do exame, etc.

A Questionmark providencia tecnologias que podem ajudar as organizações na autoria, entrega e tratamento de resultados de avaliações de um modo seguro. Adaptado para todos os tipos de avaliações, desde exames de alto impacto, a inquéritos de impacto reduzido, com opção de anonimato na resposta ou protecção das avaliações com nome de utilizador e password, o Questionmark Perception é uma solução fiável e segura para a o desenvolvimento de avaliações computorizadas.

Baseado em textos com os títulos "Assessments through the Learning Process" e "Delivering Computerized Assessments Safely and Securely", publicado pela Questionmark no site http://www.questionmark.com/ catalog/uk/resources/ Assessments%20Through%20the%20Learning%20ProcessA4.pdf e http://www.questionmark.com/ catalog/uk/resources/DeliveringComputerisedAssessmentsSecurelyA4.pdf. Adaptado por Sofia Mendes, consultora na unidade estratégica de negócio e-Learning da Sinfic.