A Questionmark envolveu recursos para o desenvolvimento da versão prévia do documento, facilitando a realização de reuniões de equipa e produção da versão final. O documento produzido está classificado com a versão 1.0, indicando que esta framework irá continuar a ter desenvolvimento, no sentido de analisar a forma como os actores envolvidos na área da educação poderão aplicar conceitos, princípios, e identificar formas de melhoria e expansão desta matéria.

O objectivo deste documento é o de estabelecer uma framework de avaliação para a comunidade académica e contextualizar essa framework com o conceito de aprendizagem dessa mesma comunidade. Uma das premissas deste texto tem a ver com a noção de que a avaliação da aprendizagem do aluno pode gerar informação relevante para dar suporte aos esforços contínuos de melhoria necessários à documentação da medição da eficácia.

Esta eficácia institucional pode ser medida em termos de áreas - tais como diplomados, taxas de retenção, colocação no mercado, número e eficácia dos serviços ao estudante, estrutura administrativa e de gestão, infra-estrutura física. Embora a medição nestas áreas seja crítica, não é intencionalmente o foco desta análise. Por outro lado, este documento foca a sua análise na medição da aprendizagem e desenvolvimento do aluno, tanto na vertente do ensino presencial, como através de salas de aula virtuais.

Os estudantes recorrem aos estabelecimentos de ensino superior motivados por várias razões - para se licenciarem, adquirirem um certificado (aprendizagem formal), obterem créditos (por exemplo, ECTS - European Credit Transfer and Accumulation System), desenvolver competências específicas através da realização de um ou dois cursos. No entanto, o cerne da sua motivação prende-se com o desejo de melhorarem o seu nível de competências, de conhecimento, e mudar atitudes. As competências, conhecimento e atitudes podem ser alterados de acordo com programa educativo (instrucional), na formação tradicional (presencial) e comunidades virtuais, ou ainda através de actividades extracurriculares (aprendizagem não formal).

Independentemente do ambiente de aprendizagem, a medição da eficácia será sempre uma forma de a instituição aferir se os estudantes estão a atingir, ou não, os seus objectivos de aprendizagem propostos. Se a aprendizagem pode ser documentada ao nível do estudante, então também será possível agregar informação à avaliação de forma a fornecer informações no curso, programa, área científica, e níveis institucionais. Desta forma, a informação recolhida na avaliação ao nível do estudante pode ser usada para promover esforços contínuos de melhoria, que com o passar do tempo irão servir de suporte à documentação da eficácia institucional.

Em alguns contextos de ensino superior, onde a população de estudantes está em constante alteração, a informação da avaliação não será considerada tão útil ao nível do estudante, quanto será ao nível de agregação da informação. Nestes cenários, a informação agregada pode ser usada em benefício do desenvolvimento de oportunidades do currículo e faculdades, importantes para iniciativas de melhoria contínua.

Além dos dados da avaliação fornecerem informação relevante aos docentes e administração, os estudantes também beneficiam desta situação, de forma directa ou indirecta, através dos resultados da avaliação. Com o uso apropriado das avaliações, os estudantes recebem feedback sobre o seu progresso, ajudando-os a serem responsáveis e a compreenderem as etapas críticas do seu plano educacional. Os estudantes são igualmente beneficiários dos esforços contínuos de melhoria, baseada na análise sistemática dos dados de avaliação em termos da universidade, programa e qualidade do curso.

Em termos de suporte da medição da aprendizagem do estudante, a framework de avaliação irá proporcionar um vocabulário específico da avaliação, processos de implementação e métodos de geração da informação e relatórios. A framework não tem intenção de prescrever uma metodologia de medição da aprendizagem do aluno. Em vez disso, deverá ser vista como um conjunto de blocos de construção e boas práticas que podem ser assemblados, modificados, ou adaptados em função das especificidades da instituição, em termos da abordagem que esta faz da aprendizagem, do sistema de ensino e de avaliação.

Da mesma forma, o vocabulário utilizado tem como objectivo disponibilizar uma terminologia de base. Os sistemas educativos devem usar as definições de forma a estabelecerem uma base de entendimento comum entre as partes interessadas, de modo a que, se necessário, se possam desenvolver outras definições a partir dessas. O objectivo da framework de avaliação é fornecer uma base de termos, processos, e procedimentos, de modo a que todas as partes interessadas envolvidas com o desenvolvimento ou manipulação de resultados da avaliação possam operar a partir de uma base de compreensão comum.

Porquê criar uma framework de avaliação para a comunidade académica?

As comunidades académicas são cada vez mais solicitadas a documentar a eficácia institucional de acordo com os dados de avaliação. Os organismos de certificação académica respondem a uma variedade de requisitos de avaliação, mas a indicação que se segue, extraída da Southern Association of Colleges and Schools' Principles of Accreditation: Foundations for Quality Enhancement (secção 3.3) reforça a ideia da importância de documentar a eficácia de programas educativos através de dados da avaliação.

"A instituição identifica os resultados expectáveis de acordo com os seus programas educacionais e os seus serviços de suporte educacionais e administrativos; avalia se esses resultados são atingidos; fornece evidências de melhoria baseadas em análises desses resultados."

Sendo clara a necessidade de uma avaliação, existe, no entanto, uma clara lacuna entre os objectivos que se pretendem atingir e a forma de o conseguir. Esta lacuna impede que os meios académicos possam planear uma framework eficaz de avaliação que traduza uma leitura relevante sobre os dados dos estudantes, cursos, programas, e níveis académicos.

A extensão e a profundidade desta lacuna varia em função da instituição académica. No entanto, a framework de avaliação pretende anular essa lacuna de informação da avaliação, começando por definir um vocabulário de avaliação, esboçando uma metodologia prática de implementação da avaliação e estabelecendo uma metodologia de como fazer uso dos dados da avaliação de forma integrada num campus académico.

Mas antes de se falar sobre avaliação, e ainda menos numa framework de avaliação para a comunidade académica, precisamos de definir o contexto do papel da avaliação. A avaliação pode ser pensada como um "jogo de ferramentas", um conjunto de dispositivos e instrumentos fantásticos, cada um afinado e calibrado no sentido de resolver um problema específico. Este conjunto de ferramentas pode ser impressionante, mas sem a percepção de como deve ser aplicado, não será possível tirar partido do seu potencial. Além disso, este conjunto de ferramentas, se não for aplicado num determinado contexto e com objectivos definidos, não será de grande ajuda. Deve ser contextualizado de acordo com o conceito alargado dos resultados de aprendizagem de uma organização académica, antes de pode ser aplicado com sucesso.

À primeira vista, a resposta à questão do contexto pode parecer simples. O contexto é a educação, e as avaliações ao nível académico são aplicadas em função de determinadas variáveis - para assegurar que os estudantes estejam prontos para a faculdade ou para o seu próximo curso; para certificar os estudantes para uma profissão ou tipo de negócio; para assegurar que cursos, programas e departamentos atingem os objectivos a que se propõem; e para assegurar que a instituição forneçe um ambiente de aprendizagem de nível elevado. Mas ainda que o uso das avaliações seja válido, o contexto educacional em que são aplicadas está em mudança e os processos de admissão e certificação, assim como os modelos acreditação, precisam igualmente de evoluir.

Terry O'Banion refere-se, numa monografia intitulada Launching a Learning-Centered College, à "revolução da aprendizagem". Escrita na última década do século XX, é colocado o enfoque na forma como as comunidades académicas redefiniram a missão e os valores do processo da aprendizagem e transformaram as suas estruturas institucionais no sentido de organizações orientadas para "learning-centered".

A aprendizagem é o foco do processo educacional. Centra-se no estudante, no que ele necessita atingir e no que atingiu. O estudante é o centro da acção e toda a acção decorre para realinhar todos os suportes do sistema académico - ensino, pesquisa e serviços de apoio - em torno do objectivo de ajudar os estudantes a atingirem resultados de aprendizagem satisfatórios. O'Banion apelidou esta revolução académica de "Aprendizagem Académica" (Learning College) e desenvolveu seis princípios de orientação em seu torno:

1. A aprendizagem académica gera mudanças substanciais em alunos de forma singular.
2. A aprendizagem académica envolve os alunos no processo de ensino/aprendizagem, como parceiros que assumem responsabilidade preliminar pelas suas opções.
3. A aprendizagem académica cria e disponibiliza tantas opções para aprender quanto as possíveis.
4. A aprendizagem académica assiste os alunos na criação e participação em actividades de aprendizagem colaborativa.
5. A aprendizagem académica define os papéis de facilitadores da aprendizagem em resposta às necessidades dos alunos.
6. A aprendizagem académica e os seus mecanismos facilitadores só serão bem sucedidos quando a aprendizagem melhorada e difundida para os alunos puder ser documentada.

O texto sugere oportunidades de avaliação que podem dar suporte a cada um dos seis princípios de avaliação propostos por O'Banion, que são considerados princípios chave. Além disso, podem ser aplicados diferentes tipos de avaliação para fornecer evidências de progresso. Os seis princípios são a chave, e os diferentes tipos das avaliações podem ser usados para fornecer evidências do cumprimento e progresso. O documento, que pode ser consultado na íntegra, apresenta um quadro que apresenta os seis princípios e os tipos de avaliação passíveis de aplicação em cada um deles.

Todos os tipos de avaliação considerados para cada princípio são importantes para validar o conceito da Aprendizagem Académica, e todos ilustram a escala dos resultados da avaliação que pode ser usada como feedback para os estudantes e faculdade nos esforços para a melhoria pessoal e institucional. Todos os quadros de avaliação ilustrados podem ser usados para fornecer evidências requeridas no princípio seis (documentar para os estudantes que a aprendizagem foi melhorada e ampliada). Este princípio é um reflexo da necessidade de evolução, para os administradores da faculdade demonstrarem aos stakeholders que a aprendizagem está em curso nas suas instituições.

Os administradores das instituições académicas e os quadros de acreditação têm a noção, há muito tempo, de que a avaliação é essencial para fornecer essa evidência. Entretanto, voltando à metáfora do "jogo de ferramentas" de avaliação, a faculdade e os administradores parecem "olhar de lado" para as ferramentas da avaliação e dizer "aquelas ferramentas são excelentes; desejaria que soubéssemos melhores maneiras de as integrar e usar".

Os esforços contínuos de melhoria ocorrem ao nível individual do estudante, onde estes usam os dados da avaliação para compreenderem as áreas académicas e de desenvolvimento que necessitam de melhoria, e que se estendem para fora do nível institucional. Não obstante o esforço contínuo de melhoria, os dados da avaliação fornecem evidências concretas sobre o estado actual, e ajudam os estudantes, faculdade, e gestores dos programas a definir um plano apropriado de melhoria.

A finalidade de definir uma framework de avaliação para a comunidade académica é fornecer uma estrutura de utilização - com instruções para quando e como usar as ferramentas de avaliação para uma determinada finalidade. As instruções incluem um vocabulário de termos, um processo para executar um plano de avaliação, e orientações para a assemblagem dos dados da avaliação na documentação das competências dos alunos e da eficácia institucional. Ou seja, fornece instruções para usar o "jogo de ferramentas" de avaliação, provando ao alunos (e a outras partes envolvidas - stakeholders) que a aprendizagem aumentou e foi melhorada.

Esquema dos stakeholders

Uma framework de avaliação é importante para o espectro dos stakeholders com interesses no desempenho de uma faculdade. O diagrama abaixo ilustra a variedade das partes interessadas associadas a uma comunidade académica.

(Clique na imagem para a visualizar em tamanho maior).

A imagem ilustra o número de stakeholders com interesse no desempenho de uma faculdade. Todas as partes interessadas têm necessidade e o direito de receber e compreender indicadores da eficácia. Dado a dimensão das partes interessadas, os dados institucionais de desempenho necessitam de ser trabalhados e apresentados de forma concisa e precisa.

Enfoque no estudante como evidência da eficácia institucional

No esforço de documentar a eficácia institucional para as organizações de acreditação e todas as partes interessadas, institucionais e da comunidade, entram em jogo vários indicadores. As medidas tradicionais da eficácia institucional incluem taxas de certificados, de retenção e colocação no mercado de trabalho. Quando a ideia de eficácia institucional é contextualizada dentro da faculdade, centrada na aprendizagem como descrita pelos princípios de O'Banion em Aprendizagem Académica, é adicionado à fórmula um componente fundamental: aprendizagem do estudante e opiniões do estudante (por exemplo, satisfação).

Os estudantes são o foco preliminar e central da Aprendizagem Académica, e a importância das suas opiniões e qualidade da aprendizagem são essenciais para que toda a faculdade seja medida com resultados positivos. O diagrama abaixo ilustra a natureza fundamental do estudante inserido da equação na eficácia institucional.

(Clique na imagem para a visualizar em tamanho maior).

O diagrama mostra que as opiniões do estudante afectam a natureza e a composição de oferta dos serviços da estrutura e do estudante de uma faculdade. Se as opiniões do estudante forem negativas, ocorre um efeito de espiral: ou a faculdade controla a mudança, fornecendo melhores estruturas e serviços para o estudante, ou o estudante opta por sair da instituição ou dissuade outros estudantes a deixarem essa faculdade.

Os indícios de aprendizagem do estudante são ainda mais fundamentais do que as suas opiniões. Medindo a amplitude e a qualidade da aprendizagem do estudante em função dos resultados definidos previamente, é possível avaliar a qualidade de um currículo. Se uma área educativa demonstrar que a aprendizagem dos estudantes afectos é ampliada e melhorada, então é natural que venham a ocorrer elevadas taxas de retenção, certificação, e de colocação no mercado de trabalho.

O processo de feedback é crítico. Se existirem indicadores de que a aprendizagem do estudante não está a ocorrer da melhor forma, então será necessário realizar as acções apropriadas ao nível do currículo ou departamental. Outra forma de demonstrar a centralização da aprendizagem no estudante é ilustrar o facto que o estudante está no núcleo de toda a actividade curricular, de avaliação, e de determinação de resultados. O diagrama apresentado Worldwide Instructional Design System (WIDS) fornece um gráfico que ilustra este conceito.

(Clique na imagem para a visualizar em tamanho maior).

Este diagrama representa o estudante como elemento nuclear, em torno do qual os resultados, as estratégias da avaliação, e as estratégias de aprendizagem são desenvolvidos. O objectivo é desenhar todos estes componentes sempre com o estudante em mente.

Definição de vocabulário

Como evidenciado pelos termos já apresentados neste texto, existem um número de palavras específicas associadas à avaliação, as quais são usadas de forma permutável pelos stakeholders da comunidade académica. O problema reside no facto da terminologia da avaliação ter vários significados, em especial nos diferentes grupos de stakeholders envolvidos.

Para os pais, um exame pode ser o conjunto de perguntas apresentadas no final de uma unidade de aprendizagem, com o objectivo de informar o estudante e o professor se é necessário um exercício de revisão, enquanto que para um director académico, um exame pode ser visto como um elemento de certificação. Para evitar confusões e para promover uma compreensão comum entre as partes da comunidade, é importante definir claramente os termos da avaliação.

Avaliação

Em 1995, o Fórum de Avaliação da Associação Americana de Ensino Superior, conduzido por Thomas A. Angelo, atravessou um processo iterativo no desenvolvimento de uma definição de avaliação. O resultado desse processo de definição é apresentado a seguir.

A avaliação é um processo em curso que visa compreender e melhorar a aprendizagem do estudante. Implica que as nossas expectativas sejam explícitas e públicas, ajustando critérios apropriados e padrões elevados para a qualidade de aprendizagem, recolhendo, analisando, e interpretando sistematicamente evidências para determinar como um bom desempenho combina essas expectativas e padrões, e utilizando a informação resultante para documentar, justificar, e melhorar o desempenho.

Quando é implementado eficazmente em sistemas institucionais numa dimensão alargada, a avaliação pode ajudar-nos a focalizar a nossa atenção colectiva, a examinar as nossas suposições, e a criar uma cultura académica partilhada dedicada a assegurar e a melhorar a qualidade do ensino superior (Thomas A. Angelo, AAHE Bulletin, November 1995, p.7).

Esta definição encaixa perfeitamente no contexto da Aprendizagem Académica defendida por O'Banion, assim como no enfoque orientado ao estudante definido na framework de avaliação. Fala também da ideia de tornar a avaliação num processo transparente e claramente documentado, de modo a que as diferentes necessidades dos stakeholders possam ser reconhecidas. O texto da Questionmark, intitulado Assessments through the Learning Process, refere-se também à natureza das avaliações embebidas nos ambientes e nas instituições de aprendizagem.

Objectivo da avaliação e tipos de avaliação

A finalidade da avaliação é dar suporte aos dados orientados à tomada de decisão e medição de resultados, competências, ou aptidões de encontro às competências definidas ou aos resultados de aprendizagem. As avaliações associadas ao processo de aprendizagem são classificadas frequentemente como de diagnóstico, formativas, aferição de necessidades formativas (gap analysis), reactivas, ou sumativas.

Existem vários tipos de avaliações e cada um é apropriado para finalidades ou objectivos diferentes de avaliação. Ao decidir o tipo de avaliação a utilizar, deve-se considerar em primeiro lugar a finalidade da avaliação. É para finalidades de diagnóstico? É para fornecer feedback durante o processo de aprendizagem? É para determinar no fim de um curso se um estudante domina as competências definidas num conjunto de padrões? É para determinar o gap entre o que os estudantes sabem e o que necessitam saber? É para conhecer as opiniões do estudante? Em função da finalidade da avaliação, podem ser aplicados diferentes tipos de avaliações.

Na secção introdutória, que descreve as oportunidades da avaliação na sustentação dos seis princípios da Aprendizagem Académica, foram mencionados vários tipos da avaliação. O documento lista os tipos de avaliação, definições e objectivos relacionados.

Tipos de actividades de avaliação

• Perguntas objectivas. As acções de avaliação podem fazer uso de questões ponderadas, tais como a escolha múltipla, verdadeiro/falso, sim/não, e as questões da escala de Likert. Estes tipos de perguntas têm tipicamente apenas uma resposta correcta, que foi predeterminada antes da acção da avaliação. As respostas do estudante são marcadas de acordo com a chave predefinida de respostas. As perguntas objectivas podem aparecer em inquéritos, questionários, testes ou exames.

• Perguntas subjectivas. Conhecidas como actividades baseadas em desempenho, as perguntas subjectivas são aquelas acções que requerem que o estudante execute uma tarefa - por exemplo, responder a uma resposta aberta, dar uma opinião via gravação áudio, preencher uma folha de Excel com cálculos, ou conduzir uma experiência científica. Este tipo de actividades não tem tipicamente uma resposta correcta. Em vez disso, é criada uma rubrica de pontuação, estabelecendo quais os critérios para avaliar uma actividade. O desempenho do estudante será ponderado de acordo com os critérios definidos nas rubricas criadas. As perguntas subjectivas podem ser incluídas nos inquéritos, nos testes, e nos exames. Em alguns casos, uma avaliação inteira pode ser realizada em torno de uma única actividade proposta.

Tipos de dados de avaliação

• Informação quantitativa. Apresenta variações em termos de quantidade, em vez de tipo. O tipo de dados relacionados com esta informação está associado a procedimentos de pontuação objectiva, a pontuação em função da resposta dada. Os exemplos de avaliação quantitativa estão relacionados com tipos de perguntas: escolha múltipla (que podem ser classificadas pelo software), ou respostas abertas/ ensaio (que são ponderadas em função de uma rubrica com critérios de avaliação previamente definidos).

• Informação qualitativa. Apresenta variações em termos de qualidade, em vez de quantidade. De uma forma geral, os dados qualitativos são gerados durante processos subjectivos de avaliação por especialistas na matéria. Estes peritos em diversas matérias observam o desempenho do estudante em situações reais e fazem julgamentos sobre os níveis de aprendizagem do estudante. Os exemplos relacionados com informação qualitativa podem ser observações ou entrevistas ao estudante. Os critérios de pontuação são importantes para documentar o que se espera em termos de desempenho e atributos específicos ou comportamentos para cada pontuação.

Interpretações de pontuação da avaliação e características da avaliação

O documento refere igualmente tipos de interpretações de pontuação a serem considerados, tais como referenciais standard (baseados em termos de comparação de desempenho face a uma população de estudantes), e referenciais baseados em critérios (que determinam se um estudante tem competências com base em resultados específicos esperados). Quanto às características da avaliação, deve ter em conta a:

• Credibilidade. Refere-se ao grau em que as pontuações de cada indivíduo são consistentes através da repetição de aplicações de um procedimento de medida e, assim sendo, seguras e repetíveis.

• Validação. Refere-se à capacidade de uma avaliação medir a construção do conhecimento, competências, ou aptidões que se propõe aferir. A validade requer que a medição esteja alinhada com os resultados de aprendizagem. Uma outra forma de validação está relacionada com a justeza da avaliação. As avaliações devem ser independentes de qualquer grupo.

Níveis de avaliação

Podemos definir os níveis de avaliação em três patamares:

• Avaliação de nível baixo, em que os resultados da avaliação têm consequências menores ou indirectas para o estudante. As avaliações de baixo nível são usadas tipicamente em situações formativas para aferir rapidamente aquilo que o estudante aprendeu, a fim de ajustar a formação.

• Avaliação nível médio. Avaliações cujas pontuações têm consequências para o estudante, mas não colocam nada em risco se os resultados de aprendizagem forem inválidos.

• Avaliação de nível alto. Avaliações cujos resultados têm importância e consequências directas para os estudantes.

Definição do processo de avaliação da aprendizagem

De forma a aplicar eficazmente avaliações para determinar se a aprendizagem do estudante aumentou ou melhorou, é necessário desenvolver um plano de avaliação que incorpore possibilidades de avaliação durante o processo de aprendizagem. Para ser eficaz, a avaliação não pode ser um "pensa-se mais tarde" ou um add-on instrucional. Necessita de ser integrada, contextualizada e realizada dentro do processo de aprendizagem, como ilustrado no texto Assessments through the Learning Process.

Este capítulo do documento esboça o processo para desenvolver e implementar uma estratégia de avaliação para a aprendizagem, no sentido de aferir o nível de aprendizagem do estudante. O diagrama da WIDS, apresentado a seguir, ilustra o processo de planeamento e implementação da avaliação.

(Clique na imagem para a visualizar em tamanho maior).

Este modelo explica o desenho do processo de aprendizagem e começa com a definição de resultados de aprendizagem, de exigências de desempenho e competências. A terceira fase centra-se no desenvolvimento das avaliações e da aprendizagem. Nesta terceira fase, é importante esboçar claramente os tipos dos dados que necessitam ser capturados em cada avaliação, e definir de que forma os dados serão usados. O documento apresenta uma grelha para definir tipos e usos para os dados recolhidos com as avaliações.

(Clique na imagem para a visualizar em tamanho maior).

Definição do fluxo de dados da avaliação

Neste item abordam-se os relatórios que podem ser gerados com base nas avaliações do estudante e a forma como os dados da avaliação do estudante podem ser agregados no curso, no programa, e nos níveis do departamento para fornecer evidências da eficácia institucional. Para as fases da avaliação descritas nos itens anteriores, há várias situações em que os dados recolhidos da avaliação podem ser vistos e agregados para dar suporte ao processo de documentar evidências da eficácia institucional e para promover a melhoria contínua dentro da Aprendizagem Académica. O texto também apresenta um gráfico referente ao fluxo de dados da avaliação para a eficácia institucional.

(Clique na imagem para a visualizar em tamanho maior).

Casos de estudo

No final do documento são apresentados quatro casos de estudo de comunidades académicas que ilustram o processo de desenvolvimento eficaz de avaliação, centrado nos estudantes e nos resultados da aprendizagem.

Paulo Silva, consultor na unidade estratégica de negócio e-Learning da Sinfic.