A avaliação de trajetórias e portfólios culturais é um processo complexo que busca mensurar qualitativamente o percurso de um proponente. No entanto, é comum observar disparidades nas pontuações atribuídas por diferentes pareceristas a um mesmo objeto. Longe de indicar um erro processual, essa variação é um fenômeno estudado na análise de sistemas de avaliação, derivado de uma combinação de fatores metodológicos e interpretativos.
Compreender as variáveis que influenciam essa oscilação é fundamental para o aprimoramento constante dos mecanismos de seleção e para a qualificação das propostas apresentadas.
1. Pluralidade de Perspectivas Teórico-Metodológicas
A formação e o repertório técnico de cada avaliador atuam como lentes analíticas distintas. Um parecerista com perfil em gestão pública pode priorizar indicadores de eficiência e impacto social, enquanto um especialista artístico pode focar na densidade conceitual e na inovação estética.
Essa "narrativa" do portfólio é processada a partir de diferentes referenciais, o que pode levar um avaliador a interpretar a diversidade de projetos como uma trajetória multifacetada e rica, enquanto outro pode vê-la sob o prisma da dispersão temática.
2. Instrumentos de Medida e Calibração de Rubricas
A precisão de uma avaliação depende diretamente da estruturação dos critérios estabelecidos no edital:
Especificidade dos Indicadores: Termos subjetivos em rubricas de avaliação podem gerar diferentes níveis de exigência. Na ausência de indicadores comportamentais ou evidências observáveis, cada avaliador aplica uma régua de pontuação baseada em seus próprios parâmetros de excelência.
Calibração de Bancas: A variabilidade tende a ser maior quando não há uma etapa prévia de alinhamento ou "calibração" entre os pareceristas, processo necessário para padronizar a interpretação dos critérios de pontuação antes do início das análises.
3. Densidade Informativa e Evidência Narrativa
O modo como o portfólio é estruturado impacta a cognição do avaliador. A ausência de uma reflexão articulada que conecte os artefatos (documentos, fotos, vídeos) aos objetivos da seleção exige que o parecerista realize inferências para preencher lacunas de contexto. Quanto maior a necessidade de inferência, maior a probabilidade de divergência entre as notas, pois cada avaliador preencherá esses "vazios" informacionais de maneira distinta.
4. Variáveis de Contexto e Carga Processual
Fatores externos e processuais também influenciam a análise técnica. Em editais de grande escala, como os da Lei Paulo Gustavo, o volume de dados a serem processados em prazos exíguos pode afetar a profundidade da análise. A fadiga cognitiva é um fator humano reconhecido que pode levar a percepções distintas sobre detalhes sutis da trajetória do proponente.
Mecanismos de Mitigação e Aprimoramento
Para otimizar a isonomia e a precisão dos processos seletivos, as boas práticas de gestão recomendam:
Mecanismos de Consenso: A introdução de um terceiro avaliador ou comitês de revisão para casos de discrepância estatisticamente significativa.
Checklists Estruturados: Implementação de verificações objetivas que antecedem a análise qualitativa, garantindo que os requisitos fundamentais sejam avaliados de forma uniforme.
Justificativa Técnica: A exigência de fundamentação descritiva para cada nota, o que permite auditar a coerência lógica entre o critério e a pontuação atribuída.
Para o proponente, a estratégia mais eficaz é a redução da ambiguidade. Um portfólio que apresenta informações de forma autoexplicativa e organizada minimiza a necessidade de interpretação subjetiva, favorecendo uma avaliação mais convergente e precisa.
.png)
.png)
