Programa de Pós-graduação em Arquitetura e Urbanismo

Introdução

Em setembro de 2019 a UFMG instituiu a “Comissão de Avaliação Diagnóstica da Pós-graduação” para atuar em caráter permanente, com o objetivo de promover a autoavaliação da pós-graduação, em consonância com as diretrizes da CAPES. No início de setembro de 2020 essa comissão desencadeou o processo, encaminhando seis questionários destinados a coordenadores de programas nos últimos oito anos (períodos 2013-2016 e 2017-2020); docentes que atuam na pós-graduação stricto sensu; professores que não atuam mas são elegíveis; secretários e ex-secretários dos programas; mestrandos e doutorandos; pesquisadores em residência pós-doutoral. Com o intuito de engajar-se coletivamente nesse processo institucional, o Colegiado do NPGAU convocou de imediato uma Assembleia Geral do Programa, para discutir a implementação de um sistema permanente de autoavaliação, como mecanismo aferidor de desempenho dos objetivos e metas de seu Planejamento Estratégico, que atendesse, também, às recomendações da CAPES, além de subsidiar e Avaliação Diagnóstica da PRPG/UFMG. Após discutir amplamente o assunto, a Assembleia instituiu duas comissões, ambas compostas de docentes, discentes e TAEs, sendo uma para elaborar um anteprojeto de um sistema de autoavaliação e outra para elaborar o Planejamento Estratégico. Definiu-se que esses anteprojetos seriam elaborados em 45 dias corridos e encaminhados à discussão e validação da Assembleia, após o quê se tornariam projetos para implementação. Foram definidas, também, as diretrizes políticas, institucionais e metodológicas desses anteprojetos. No caso específico da autoavaliação, a Assembleia estabeleceu como diretriz geral que a Comissão deveria se ater à organização do processo e à formulação de metodologias de levantamento, processamento e análise de dados, abstendo-se de qualquer julgamento, uma vez que essa função pertenceria exclusivamente à Assembleia. Estabeleceu, ainda, as seguintes diretrizes específicas: (I) Estimular o envolvimento e assegurar a efetiva participação de todos os docentes, discentes e a TAE vinculada ao programa; (II) possibilitar a associação de dados institucionais quantitativos (disponíveis em bases da CAPES, da PRPG/UFMG e do próprio Programa), com dados qualitativos colhidos em depoimentos, entrevistas, conteúdos de teses e dissertações, conteúdos de publicações etc.; (III) considerar os indicadores de qualidade da CAPES e os ordenamentos de pós-graduação da UFMG como balizadores do processo de autoavaliação; (IV) possibilitar o estabelecimento de um processo permanente de autoavaliação, que anualmente pudesse revelar avanços, retrocessos ou entraves do Planejamento Estratégico.

O colegiado ofereceu apoio secretarial às comissões e definiu o seguinte cronograma (em dias corridos), para o andamento dos processos: 45 dias para a conclusão dos anteprojetos e sua imediata divulgação entre os três segmentos; 15 dias para discussões entre os segmentos e propostas de emendas; 10 dias para a consolidação, pelas comissões, das emendas propostas; 15 dias para a implementação de uma “Autoavaliação Piloto”, para validar/corrigir métodos e técnicas; 10 dias para discussões e deliberações da Assembleia, com o objetivo de consolidar os projetos de Autoavaliação Permanente e Planejamento Estratégico para o quadriênio de 2021 a 2024.

Fase de preparação da Autoavaliação

Primeiramente, a Comissão de Autoavaliação estabeleceu alguns pressupostos para os seus trabalhos, quais sejam:

A metodologia de autoavaliação procuraria traçar um panorama do desempenho do NPGAU face aos objetivos institucionais enunciados na Proposta do Programa, aos indicadores de qualidade da CAPES e aos indicadores de qualidade da PRPG/UFMG.
A autoavaliação deveria ser predominantemente qualitativa e capaz de alimentar as ações de Planejamento Estratégico do Programa.
A metodologia de autoavaliação deveria priorizar o uso de informações e dados disponíveis em bases institucionais (NPGAU, plataforma Lattes, CAPES, PRPG/UFMG etc.) além daqueles coletados diretamente em entrevistas com docentes, discentes e TAEs. Outras bases confiáveis de dados poderiam ser usadas em caráter complementar, se necessário.
A autoavaliação deveria contemplar apenas os últimos quatro anos, para subsidiar as ações de Planejamento Estratégico do próximo quadriênio.

Em segundo lugar, a comissão passou a analisar a Proposta do Programa no que concerne aos objetivos ali traçados, para deles retirar possíveis critérios de avaliação. Listaram-se os objetivos (geral e específicos) e construíram-se infográficos correlacionando esses objetivos aos dados sobre os três principais momentos definidores do desempenho do programa:

O “acesso” de docentes e discentes, que inclui o processo de seleção do mestrado e do doutorado, o processo de credenciamento e recredenciamento de docentes do corpo permanente e de colaboradores, o processo de seleção de pós-doutores e o processo de seleção de discentes para cursarem disciplinas isoladas.
O “processo de formação”, que inclui as disciplinas ministradas e demais atividades de formação, os intercâmbios nacionais e internacionais, os projetos de pesquisa (nacionais e internacionais) e de extensão vinculados ao Programa, os projetos de pesquisa desenvolvidos para a elaboração de teses e dissertações, a participação docente e discente em eventos científicos, extensionistas ou artísticos, com apresentação de trabalho, a participação docente e discente em organização de eventos científicos ou extensionistas, o processo de indicação e aprovação de bancas examinadoras para as qualificações e defesas.
Os “resultados,” que incluem as teses e dissertações defendidas, as publicações técnicas e científicas de docentes e discentes, prêmios e distinções de docentes e discentes (nacionais e internacionais) correlatos às suas atividades no Programa, convites a docentes e discentes (nacionais e internacionais) para proferirem palestras ou participarem de mesas redondas ou debates correlatos às suas atividades no Programa, designação de docentes ou egressos do Programa, para cargos públicos em funções correlatas às suas atividades no Programa, honrarias concedidas a docentes e discentes às suas atividades no Programa.

Em terceiro lugar a Comissão definiu quais seriam os dados quantitativos e qualitativos que alimentariam os diversos campos dos infográficos, discriminando quais seriam as tarefas da Comissão e da Assembleia.

Por exemplo, para avaliar o alcance do objetivo de “Fazer avançar o conhecimento científico na área e ampliar as competências teóricas, técnica, artísticas e sociais correlatas”, seria preciso verificar quantos produtos acadêmicos geraram conhecimento novo.

A tarefa da Comissão seria identificar os produtos acadêmicos do programa relativamente a:

Novas teorias
Novas metodologias (de procedimentos, de processos, de análises)
Novas tecnologias (de processos, de produtos)
Novas descobertas (de processos, de fenômenos)
Outro tipo de inovação

Essa identificação seria feita da seguinte forma: a Comissão elaboraria uma planilha com a listagem dos produtos acadêmicos dos últimos quatro anos, os quais seriam qualificados pelos próprios autores em inovação incremental (ii) ou inovação radical (ir), atribuindo-se uma nota de zero a dez para cada qualificação. Um Grupo de Controle, constituído por cinco pessoas designadas pela Assembleia, sendo duas delas externas ao Programa, faria a mesma qualificação, a partir da leitura dos resumos descritivos (150 palavras) dos produtos acadêmicos.

A Comissão elaboraria, então, gráficos ilustrativos dos resultados.

A tarefa da Assembleia seria definir os critérios para classificar os resultados: ótimo (5), bom (3), médio (1) ruim (0); e sugerir as ações a serem implementadas para melhorar o desempenho, quando for o caso.

Com essa abordagem asseguraria-se a autoavaliação dos produtos acadêmicos pelos próprios autores, a correção de distorções significativas pelo Grupo de Controle, a avaliação da conexão entre os produtos acadêmicos com os objetivos do Programa e análise do desempenho do Programa relativamente a esses objetivos.

Em quarto lugar, seguindo a metodologia descrita no exemplo acima, a Comissão elaborou as planilhas com os dados para a autoavaliação de todos os indicadores de desempenho preconizados pela CAPES e pela PRPG/UFMG, quais sejam:

Relação dos critérios de acesso de discentes e docentes com as linhas de pesquisa do Programa.
Relação dos critérios de acesso de discentes e docentes com as atividades de formação do Programa, nacionais e internacionais.
Relação entre os produtos acadêmicos, as linhas de pesquisa e os projetos de pesquisa de docentes e discentes.
Relação das atividades de formação com os produtos acadêmicos de discentes (teses e dissertações).
Relação das atividades de pesquisa, de extensão e artísticas com os produtos acadêmicos (teses, dissertações, publicações e produções técnicas) de discentes e docentes do Programa.
Relação entre os produtos acadêmicos (teses, dissertações, publicações e produções técnicas) e as atividades de internacionalização do Programa.
Relação entre os produtos acadêmicos (teses, dissertações, publicações e produções técnicas) e o impacto social do Programa.

O quinto passo foi o de sistematizar os dados da infraestrutura (física, administrativa, digital, laboratorial e de apoio didático) elaborando um relatório descritivo, a ser submetido à apreciação dos três segmentos, para que pudessem sugerir e encaminhar à Assembleia, sugestões de melhoria.

Por último, a Comissão elaborou o seu Relatório Final contendo o anteprojeto, encaminhando o documento para apreciação do Colegiado e da Assembleia, propondo, também, a realização de uma “Autoavaliação Piloto”, para validar/corrigir o anteprojeto.

Fase de implementação

A fase de implementação foi assim planejada:

Primeiramente, a metodologia de autoavaliação proposta pela Comissão seria testada mediante uma “Autoavaliação Piloto”, para os ajustes e correções necessários, antes da apreciação final da Assembleia.

Após a realização da “Autoavaliação Piloto”, seria constituída uma Comissão Externa ao programa, para analisar criticamente as metodologias propostas, cotejando-as com os resultados obtidos e sugerindo aperfeiçoamentos, por meio de um Relatório da Comissão Externa. Essa Comissão Externa “Autoavaliação Piloto” seria constituída de docentes, discentes e TAEs de outros programas da UFMG, preferencialmente mesclando diferentes áreas de conhecimento.

Após a realização da “Autoavaliação Piloto”, o projeto seria encaminhado à apreciação da Assembleia, juntamente com o Relatório da Comissão Externa, para decisão final, com vistas à sua incorporação ao Regulamento do Programa.

Fase de divulgação

A divulgação à comunidade acadêmica de todas as etapas da autoavalição do NPGAU é inerente à própria concepção do processo, portanto, o site do programa deverá divulgar (como tem feito até então) todas as ações empreendidas, respectivos procedimentos e resultados. Um link dedicado à Autoavaliação foi disponibilizado para isso, no site. Nesse link podem ser acessados os infográficos, as planilhas de dados, os questionários e demais elementos que constituem os processos.

Uso dos resultados

Como explicitado anteriormente, a autoavaliação será um mecanismo aferidor qualitativo do desempenho do programa. Isso posto, os resultados serão utilizados para o monitoramento dos produtos acadêmicos, com especial atenção para os seguintes aspectos, visando a melhoria dos resultados:

Grau de aderência de teses e dissertações às linhas e projetos de pesquisa.
Potencial de inovação metodológica, tecnológica, analítica ou crítica dos projetos de teses e dissertações.
Potencial de inovação metodológica, tecnológica, analítica ou crítica dos projetos de pesquisa dos docentes.
Interação das atividades didáticas (incluindo as disciplinas) com as pesquisas de docentes, as teses e as dissertações.
Interação das atividades extensionistas com as pesquisas de docentes, as teses e as dissertações.
Interação das ações de internacionalização com as pesquisas de docentes, as teses e as dissertações.
Grau de aderência das produções bibliográficas e técnicas às pesquisas dos docentes, às teses e às dissertações.
Impacto social das pesquisas de docentes, das teses e das dissertações na formulação de políticas públicas e no desenvolvimento do setor produtivo.
Contribuição das pesquisas de docentes, das teses e das dissertações na redução de desigualdades e de processos de exclusão.

Avaliação do processo de autoavaliação

O Colegiado instituirá uma Comissão de Avaliação do Processo (CAP), composta por 3 docentes do NPGAU, 3 discentes do NPGAU, 3 membros externos acadêmicos (de outras universidades) e 3 membros externos não acadêmicos (do setor público, do setor privado e do terceiro setor). Após cada rodada anual de autoavaliação, essa Comissão terá a função de analisar criticamente o processo e seus resultados, sugerindo encaminhamentos para o aperfeiçoamento de um e de outro. Como se trata de um Processo de Autoavaliação Permanente é necessário garantir a memória histórica da comissão. Assim, cada membro dessa CAP atuará por três anos consecutivos, para monitorar o progresso e a efetividade das ações de melhoria de desempenho adotadas, sendo que a cada ano um dos três membros representantes de cada agrupamento será substituído, ficando sempre um membro de cada agrupamento com experiência de dois anos, outro de um ano e um membro novo na comissão. Esse tipo de arranjo para garantir a memória histórica das comissões permanentes, tem sido recorrentes no NPGAU.

Vale ressaltar que já foi feito o piloto e a comissão já apresentou os infográficos e as planilhas resultantes para uma assembleia de docentes, discentes e a técnica do programa. A assembleia validou o processo, que passará a ser adotado anualmente com discussão dos resultados para tomadas de decisão coletiva.

PROCESSO AUTOAVALIACAO