A publicação de rankings de instituições, profissionais, cidades ou o que mais seja de interesse popular, é uma estratégia consagrada para chamar a atenção do público. Afinal, é da natureza humana gostar de fazer comparações, seja para nos auto avaliar ou para balizar novas escolhas. Mas em todo ranking há controvérsias, pois é quase sempre impossível sintetizar em um único indicador, de maneira objetiva e ampla, a complexidade que define aqueles que queremos comparar. Rankings de universidades, apesar de populares ao redor do mundo, não escapam deste tipo de encrenca mesmo quando publicados pela Times (THE) ou outros gigantes do mundo editorial. Ao criar o RUF (Ranking Universitário da Folha), a Folha de São Paulo decidiu que a popularidade do tema deve compensar o risco da polêmica. Em sua sexta edição, o RUF 2017 foi publicado ontem, 18/09/2017, com poucas surpresas em relação aos anteriores, mas a meu ver, tal aparente consistência pode ser apenas reflexo da decisão de repetir erros passados.
Um resultado que me chama a atenção, por exemplo, é a relativamente baixa colocação, em comparação às públicas, de escolas privadas de altíssimo nível como Insper, IBMEC ou FGV, em cursos aplicados como economia, administração ou direito. Seria de se esperar, ao menos nestes casos, uma melhor colocação destas escolas de nicho, tendo em vista os recursos oferecidos, a liberdade que tem na contratação de professores mais valorizados ou com experiência prática, ou mesmo devido a maior consistência no fluxo de aulas, que diferentemente do que acontece em nossas universidades públicas, não sofrem interrupções todos os anos por greves ou embates ideológicos pouco relacionados à discussão acadêmica. A Folha não divulga muita coisa sobre sua metodologia, apenas que se trata de uma alquimia de fatores que representam diferentes aspectos das instituições, como qualidade de ensino, publicações nacionais e internacionais, citações, dentre outros. É difícil saber como interpretar estes resultados na ausência de mais informações sobre como são gerados.
Mas o pouco que foi divulgado com relação à metodologia justifica certa desconfiança. Em particular, me surpreendi ao saber que, por decisão metodológica da Folha, a USP perdeu duas posições apenas por não adotar o Enade, um exame de desempenho padronizado patrocinado pelo governo federal. É isso mesmo: a USP recebeu “zero” para o item medido pelo Inep, o que afetou negativamente sua nota final conforme explicado pela jornalista Sabine Righettti e pode ser conferido aqui.
A decisão de representar a ausência de uma informação com o zero pode até parecer inofensiva, mas não é, e o RUF 2017 é um ótimo exemplo das consequências deste tipo de erro. Ao dar zero no Enade para os alunos da USP, criou-se implicitamente uma ficção. A de que aqueles alunos não teriam sido capazes de sequer pontuar em uma questão da prova, o que naturalmente seria quase impossível de ocorrer caso os alunos tivessem feito os exames. Afinal zero é um número e representa um conceito mensurável, como qualquer número.
Mas então, quais alternativas teriam tido os técnicos do RUF para compensar pelo fato dos alunos da USP não terem sido avaliados pelo Enade? A pergunta é boa, e aviso já que, apesar de existirem alternativas melhores que dar um simples zero para os estudantes, não há uma bala de prata. Afinal sempre que uma informação importante deixa de ser observada, há uma perda irreconciliável de conhecimento que não poderá jamais ser integralmente compensada por ajustes estatísticos. Há porém diversos métodos de “imputação” de dados em branco bastante defensáveis, e certamente, menos desastrosos que o escolhido pelo RUF. O mais simples deles consiste em apenas atribuir a média global, neste caso a média dos demais estudantes que fizeram no Enade, o que, no caso em questão, seria evidentemente conservador, mas teria impacto suficiente para colocar a USP no topo do ranking (segundo análise da própria Sabine). Uma alternativa um pouco mais complexa, por exemplo, seria usar outras pontuações obtidas pela USP para tentar “adivinhar” qual seria a pontuação no Enade consistente com os demais dados. Isso é muitas vezes feito através de métodos de regressão ou clusterização, mas independentemente da técnica, podem gerar suspeitas e dificuldades de interpretação. Por fim, pode-se também cuidar para que sejam utilizados apenas itens passiveis de serem observados para todos, ou ao menos para os mais importantes sujeitos.
Em nosso dia-a-dia na Cognatis utilizamos dados de todos os tipos, secundários, primários, públicos, privados, brutos, limpos, e assim vai. Problemas como o acima fazem parte do nosso arroz com feijão, e não foram poucas as discussões sobre como imputar uma informação aqui e ali. É surpreendente, entretanto, a frequência com que nos deparamos com erros primários em projetos desenvolvidos por empresas menos experientes em análises de dados, principalmente quando se apoiam demasiadamente em ferramentas. A despeito do que dizem muitos fornecedores de software para análise de dados e Big Data, não é ainda possível delegar aos computadores nossa responsabilidade de pensar e julgar durante os processos analíticos. As artes do discernimento e ponderação continuam sendo, até esta data ao menos, intrinsicamente humanas.
Reinaldo Gregori
CEO da Cognatis Geomarketing
