As escolas estão usando um software para ajudar a escolher quem entra. O que pode dar errado?

Os oficiais de admissão estão cada vez mais se voltando para a automação e IA com a esperança de agilizar o processo de inscrição e nivelar o campo de jogo.

As escolas estão usando um software para ajudar a escolher quem entra. O que pode dar errado?

Em 2011, a Taylor University, uma pequena faculdade de artes liberais em Upland, Indiana, começou a procurar uma nova maneira de maximizar o recrutamento. Especificamente, eles precisavam convencer os alunos a se inscreverem e se inscreverem, em parte para ajudar nas metas de receita das mensalidades. Isso levou a um contrato com a gigante do software Salesforce, que desenvolve sistemas automatizados projetados para impulsionar o recrutamento de alunos. A escola agora alimenta dados sobre os alunos em potencial - da cidade natal e da renda familiar até as áreas de estudo pretendidas e outros pontos de dados - no Education Cloud da Salesforce, que ajuda os oficiais de admissão a identificar o tipo de candidatos que eles sentem que têm maior probabilidade de se inscrever.



Se encontrarmos uma população de estudantes no noroeste de Chicago que parece ser o estudante ideal para nós, talvez haja outro centro populacional em Montana que se pareça com essa população, diz Nathan Baker, diretor de recrutamento e análise da Taylor University.

Também estamos monitorando o envolvimento do aluno conosco, diz ele. Então, só porque uma população estudantil parece ideal, se o aluno não estiver engajado conosco durante todo o processo, temos que levar isso em consideração.



Os algoritmos não estão apenas ajudando a orquestrar nossas experiências digitais, mas cada vez mais entrando em setores que eram historicamente domínio dos humanos - contratando , empréstimo e sinalizando indivíduos suspeitos nas fronteiras nacionais. Agora, um número crescente de empresas, incluindo a Salesforce, está vendendo ou construindo sistemas apoiados por IA que as escolas podem usar para rastrear alunos atuais e potenciais, da mesma forma que as empresas rastreiam os clientes. Cada vez mais, o software está ajudando os oficiais de admissão a decidir quem entra.



As empresas de tecnologia por trás do software de admissão dizem que os algoritmos podem melhorar o sucesso dos esforços de recrutamento das escolas e cortar custos. Na Taylor University, que a Salesforce considera uma história de sucesso, o departamento de admissões diz que viu melhorias no recrutamento e nas receitas após a adoção da Education Cloud: no outono de 2015, a escola deu as boas-vindas à sua maior turma de calouros de todos os tempos. Taylor agora usa o software para prever os resultados futuros dos alunos e tomar decisões sobre a distribuição de ajuda financeira e bolsas de estudo.

Mas o software não se trata apenas de agilizar a difícil tarefa de despejar milhares de aplicativos, diz Salesforce. A IA também está sendo apresentada como uma forma de tornar o sistema de admissão mais justo, ajudando as escolas a reduzir preconceitos humanos invisíveis que podem afetar as decisões de admissão.

Quando você tem uma ferramenta que pode ajudar a tornar [preconceito] explícito, você pode realmente ver os fatores que influenciam uma decisão ou recomendação, diz Kathy Baxter, arquiteta de prática ética da Salesforce. Torna mais claro ver se as decisões estão sendo tomadas com base puramente neste ou neste outro fator. (A Salesforce diz que agora tem mais de 4.000 clientes usando seu software Education Cloud, mas se recusou a divulgar quais escolas o estão usando especificamente para admissões.)



Um painel do software de recrutamento da Salesforce [Imagem: Salesforce]

Normalmente, a inscrição de um aluno em potencial e os materiais de apoio são lidos por um ou mais oficiais de admissão. Média de notas, notas de testes, qualidades pessoais como habilidades de liderança e caráter, e outros critérios são considerados em relação às preocupações demográficas da universidade, incluindo metas de diversidade e alunos que precisam de ajuda financeira.

Em um nível básico, o software apoiado por IA pode pontuar imediatamente um candidato em relação a um conjunto de fatores considerados significantes de sucesso com base em candidatos anteriores, explica Brian Knotts, arquiteto-chefe da Ellucian, que desenvolve software para ensino superior.



Um exemplo poderia ser a localização do aluno em comparação com a localização da escola, diz ele. Os oficiais de admissão usariam essa avaliação baseada em dados para aumentar seu processo de tomada de decisão. À medida que cada turma se forma, os algoritmos são periodicamente retreinados e os futuros alunos só se beneficiam de decisões de admissão cada vez mais inteligentes, diz Knotts.

Para reduzir o preconceito individual, os comitês examinam os candidatos e geralmente decidem por votação ou algum outro tipo de consenso. Mas a injustiça ainda pode se infiltrar no processo. Por exemplo, como recente pesquisa em práticas de recrutamento demonstrou, as universidades tendem a comercializar diretamente para candidatos desejáveis ​​e pagar mais visitas a alunos em áreas afluentes, especialmente para alunos ricos, predominantemente brancos em escolas de ensino médio fora do estado, uma vez que esses alunos tendem a gerar mais receita com as mensalidades.

Kira Talent, uma startup canadense que vende uma plataforma de avaliação de admissões baseada em nuvem para mais de 300 escolas, identifica nove tipos de preconceito humano comum em admissões em universidades, incluindo pensamento de grupo e preconceitos raciais e de gênero. Mas alguns dos preconceitos mais prejudiciais que afetam as admissões não estão relacionados a raça, religião, gênero ou outros estereótipos, de acordo com uma apresentação da empresa . Em vez disso, os preconceitos crescem situacionalmente e muitas vezes de forma inesperada de como os oficiais de admissão avaliam os candidatos, incluindo um número inconsistente de revisores e exaustão do revisor.

Outros tipos de preconceitos mais sutis podem se infiltrar nas políticas de admissão. Como parte de um processo em andamento movido por estudantes asiático-americanos contra a Universidade de Harvard, o Escritório de Admissões da escola revelou o uso de um manual do entrevistador que enfatiza a personalidade do candidato em uma passagem intitulada The Search for Distinguishing Excelences. Distinguir excelência, de acordo com o manual, inclui excelente capacidade de liderança, o que poderia prejudicar introvertidos trabalhadores, e qualidades pessoais invulgarmente atraentes, o que soa como um terreno fértil para o preconceito humano entrar na mente de um entrevistador.

Baxter argumenta que o software pode ajudar a identificar os preconceitos que se insinuam nos processos de admissão baseados em humanos. Os algoritmos podem fazer análises sistemáticas dos pontos de dados que os oficiais de admissão consideram em cada aplicação. Por exemplo, o software Salesforce usado pela Taylor University inclui campos protegidos, um recurso que exibe alertas pop-up para identificar tendências que podem surgir nos dados, como sobrenomes que podem revelar a raça de um candidato.

Se um oficial de admissões deseja evitar preconceito de raça ou gênero no modelo que está construindo para prever quais candidatos devem ser admitidos, mas inclui o código postal em seu conjunto de dados sem saber que está relacionado à raça, eles serão alertados sobre a questão racial viés que isso pode causar, diz Baxter.

assistir bola cair ao vivo 2019

Molly McCracken, gerente de marketing da Kira Talent, diz que a IA também pode ajudar a eliminar situações em que um oficial de admissão pode conhecer um candidato, sinalizando automaticamente uma conexão pessoal que existe entre duas partes. A partir daí, uma revisão humana do relacionamento poderia ser realizada pelos funcionários de admissões.

McCracken propõe um cenário hipotético em que um oficial de admissões que esteve no clube de debate no colégio pode se identificar com um candidato que também estava no clube de debate. Mas, se você treinar um algoritmo para dizer que o clube de debate é igual ax é igual ay, então você não precisa trazer esse tipo de background [pessoal] e experiência [para o processo], diz McCracken. Ainda assim, ela avisa, você também precisa dessa perspectiva humana para ser capaz de qualificar essas experiências.

O conjunto de ferramentas de combate ao preconceito de Kira é projetado para reduzir o impacto que o preconceito de uma pessoa pode ter durante a revisão humana. O recurso Reviewer Analytics visa garantir que os oficiais de admissão classifiquem os candidatos de maneira consistente e justa: ao calcular a classificação média de cada revisor em todas as inscrições, as faculdades podem identificar outliers que estão pontuando os candidatos com muito ou pouco rigor. Para contrariar o pensamento de grupo, que pode dar mais peso à voz mais alta na sala, o software combina o feedback de vários revisores sem que cada revisor veja as avaliações e notas de seus colegas e produz uma pontuação média geral para as respostas de cada candidato.

Ryan Rucker, gerente de projeto da Kira Talent, diz que a empresa está atualmente nas fases de pesquisa e desenvolvimento para adicionar software com suporte de IA às ferramentas de admissão da empresa. Eventualmente, isso também poderia ajudar as escolas a conduzir verificações mais profundas dos antecedentes da história pessoal do candidato. Isso poderia, por exemplo, ajudar a evitar o tipo de trapaça visto no recente escândalo de admissão à universidade, em que os pais de candidatos ricos pagavam pela admissão preferencial fazendo com que os candidatos se passassem por atletas.

Conforme avançamos para este lugar onde estamos usando mais soluções de aprendizado de máquina e habilitadas para IA, vamos melhorar na verificação de certas coisas, como se alguém é realmente um membro da equipe na escola, diz Rucker, referindo-se ao recente escândalo de admissão à universidade. Essas informações estão normalmente disponíveis publicamente em um site, que poderíamos rastrear para isso, acrescenta. Claro, se quisermos entrar na área de privacidade de dados, esse é um tópico totalmente diferente.


Relacionado: Após um rápido crescimento, o programa escolar apoiado por Zuckerberg enfrenta escrutínio sobre eficácia e privacidade de dados


Deixando o viés da máquina entrar?

No entanto, como os especialistas em inteligência artificial advertiram, os sistemas que visam reduzir o preconceito por meio da IA ​​podem ser complicados pela própria IA. Os sistemas automatizados serão tão bons quanto os dados subjacentes, diz Rashida Richardson, diretora de pesquisa de políticas da AI Now Institute , um think tank da New York University que estuda o preconceito da máquina e a responsabilidade algorítmica. E como as admissões estão embutidas em muitos julgamentos subjetivos, Richardson acredita que tentar automatizá-las pode resultar na incorporação e possivelmente na ocultação dessas decisões subjetivas, replicando silenciosamente os problemas que esses sistemas pretendem resolver.

A automação gerou alarmes semelhantes em áreas sensíveis como policiamento, justiça criminal e bem-estar infantil. Se as futuras decisões de admissão forem baseadas em dados de decisões anteriores, Richardson alerta para a criação de um ciclo de feedback não intencional, limitando a composição demográfica de uma escola, prejudicando alunos desfavorecidos e colocando uma escola fora de sincronia com as mudanças demográficas.

Há um viés de automação social - as pessoas presumirão que, por ser um sistema técnico, é mais justo do que o status quo, diz Richardson. A pesquisa sobre a integração de algoritmos de correspondência em escolas de medicina e como esses sistemas ajudaram a facilitar e distorcer práticas discriminatórias e preconceitos é a prova de que essas preocupações são reais e altamente prováveis.

Richardson diz que empresas como Ellucian, Salesforce e Kira Talent não reconhecem em seus sites que há problemas de equidade educacional significativos embutidos no processo de admissão.

Não está claro para mim como você padroniza e automatiza um processo que não é apenas baseado em julgamentos subjetivos, mas também requer uma compreensão profunda do contexto, diz ela.

Richardson observa, por exemplo, que muitas escolas secundárias participam de sistemas heterodoxos de classificação e inflação de notas. Embora os oficiais de admissão possam estar cientes disso e contabilizá-lo no processo de admissão, um sistema de IA não pode.

com quem você deve se conectar no LinkedIn

Da mesma forma, um sistema de IA pode não apreciar os desafios adicionais que uma renda mais baixa ou os alunos da primeira geração enfrentam, em comparação com um legado mais rico, adverte Richardson. É possível que um sistema de IA ou processo automatizado possa exacerbar os preconceitos existentes.

O software também pode levar a uma divisão adicional de classes no processo de admissão, preocupa-se Richardson. Assim como as pessoas tentam burlar o processo de admissão orientado por humanos, os candidatos podem tentar fazer o mesmo se os fatores usados ​​pelos sistemas automatizados forem conhecidos. Os grupos de recursos mais elevados, como os ricos e conectados, podem encontrar maneiras de aprimorar os aplicativos para o resultado mais favorável. Richardson diz que o AI Now já viu isso acontecer com algoritmos mais básicos que atribuem alunos a escolas K-12.

Famílias que têm tempo para fazer planilhas complicadas para otimizar suas escolhas provavelmente terão uma chance melhor de combinar com suas escolas principais, diz Richardson, enquanto famílias com menos recursos podem não ter tempo ou informações suficientes para fazer o mesmo.

Baxter diz que as proteções de preconceito da máquina são integradas ao Einstein AI da Salesforce, uma tecnologia baseada em IA que sustenta o software da empresa. Um recurso chamado Fatores preditivos permite que os usuários de admissões forneçam feedback ao modelo de IA, permitindo que eles identifiquem se um fator de polarização foi incluído nos resultados. E o recurso Model Metrics da Education Cloud ajuda a avaliar o desempenho dos modelos de IA, diz Baxter, permitindo que os usuários entendam melhor quaisquer resultados anteriormente imprevistos que possam ser prejudiciais. Nossos modelos são atualizados regularmente e aprendem com o uso contínuo, então não é uma coisa estática, diz Baxter.

Para garantir que os dados não sejam tendenciosos desde o início, Ellucian está selecionando recursos, tipos de dados e algoritmos apropriados, e planeja examiná-los por meio de um conselho consultivo formado por tecnólogos, cientistas de dados e outros especialistas em IA. Essa é parte da razão pela qual demoramos tanto, diz Knotts. Queremos ter certeza de que gastamos tanto tempo nisso quanto gastamos na tecnologia.

Richardson, da AI Now, diz que qualquer conselho consultivo sem experiência no domínio, como educadores, administradores e acadêmicos e defensores da educação - especificamente, aqueles com experiência em discriminação, igualdade educacional e segregação - seria insuficiente.

Richardson também está preocupado com o fato de que as empresas que oferecem soluções automatizadas de admissão podem não entender o quão subjetivo é o processo. Por exemplo, os oficiais de admissão já avaliam os alunos de internatos de elite mais do que um orador da escola subcontratada e segregada, criando um viés socioeconômico. Ela duvida que a IA possa resolver esse problema, para não falar de abordá-lo com sofisticação suficiente para entender a sensibilidade que deve ser dada à análise socioeconômica e racial.

Prever o sucesso do aluno também é um desafio delicado. Alguns alunos começam tarde. Outros se destacam no ensino médio, mas por uma razão ou outra ficam aquém na faculdade e depois dela. Tantas variáveis ​​diferentes - visíveis e invisíveis, mensuráveis ​​ou não - influenciam o desempenho de um aluno.

É uma tendência dentro da tecnologia pensar que tudo é previsível e que existe uma noção pré-determinada de sucesso, diz ela. Existem muitas variáveis ​​que têm sido tradicionalmente usadas para prever o sucesso dos alunos que se mostraram imprecisas ou incorporadas com viés (por exemplo, pontuações de testes padronizados). Ao mesmo tempo, há uma série de questões imprevisíveis que podem afetar o sucesso individual ou coletivo do aluno.

Essas métricas tradicionais de sucesso também podem ser tendenciosas contra os alunos marginalizados e não levam em consideração os vieses institucionais, como os orientadores do ensino médio que ignoram ou deixam de atender aos alunos negros.


Relacionado: Os alunos de Nova York visam a segregação hackeando um algoritmo


Em algumas escolas, até mesmo alguma automação nas admissões é proibida. Ao contrário de muitas outras faculdades e universidades, não usamos IA ou outros sistemas automatizados em nossas decisões, diz Greer Davis, diretor associado de marketing e comunicações da Universidade de Wisconsin-Madison. Todos os aplicativos e todo o material de apoio são lidos por vários conselheiros usando uma abordagem holística e não temos ou usamos mínimos, intervalos ou fórmulas.

UC-Berkeley também está resistindo a admissões por máquinas. Janet Gilmore, diretora sênior de comunicações e relações públicas da UC-Berkeley, diz que a universidade não possui processos automatizados e que o arquivo completo do candidato é avaliado por leitores treinados. Seu site do processo de admissão afirma que raça, etnia, gênero e religião são excluídos dos critérios e que a escola usa um processo de revisão holística que considera fatores acadêmicos (dificuldade do curso, pontuações de testes padronizados) e não acadêmicos. No último caso, podem ser qualidades pessoais, como caráter e independência intelectual, ou atividades como serviço voluntário e liderança em organizações comunitárias.

Richardson, no entanto, vê um lugar para automação na redução da carga de trabalho no processamento de admissões. O software pode, por exemplo, ajudar a eliminar documentos duplicados ou sinalizar documentos ausentes dos candidatos.

O mais novo software de admissão e recrutamento tem como objetivo fazer muito mais do que sinalizar arquivos incompletos. Mas Knotts, de Ellucian, insiste que o objetivo não é automatizar totalmente as próprias decisões, pelo menos não ainda. Não queremos tomar decisões de computador com esses candidatos, diz ele. E não acho que o setor de educação queira isso também.