Black box AI é qualquer sistema de inteligência artificial cujas entradas e operações não são visíveis para o utilizador ou outra parte interessada. Uma caixa preta, em um sentido geral, é um sistema impenetrável.
A modelagem da aprendizagem profunda é tipicamente conduzida através do desenvolvimento da caixa preta: O algoritmo toma milhões de pontos de dados como entradas e correlaciona características de dados específicas para produzir uma saída. Esse processo é amplamente auto-direcionado e geralmente é difícil para os cientistas de dados, programadores e usuários interpretarem.
Quando o funcionamento do software utilizado para operações e processos importantes dentro de uma organização não pode ser facilmente visto ou compreendido, os erros podem passar despercebidos até que eles causem problemas tão grandes que se torna necessário investigar e os danos causados podem ser caros ou mesmo impossíveis de reparar.
P>AI bias, por exemplo, podem ser introduzidos aos algoritmos como um reflexo de preconceitos conscientes ou inconscientes por parte dos desenvolvedores, ou eles podem se infiltrar através de erros não detectados. Em qualquer caso, os resultados de um algoritmo enviesado serão enviesados, potencialmente de uma forma ofensiva para as pessoas que são afetadas. O viés em um algoritmo pode vir de dados de treinamento quando os detalhes sobre o conjunto de dados não são reconhecidos. Em uma situação, a IA usada em uma aplicação de recrutamento se baseou em dados históricos para fazer seleções para profissionais de TI. Entretanto, como a maioria do pessoal de TI historicamente era do sexo masculino, o algoritmo mostrou um viés para os candidatos masculinos.
Se tal situação surgir da caixa preta AI, ela pode persistir por tempo suficiente para que a organização incorra em danos à sua reputação e, potencialmente, em ações legais por discriminação. Para prevenir tais danos, é importante que os desenvolvedores de IA incorporem transparência em seus algoritmos e que as organizações se comprometam a prestar contas por seus efeitos.