Desastre com dados

Um desastre com dados é um problema sério causado por um ou mais processos ineficazes de análise de dados.

De acordo com o Data Warehousing Institute, problemas de qualidade de dados custam às empresas nos Estados Unidos mais de $600 bilhões por ano. Além da carga financeira, problemas com a qualidade e análise dos dados podem ter um sério impacto na segurança, conformidade, gerenciamento de projetos e gestão de recursos humanos (HRM), entre outras possibilidades.

Error pode se infiltrar na análise de dados em qualquer fase. A qualidade dos dados pode ser inadequada em primeiro lugar, por exemplo. Ela pode ser incompleta, imprecisa, não atual ou pode não ser um indicador confiável do que se pretende representar. A análise e interpretação dos dados é propensa a um número semelhante de armadilhas. Pode haver fatores de confusão e o método matemático pode ser falho ou inadequado. A correlação pode ser considerada erroneamente para sugerir a causa. O significado estatístico pode ser atribuído erroneamente quando os dados não o suportam. Mesmo que os dados e processos analíticos sejam válidos, os dados podem ser deliberadamente apresentados de forma enganosa para apoiar uma agenda.

Num contexto mais amplo, falhas nos processos orientados por dados têm sido responsáveis por desastres reais como a explosão do ônibus espacial Challenger em 1986 e a queda de um Airbus iraniano pelo USS Vincennes em 1988.

Como as empresas lidam com enormes aumentos na quantidade de dados coletados - às vezes chamados de grandes dados - há um aumento correspondente na tendência para a gestão de decisões orientadas por dados (DDDM). Os problemas surgem quando recursos insuficientes são aplicados a processos de dados e demasiada confiança depositada na sua validade. Para prevenir desastres orientados por dados, é crucial examinar continuamente a qualidade dos dados e os processos analíticos, e prestar atenção ao senso comum e até mesmo à intuição. Quando os dados parecem indicar algo que não faz sentido lógico ou apenas parece errado, é hora de reexaminar os dados de origem e os métodos de análise.