Um modelo Markov é um método estocástico para sistemas que mudam aleatoriamente onde é assumido que os estados futuros não dependem de estados passados. Estes modelos mostram todos os estados possíveis assim como as transições, taxa de transições e probabilidades entre eles.
Os modelos Markov são frequentemente usados para modelar as probabilidades de diferentes estados e as taxas de transições entre eles. O método é geralmente usado para modelar sistemas. Os modelos Markov também podem ser utilizados para reconhecer padrões, fazer previsões e aprender as estatísticas de dados sequenciais.
Existem quatro tipos de modelos Markov que são utilizados situacionalmente:
- Cadeia Markov - utilizados por sistemas que são autónomos e têm estados totalmente observáveis
- Modelo Markov escondido - utilizado por sistemas que são autónomos onde o estado é parcialmente observável.
- Processos de decisão de Markov - utilizados por sistemas controlados com um estado totalmente observável.
- Processos de decisão de Markov parcialmente observáveis - utilizados por sistemas controlados onde o estado é parcialmente observável.
Os modelos de Markov podem ser expressos em equações ou em modelos gráficos. Os modelos gráficos de Markov normalmente usam círculos (cada um contendo estados) e setas direcionais para indicar possíveis mudanças de transição entre eles. As setas direcionais são rotuladas com a taxa ou a variável para a taxa. As aplicações da modelagem de Markov incluem linguagens de modelagem, processamento de linguagem natural (PNL), processamento de imagens, bioinformática, reconhecimento da fala e modelagem de sistemas de hardware e software de computador.
Os modelos Markov têm o nome do seu criador, Andrey Markov, um matemático russo do final do século XIX ao início do século XIX.