HanLP — HMM隐马尔可夫模型

隐马尔可可夫模型（Hidden Markov Model，HMM）是统计模型，用于描述一个含有隐含未知参数的马尔可夫过程。

HMM由初始概率分布、状态转移概率分布和观测概率分布确定。

BMES => B:词语开始、M：词语中间、E：词语结束、S:单独成词

并非所有中文任务都需要分词



语料库

• 每行是一篇“文章”
• 每篇文章用空格分开
• 语料库的准确性，严重影响分词结果
• 理论上，语料库越大越好

每个字都有一个标识（隐藏状态），可以根据语料库得到所有标识

中文分词就是为了得到状态

根据已知状态进行分词，即在"E"和"S"后面输出空格即可

将已分好的词 得到 每个字的状态