ALBERT+BiLSTM+CRF实现序列标注

一、模型框架图

二、分层介绍

1）ALBERT层

　　albert是以单个汉字作为输入的(本次配置最大为128个，短句做padding)，两边分别加上开始标识CLS和结束标识SEP，输出的是每个输入word的embedding。在该框架中其实主要就是利用了预训练模型albert的词嵌入功能，在此基础上fine-tuning其后面的连接参数，也就是albert内部的训练参数不参与训练。

2）BiLSTM层

  　　该层的输入是albert的embedding输出，其输出是[batch_szie,num_steps, num_tags]。batch_size为模型当中batch的大小，num_steps为输入句子的长度，本次配置为最大128，num_tags为序列标注的个数，如图中的序列标注一共是5个，也就是会输出每个词在5个tag上的分数，由于没有做softmax归一化，所以不能称之为概率值。

ALBERT+BiLSTM+CRF实现序列标注

原文：https://www.cnblogs.com/gczr/p/12045358.html