人工智能算法工程师(高级)课程12-自然语言处理之NLP的语言模型-ELMo,transformer,BERT与代码详解
自然语言处理之NLP的语言模型-ELMo,transformer,BERT与代码详解
一、引言
自然语言处理(NLP)是人工智能领域的一个重要分支,近年来取得了显著的进展。本文将介绍几种经典的NLP语言模型,包括EMLo、Transformer和BERT,这些都是NLP最最常见的模型,也是必学模型,本文详细讲解它们的数学原理,最后用PyTorch实现这些模型。
二、ELMo模型
1. 原理介绍
ELMo(Embeddings from Language Models)是一种基于语言模型预训练词向量的方法。它通过训练一个深度双向LSTM语言模型来学习词向量。ELMo 的核心思想是利用双向语言模型来获取单词的上下文相关表示。具体来说,ELMo 会训练两个方向的 LSTM:一个正向 LSTM 和