課程大綱：自然語言處理預(yù)訓(xùn)練技術(shù)培訓(xùn)
預(yù)訓(xùn)練模型目前在自然語言處理領(lǐng)域得以廣泛應(yīng)用，
課程將圍繞 BERT，GPT-2，XLNet 等前沿的預(yù)訓(xùn)練模型技術(shù)，
使用基于 PyTorch 開發(fā)的 PyTorch-Transformers 預(yù)訓(xùn)練模型庫進行實踐。
1 BERT 預(yù)訓(xùn)練模型
2 XLNet 預(yù)訓(xùn)練模型
3 文本生成任務(wù)
4 GPT-2 預(yù)訓(xùn)練模型
5 文本分類任務(wù)
6 序列標注任務(wù)
1
BERT 預(yù)訓(xùn)練模型及文本分類
1.語言模型和詞向量
2.BERT結(jié)構(gòu)詳解
3.BERT文本分類
1
Kaggle 電影評論情感分析
1.預(yù)訓(xùn)練模型使用
2.Kaggle平臺使用
2
GPT-2 預(yù)訓(xùn)練模型及文本生成
1.GPT2的核心思想
2.GPT2模型結(jié)構(gòu)詳解
3.GPT2進行文本生成
2
Kaggle 各國食譜分類比賽
1.預(yù)訓(xùn)練模型使用 2.Kaggle平臺使用
3
XLNet 預(yù)訓(xùn)練模型及命名實體識別
1.XLNet在BERT和GPT2上的改進
2.XLNet模型結(jié)構(gòu)
3.使用XLNet進行命名實體識別實驗
3
Quora 文本相似度分析比賽
1.文本相似度問題轉(zhuǎn)換
2.預(yù)訓(xùn)練模型使用
3.Kaggle平臺使用
加入高級會員獲得助教答疑
