ep47 (ICLR): ALBERT: A Lite BERT for Self-supervised Learning of Language Representations

25:34
 
シェア
 

Manage episode 250074595 series 2438076
著作 jojonki の情報はPlayer FM及びコミュニティによって発見されました。著作権は出版社によって所持されます。そして、番組のオーディオは、その出版社のサーバから直接にストリーミングされます。Player FMで購読ボタンをタップし、更新できて、または他のポッドキャストアプリにフィードのURLを貼り付けます。

ICLR 2020より,factorized embeddingとパラメタ共有によるパラメタ削減及び文順序予測タスクを採用したALBERTを解説しました.

今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/348

サポーターも募集中です. https://www.patreon.com/jojonki

--- Support this podcast: https://anchor.fm/lnlp-ninja/support

49 つのエピソード