ep46: FreeLB: Enhanced Adversarial Training for Language Understanding

24:21
 
シェア
 

Manage episode 249286930 series 2438076
著作 jojonki の情報はPlayer FM及びコミュニティによって発見されました。著作権は出版社によって所持されます。そして、番組のオーディオは、その出版社のサーバから直接にストリーミングされます。Player FMで購読ボタンをタップし、更新できて、または他のポッドキャストアプリにフィードのURLを貼り付けます。

ICLR 2020より,BERT/RoBERTaの埋め込み空間に,敵対摂動を入れるVirtual Adversarial Trainingによって,モデル性能を改善するFreeLBという手法を解説しました.

今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/347

サポーターも募集中です. https://www.patreon.com/jojonki

--- Support this podcast: https://anchor.fm/lnlp-ninja/support

48 つのエピソード