SenseBERT: Driving some sense into BERT

Yoav Levine, Barak Lenz, Or Dagan, Ori Ram, Dan Padnos, Or Sharir, Shai Shalev-Shwartz, Amnon Shashua, Yoav Shoham

פרסום מחקרי: פרק בספר / בדוח / בכנספרסום בספר כנסביקורת עמיתים

תקציר

The ability to learn from large unlabeled corpora has allowed neural language models to advance the frontier in natural language understanding. However, existing self-supervision techniques operate at the word form level, which serves as a surrogate for the underlying semantic content. This paper proposes a method to employ weak-supervision directly at the word sense level. Our model, named SenseBERT, is pre-trained to predict not only the masked words but also their WordNet supersenses. Accordingly, we attain a lexical-semantic level language model, without the use of human annotation. SenseBERT achieves significantly improved lexical understanding, as we demonstrate by experimenting on SemEval Word Sense Disambiguation, and by attaining a state of the art result on the 'Word in Context' task.

שפה מקוריתאנגלית
כותר פרסום המארחACL 2020 - 58th Annual Meeting of the Association for Computational Linguistics, Proceedings of the Conference
מוציא לאורAssociation for Computational Linguistics (ACL)
עמודים4656-4667
מספר עמודים12
מסת"ב (אלקטרוני)9781952148255
סטטוס פרסוםפורסם - 2020
פורסם באופן חיצוניכן
אירוע58th Annual Meeting of the Association for Computational Linguistics, ACL 2020 - Virtual, Online, ארצות הברית
משך הזמן: 5 יולי 202010 יולי 2020

סדרות פרסומים

שםProceedings of the Annual Meeting of the Association for Computational Linguistics

כנס

כנס58th Annual Meeting of the Association for Computational Linguistics, ACL 2020
מדינה/אזורארצות הברית
עירVirtual, Online
תקופה5/07/2010/07/20

ASJC Scopus subject areas

  • ???subjectarea.asjc.1200.1203???
  • ???subjectarea.asjc.1700.1706???
  • ???subjectarea.asjc.3300.3310???

טביעת אצבע

להלן מוצגים תחומי המחקר של הפרסום 'SenseBERT: Driving some sense into BERT'. יחד הם יוצרים טביעת אצבע ייחודית.

פורמט ציטוט ביבליוגרפי