Gender Coreference and Bias Evaluation at WMT 2020

Tom Kocmi, Tomasz Limisiewicz, Gabriel Stanovsky

פרסום מחקרי: פרק בספר / בדוח / בכנספרסום בספר כנסביקורת עמיתים

תקציר

Gender bias in machine translation can manifest when choosing gender inflections based on spurious gender correlations. For example, always translating doctors as men and nurses as women. This can be particularly harmful as models become more popular and deployed within commercial systems. Our work presents the largest evidence for the phenomenon in more than 19 systems submitted to the WMT over four diverse target languages: Czech, German, Polish, and Russian. To achieve this, we use WinoMT, a recent automatic test suite which examines gender coreference and bias when translating from English to languages with grammatical gender. We extend WinoMT to handle two new languages tested in WMT: Polish and Czech. We find that all systems consistently use spurious correlations in the data rather than meaningful contextual information.

שפה מקוריתאנגלית אמריקאית
כותר פרסום המארח5th Conference on Machine Translation, WMT 2020 - Proceedings
עורכיםLoic Barrault, Ondrej Bojar, Fethi Bougares, Rajen Chatterjee, Marta R. Costa-Jussa, Christian Federmann, Mark Fishel, Alexander Fraser, Yvette Graham, Paco Guzman, Barry Haddow, Matthias Huck, Antonio Jimeno Yepes, Philipp Koehn, Andre Martins, Makoto Morishita, Christof Monz, Masaaki Nagata, Toshiaki Nakazawa, Matteo Negri
מוציא לאורAssociation for Computational Linguistics (ACL)
עמודים357-364
מספר עמודים8
מסת"ב (אלקטרוני)9781948087810
סטטוס פרסוםפורסם - 2020
אירוע5th Conference on Machine Translation, WMT 2020 - Virtual, Online
משך הזמן: 19 נוב׳ 202020 נוב׳ 2020

סדרות פרסומים

שם5th Conference on Machine Translation, WMT 2020 - Proceedings

כנס

כנס5th Conference on Machine Translation, WMT 2020
עירVirtual, Online
תקופה19/11/2020/11/20

ASJC Scopus subject areas

  • ???subjectarea.asjc.1700.1709???
  • ???subjectarea.asjc.1700.1712???
  • ???subjectarea.asjc.1200.1203???

טביעת אצבע

להלן מוצגים תחומי המחקר של הפרסום 'Gender Coreference and Bias Evaluation at WMT 2020'. יחד הם יוצרים טביעת אצבע ייחודית.

פורמט ציטוט ביבליוגרפי