Brief Announcement: Gradual Learning of Deep Recurrent Neural Network

Ziv Aharoni, Gal Rattner, Haim Permuter

نتاج البحث: فصل من :كتاب / تقرير / مؤتمرمنشور من مؤتمرمراجعة النظراء

ملخص

Deep Recurrent Neural Networks (RNNs) achieve state-of-the-art results in many sequence-to-sequence modeling tasks. However, deep RNNs are difficult to train and tend to suffer from overfitting. Motivated by the Data Processing Inequality (DPI) we formulate the multi-layered network as a Markov chain, introducing a training method that comprises training the network gradually and using layer-wise gradient clipping. In total, we have found that applying our methods combined with previously introduced regularization and optimization methods resulted in improvement to the state-of-the-art architectures operating in language modeling tasks.

اللغة الأصليةإنجليزيّة أمريكيّة
عنوان منشور المضيفCyber Security Cryptography and Machine Learning - Second International Symposium, CSCML 2018, Proceedings
المحررونItai Dinur, Shlomi Dolev, Sachin Lodha
ناشرSpringer Verlag
الصفحات274-277
عدد الصفحات4
رقم المعيار الدولي للكتب (الإلكتروني)978-3-319-94147-9
رقم المعيار الدولي للكتب (المطبوع)978-3-319-94146-2
المعرِّفات الرقمية للأشياء
حالة النشرنُشِر - 17 يونيو 2018
الحدث2nd International Symposium on Cyber Security Cryptography and Machine Learning, CSCML 2018 - Beer-Sheva, إسرائيل
المدة: ٢١ يونيو ٢٠١٨٢٢ يونيو ٢٠١٨

سلسلة المنشورات

الاسمLecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics)
مستوى الصوت10879 LNCS

!!Conference

!!Conference2nd International Symposium on Cyber Security Cryptography and Machine Learning, CSCML 2018
الدولة/الإقليمإسرائيل
المدينةBeer-Sheva
المدة٢١/٠٦/١٨٢٢/٠٦/١٨

All Science Journal Classification (ASJC) codes

  • !!Theoretical Computer Science
  • !!Computer Science (all)

بصمة

أدرس بدقة موضوعات البحث “Brief Announcement: Gradual Learning of Deep Recurrent Neural Network'. فهما يشكلان معًا بصمة فريدة.

قم بذكر هذا