تولید کلمات کلیدی متون فارسی با استفاده از یادگیری انتقالی

نوع مقاله : علمی-پژوهشی

نویسندگان

1 استادیار، دانشکده مهندسی کامپیوتر، دانشگاه صنعتی شاهرود، شاهرود، ایران

2 دانشجوی دکتری، دانشکده مهندسی انفورماتیک، دانشگاه پورتو، پورتو، پرتغال

3 فارغ التحصیل کارشناسی دانشکده مهندسی کامپیوتر، دانشگاه صنعتی شاهرود، شاهرود، ایران

چکیده

تولید خودکار کلمات کلیدی، نقش مهمی در بسیاری از کاربردهای تحلیلی متن و زبان‌های طبیعی، به‌ویژه در دسته‌بندی و بازیابی سریع متون دارد. بسیاری از روش‌های کنونی محدود به انتخاب کلماتی هستند که صریحاً در متن ذکر شده‌اند. استفاده از روش‌های دنباله‌به‌دنباله قادر است این نقصان را برطرف کند. البته استفاده از این روش‌ها معمولاً مستلزم وجود پیکره‌های عظیم است که برای زبان‌های کم‌منبع مثل فارسی یک چالش محسوب می‌شود. در چنین موقعیت‌هایی، یادگیری انتقالی که در آن یک مدل پیش‌آموخته بر روی یک وظیفه جدید با مجموعه کوچکتری از داده‌ها تطبیق داده می‌شود، می‌تواند راه‌گشا باشد. در این مقاله، برآنیم تا با استفاده از یک روش دنباله‌به‌دنباله مبتنی بر شبکه‌های عمیق انتقالی، به تولید کلمات کلیدی برای متون علمی فارسی بپردازیم. در همین راستا، پیکره‌ متنوعی از ٧۰هزار مقاله تخصصی به زبان فارسی و کلمات کلیدی متناظرشان جمع‌آوری شده است. سپس شبکه انتقالی پیش‌آموخته MT5 با استفاده از این پیکره،  برای وظیفه تولید کلمات کلیدی، تنظیم و بازآموزی شده است. مدل حاصل، با چندین روش دیگر مقایسه شده است. نتایج این مقایسه حاکی از برتری حداقل 2.71 درصدی آن بر روش‌های موجود است.

کلیدواژه‌ها


عنوان مقاله [English]

Persian Keyphrase Generation Using Transfer Learning

نویسندگان [English]

  • M. Rahimi 1
  • E. Jalili Jalal 2
  • H. Alirezayi 3
1 Faculty of Computer Engineering, Shahrood University of Technology, Shahrood, Iran.
2 Faculty of Computer Engineering, Shahrood University of Technology, Shahrood, Iran.
3 -Faculty of Computer Engineering, Shahrood University of Technology, Shahrood, Iran.
چکیده [English]

Automatic keyphrase generation plays an important role in many text analysis and natural language processing tasks. Many existing methods are bound to select keyphrases from the terms and phrases that are present in the target text. This handicap could be overcome using sequence-to-sequence methods. However, many such methods need huge datasets for training which pose a challenge for low-resource languages such as Persian. Transfer learning where a pre-trained model is adapted to a new task specified with a smaller dataset is very useful in such circumstances. In this paper, we present a sequence-to-sequence method utilizing a transformer model for Persian keyphrase generation. Accordingly, a corpus of 70K Persian scientific abstracts and their corresponding keyphrases have been gathered. A pretrianed MT5 mdel is fine-tuned on this corpus for the task of Persian keyword generation. The resulted model is compared to several other keyphrase generation methods. The results indicate that the proposed method can outperform existing methods at least by 2.71 percent.

کلیدواژه‌ها [English]

  • Keyphrase generation
  • keyphrase extraction
  • transformer models
  • Persian corpus
  • abstractive summarization
  • sequence-to-sequence learning