أساسيات المحولات

أساسيات المحولات



المحول هو نموذج للتعلم العميق يعتمد آلية الاهتمام الذاتي ، مما يرجح بشكل مختلف أهمية كل جزء من بيانات المدخلات. يتم استخدامه في المقام الأول في مجالات معالجة اللغات الطبيعية (NLP)[1] ورؤية الكمبيوتر (CV). [2]

مثل الشبكات العصبية المتكررة (RNNs) ، تم تصميم المحولات لمعالجة بيانات الإدخال المتسلسلة ، مثل اللغة الطبيعية ، مع تطبيقات نحو مهام مثل الترجمة وتلخيص النص. ومع ذلك ، على عكس RNNs ، تقوم المحولات بمعالجة المدخلات بأكملها دفعة واحدة. توفر آلية الانتباه سياقا لأي موضع في تسلسل الإدخال. على سبيل المثال ، إذا كانت بيانات الإدخال عبارة عن جملة لغة طبيعية ، فلن يضطر المحول إلى معالجة كلمة واحدة في كل مرة. هذا يسمح بمزيد من التوازي من RNNs وبالتالي يقلل من أوقات التدريب. [1]

تم تقديم المحولات في عام 2017 من قبل فريق في Google Brain[1] وهي على نحو متزايد النموذج المفضل لمشاكل البرمجة اللغوية العصبية،[3] لتحل محل نماذج RNN مثل الذاكرة طويلة المدى (LSTM). يسمح توازي التدريب الإضافي بالتدريب على مجموعات بيانات أكبر. أدى ذلك إلى تطوير أنظمة مدربة مسبقا مثل BERT (تمثيلات التشفير ثنائي الاتجاه من المحولات) و GPT (المحولات التوليدية المدربة مسبقا) ، والتي تم تدريبها باستخدام مجموعات بيانات لغوية كبيرة ، مثل Wikipedia Corpus و Common Crawl ، ويمكن ضبطها بدقة لمهام محددة. [4] [5]

تواصل معنا


يوصي بالقراءة