أساسيات المحولات
المحول هو نموذج للتعلم العميق يعتمد آلية الاهتمام الذاتي ، ويرجح بشكل تفاضلي أهمية كل جزء من بيانات الإدخال. يتم استخدامه بشكل أساسي في مجالات معالجة اللغة الطبيعية (NLP) [1] ورؤية الكمبيوتر (CV). [2]
مثل الشبكات العصبية المتكررة (RNNs) ، تم تصميم المحولات لمعالجة بيانات الإدخال المتسلسلة ، مثل اللغة الطبيعية ، مع تطبيقات نحو مهام مثل الترجمة وتلخيص النصوص. ومع ذلك ، على عكس RNNs ، تعالج المحولات المدخلات بأكملها مرة واحدة. توفر آلية الانتباه سياقا لأي موضع في تسلسل الإدخال. على سبيل المثال ، إذا كانت بيانات الإدخال عبارة عن جملة لغة طبيعية ، فلن يضطر المحول إلى معالجة كلمة واحدة في كل مرة. هذا يسمح بالتوازي أكثر من RNNs وبالتالي يقلل من أوقات التدريب. [1]
تم تقديم المحولات في عام 2017 من قبل فريق في Google Brain[1] وهي بشكل متزايد النموذج المفضل لمشاكل البرمجة اللغوية العصبية ، [3] لتحل محل نماذج RNN مثل الذاكرة طويلة المدى (LSTM). يسمح التوازي التدريبي الإضافي بالتدريب على مجموعات بيانات أكبر. أدى ذلك إلى تطوير أنظمة مدربة مسبقا مثل BERT (تمثيلات التشفير ثنائي الاتجاه من المحولات) و GPT (محول توليدي مدرب مسبقا) ، والتي تم تدريبها على مجموعات بيانات لغوية كبيرة ، مثل Wikipedia Corpus و Common Crawl ، ويمكن ضبطها لمهام محددة. [4][5]
مثل الشبكات العصبية المتكررة (RNNs) ، تم تصميم المحولات لمعالجة بيانات الإدخال المتسلسلة ، مثل اللغة الطبيعية ، مع تطبيقات نحو مهام مثل الترجمة وتلخيص النصوص. ومع ذلك ، على عكس RNNs ، تعالج المحولات المدخلات بأكملها مرة واحدة. توفر آلية الانتباه سياقا لأي موضع في تسلسل الإدخال. على سبيل المثال ، إذا كانت بيانات الإدخال عبارة عن جملة لغة طبيعية ، فلن يضطر المحول إلى معالجة كلمة واحدة في كل مرة. هذا يسمح بالتوازي أكثر من RNNs وبالتالي يقلل من أوقات التدريب. [1]
تم تقديم المحولات في عام 2017 من قبل فريق في Google Brain[1] وهي بشكل متزايد النموذج المفضل لمشاكل البرمجة اللغوية العصبية ، [3] لتحل محل نماذج RNN مثل الذاكرة طويلة المدى (LSTM). يسمح التوازي التدريبي الإضافي بالتدريب على مجموعات بيانات أكبر. أدى ذلك إلى تطوير أنظمة مدربة مسبقا مثل BERT (تمثيلات التشفير ثنائي الاتجاه من المحولات) و GPT (محول توليدي مدرب مسبقا) ، والتي تم تدريبها على مجموعات بيانات لغوية كبيرة ، مثل Wikipedia Corpus و Common Crawl ، ويمكن ضبطها لمهام محددة. [4][5]
