كيمياء

الشبكات العصبية - كاملة


مشاكل عملية التعلم backpropagation

مثل كل طريقة تدرج ، فإن backpropagation لديه أيضًا عدد من المشكلات التي تنشأ من حقيقة أنها طريقة محلية لا تحتوي على معلومات حول منطقة الخطأ ككل ، ولكن فقط من معرفة البيئة المحلية (التدرج أو ، إذا يتم توسيع الطريقة ، كما يجب أن تسعى بعض المواقع التي تمت زيارتها سابقًا في منطقة الخلل) إلى حد أدنى. هذه موصوفة أدناه ونُهج لحل المشاكل معروضة.

كسر التماثل

يُفهم مصطلح كسر التناظر على أنه مشكلة في تهيئة أوزان البداية لشبكات التغذية الأمامية المتصلة تمامًا في المستويات. يجب ألا تكون أوزان البداية هذه بنفس الحجم عند تهيئة الشبكة. إذا تمت تهيئة جميع أوزان كل مستوى لتكون بالحجم نفسه (على سبيل المثال مع 0 ، حيث يجب أن يجدوا قيمتها الصحيحة من خلال التعلم) ، فلن يتمكن النظام بعد ذلك من تحمل أوزان مختلفة في طبقات الأوزان قبل طبقة الإخراج بسبب إلى عملية تعلم الانتشار الخلفي. مع شبكة التغذية الأمامية ذات المرحلتين ، لم يعد من الممكن تطوير الأوزان المختلفة في الطبقة الأولى. يجب توضيح ذلك من خلال المثال التالي. بدون فقدان التعميم ، افترض أن الخلايا العصبية المخفية والخلايا العصبية الناتجة تستخدم وظيفة التنشيط اللوجستي.

بعد مرحلة الانتشار الأمامية للنمط ص ينطبق على الخلايا العصبية المخفية اص4=اص5=اص6. نحن الآن ننظر في القضية δص7δص8.

الأوزان من الطبقة المخفية إلى الطبقة الناتجة طبقًا للصيغة Δصثيك=ηاصيδصك تغير. إذن هذا هو الوزن يتغير والأوزان الجديدة لكل خلية عصبية مخفية يالتي تذهب إلى نفس الخلايا العصبية للإنفاق ك يؤدي ، نفس الشيء ، أي ينطبق Δصث47=Δصث57=Δصث67 و Δصث48=Δصث58=Δصث68.

الأخطاء δصي من الخلايا العصبية للطبقة المخفية هي نفسها للأسباب التالية:

δصي=اصي1اصيكδصكثيك=اص1اصكδصكثيك=ثابتللجميعي

يتم تغيير الأوزان من طبقة الإدخال إلى الطبقة المخفية وفقًا للصيغة Δصثأناي=ηاصأناδصي. مع هذا تحصل جميع الاتصالات من الخلايا العصبية المدخلة أنا نفس التغيير لجميع الخلايا العصبية المخفية ، أي أنا=123.

لذلك ينطبق أيضًا عند إنشاء النمط التالي فأن نواتج جميع الخلايا العصبية السرية ي هي نفسها ، أي افي=اف، لأن كل خلية عصبية بدورها تتلقى نفس مدخلات الشبكة. بشكل مشابه ، يتضح أن أوزان الاتصال المتماثل يتم التعبير عنها مرة أخرى ، بأوزان الخلايا العصبية المدخلة أنا لجميع الخلايا العصبية المخفية ي تظل كما هي ، أي لجميع الخلايا العصبية المدخلة أنا قابل للتطبيق ثأنا4=ثأنا5=ثأنا6. أيضًا أوزان جميع الخلايا العصبية المخفية في خلية عصبية واحدة ك ابق على حاله ، أي ث4ك=ث5ك=ث6ك لجميع الخلايا العصبية الناتجة ك. لم يعد من الممكن كسر هذا التناظر الذي تم تقديمه من خلال التهيئة.

حل هذه المشكلة بسيط للغاية: يستخدم المرء قيمًا عشوائية صغيرة كقيم أولية للأوزان. يؤدي هذا بالإضافة إلى ذلك إلى حصول جميع الخلايا على مدخلات شبكة تقارب الصفر والتي (عند عتبة Θ=0) اشتقاق وظيفة التنشيط اللوجستي أكبر. يمكن للنظام بعد ذلك تكييف نفسه بسرعة أكبر. غالبًا ما يتم استخدام تهيئة في النطاق من -1 إلى 1. من الممكن أيضًا جعل تهيئة الأوزان التي تعتمد على عدد الاتصالات في الخلية أكثر تعقيدًا بعض الشيء عن طريق اختيار الأوزان بحيث يكون إدخال الشبكة 1 إذا كان كل السلف يقدم 1 كمخرج ، أي ثأناي=1ن مع ن كعدد توصيلات الإدخال في ي.

الحدود الدنيا المحلية لمنطقة الخطأ

تواجه جميع طرق التدرج مشكلة أنها يمكن أن تعلق في الحد الأدنى المحلي لمنطقة الخلل. وهذا موضح بيانياً في (الشكل 2) أ. لا تجد طريقة التدرج بالضرورة الحد الأدنى المطلق هنا. تكمن مشكلة الشبكات العصبية في أن منطقة الخطأ ذات البعد المتزايد للشبكة (مع زيادة عدد الاتصالات) تصبح أكثر انقسامًا وبالتالي فإن احتمال أن ينتهي بها الأمر في الحد الأدنى المحلي بدلاً من الحد الأدنى العالمي يصبح أكبر وأكبر. هناك عدد قليل من الطرق الصالحة عمومًا لهذا الغرض والتي تقضي على هذه المشكلة ، نظرًا لأن المدى الذي يتم فيه تكوين الحدود الدنيا المحلية التي لا يمكن لطريقة التعلم الهروب منها يعتمد كثيرًا على التطبيق وأيضًا على تشفير المدخلات. من ناحية أخرى ، أظهرت التجربة العملية أنه مع حجم خطوة صغير بما فيه الكفاية (عامل التعلم) η ، في العديد من التطبيقات ، يجد backpropagation حدًا أدنى يقترب من الحد الأدنى العالمي جيدًا ومقبولًا للتطبيق.

الهضاب

الهضاب مشكلة أخرى مع طرق التدرج. نظرًا لأن حجم تغيير الوزن يعتمد على مقدار التدرج اللوني ، فإن التكاثر العكسي يتوقف على الهضاب ، أي تتطلب عملية التعلم عددًا كبيرًا جدًا من خطوات التكرار. 2)ب هو مبين بيانيا. في حالة الهضبة المسطحة تمامًا (التدرج هو المتجه الصفري) ، لم تعد عملية التعلم تجري أي تغيير في الوزن على الإطلاق. مشكلة أخرى في هذه الحالة هي أنه من غير الممكن عادة معرفة ما إذا كانت عملية التعلم راكدة على هضبة أو ما إذا كان المرء في حد أدنى محلي أو عالمي ، حيث يكون التدرج هو أيضًا متجه الصفر.

من ناحية أخرى ، من الإيجابي وجود إجراءات بسيطة (مصطلح الزخم) يمكن من خلالها للمتغيرات المعدلة للانتشار العكسي التغلب على هذه الهضاب على وجه التحديد لهذه المشكلة. سيتم تقديم هذه بالتفصيل في وقت لاحق.

تذبذبات متدرجة كبيرة

إذا كان تدرج منطقة الخطأ كبيرًا جدًا ("الوديان شديدة الانحدار") ، يمكن أن تتأرجح عملية التعلم. يحدث هذا عندما ينتج عن التغيير في الوزن قفزة إلى الجانب الآخر من المضيق. إذا كان التدرج هناك بنفس المقدار ولكن الاتجاه المعاكس ، فإن هذا يؤدي إلى قفزة إلى الصفحة الأولى. يظهر هذا بيانياً في (الشكل 2) ج لحسن الحظ ، فإن نفس التغيير في الانتشار العكسي (مصطلح الزخم) الذي يمكن أن يتغلب على الهضاب يمكن أيضًا أن يثبط أو حتى يزيل التذبذبات التي تسببها التدرجات الكبيرة.

ترك الحد الأدنى إلى الحد الأدنى المحلي الأكبر

يمكن أن يحدث أن يقفز backpropagation من الحدود الدنيا. في حالة المنخفضات الضيقة جدًا في منطقة الخلل ، يمكن أن تكون كمية التدرج كبيرة جدًا بحيث يؤدي التغيير في الوزن من الحد الأدنى إلى الحد الأدنى المحلي الأكبر وبالتالي غير المواتي. لحسن الحظ ، نادرًا ما يحدث هذا في الممارسة.


فيديو: Neural Networks with JavaScript - Full Course using (كانون الثاني 2022).