ما هو ملف robots.txt، وهل تحتاج إليه؟

ما هو

robots.txt هو ملف نصي عادي يوجد في جذر الموقع تمامًا (على عنوان مثل yourdomain.com/robots.txt) ويعطي تعليمات لزواحف محركات البحث — البرامج الآلية التي تزور المواقع لقراءة صفحاتها وفهرستها. عادة ما يقول أشياء مثل "مرحبًا بك في زحف هذا الموقع بالكامل" أو يسرد أقسامًا محددة يجب ألا تُزحف، مثل منطقة إدارية داخلية أو صفحة نتائج بحث لا تحتاج إلى الظهور في Google.

إنها مجموعة من الطلبات المهذبة وليست حاجزًا أمنيًا — تحترمها الزواحف حسنة السلوك (مثل زواحف Google وBing)، لكنها لا تمنع فعليًا أي شخص من الوصول إلى صفحة مباشرة إذا كان لديه العنوان بالفعل.

لماذا يهم

بدون ملف robots.txt، ستفترض معظم الزواحف ببساطة أنها حرة في زحف كل شيء على الموقع، وهو أمر جيد غالبًا لموقع صغير ليس لديه ما يستبعده. لكن غيابه يعني أيضًا أنه ليس لديك أي رأي في هذا الأمر على الإطلاق — إذا كان هناك قسم لا تريد زحفه (أداة داخلية، منطقة تجريبية تُركت عامة عن طريق الخطأ، محتوى مكرر ينشئه بحث الموقع)، فلا يوجد ملف موجود ليقول ذلك.