مولد Robots.txt
توليد الكود
تقوم الاداء بتوليد الملف اتوماتكياً لك بحيث يمكنك نسخه ونقله إلي موقعك Robots.txt :
كل محركات البحث لديه عناكب وهي Roborts – Spiders ، ومن مهام واولويات عمل هذه العناكب ان تقوم بتفحص المدونات والمواقع الخاصة وأرشفتها وظهورها في محرك البحث.
قد ترغب بمنع هذه العناكب من زيارة بعض صفحات المدونة، او بعض الصفحات المعينة في المدونة، ولهذا يتم إنشاء هذا الملف وتزويده الى خادم المدونة.
حيث تحتاج إلى ملف Robots.txt لمنع الزحف الي بيانات شخصية تخصك في محركات البحث، او منع هذه العناكب من الوصول الى المدونة أو صفحات قيد الانشاء.
شرح انشاء Robots.txt يدوياً
طريقة إنشاء هذا الملف يدوياً بصورة سهلة ودون الدخول في تفاصيل كثيرة فقط تحتاج الى استخدام وورد ومن ثم اضافة هاتين الجملتين :
user-agent : *
disallow :
allow :
sitemap : ( رابط المدونة )
وتقوم في ما بين القوسين في الجملة بإضافة رابط المدونة
أما لعدم الزحف عن كافة محركات البحث دون ان تخص محرك معين فيمكنك استخدام الجملتين التاليتين فقط :
use-agent : *
Disallow : /