فایل Robots.txt چیست؟

پوشه robots.txt یک فولدر متنی میباشد که وبمستران طراحی سایت در مشهد بایستی خودشان بسازند. این پوشه به ربات‌های موتورهای کاوش امر می دهد کدام صفحه ها اینترنت را خزش کرده یا این که کدام صفحه های را نباید خزش نمایند. طبق پروتکل REP (Robots Exclusion Protocol) استانداردهایی برای ساماندهی به حالت خزیدن اینترنت به وسیله ربات‌ها، دسترسی به صفحه ها اینترنت و ایندکس کردن آنها برای دسترسی یوزرها رقم خورده میباشد. فولدر robots.txt و پیوند‌های فالو و نوفالو نیز بخشی از پروتکل REP می‌باشند.

بیشتر بخوانید: تصویب تارنما در گوگل وبمستر - معرفی تارنما به کنسول گوگل

امرها قابل حفاظت در پوشه robots.txt
در مجموع پنج فرمان اصلی در پوشه robots.txt وجود دارااست که پیرو با آنان آشنا خواهید شد:

امر user-agent
امر user-agent به تنهایی نمی‌تواند یک فرمان بدون نقص باشد، بلکه می بایست در کنار یکی سه امر آجل استعمال شود. این فرمان نوع رباتی که می بایست از اوامر آینده اطاعت نماید را معین می‌نماید.
به عنوان مثال چنانچه قصد داشته باشید برای ربات‌های گوگل دستوری صادر فرمایید، اسم ربات‌های گوگل (googlebot) را می‌نویسید. هم‌اینگونه در شرایطی‌که فرمان برای تک تک ربات‌هاست بایستی در مقابل user-agent: از نماد ستاره (*) مصرف شود.