یک فایل robots.txt که در ریشه وب سایت شما ذخیره می شود، ربات های وب مانند عنکبوت های موتور جستجو را به دایرکتوری ها و فایل هایی که اجازه می دهند خزیدن را به شما نشان دهند. استفاده از فایل robots.txt آسان است، اما مواردی وجود دارد که باید به یاد داشته باشید:
- روبات های وب سیاه پوست فایل فایل robots.txt شما را نادیده می گیرند. رایج ترین انواع ربات های مخرب و ربات ها به دنبال آدرس های ایمیل برای برداشت می باشند.
- بعضی از برنامه نویسان جدید روبات هایی را که فایل robots.txt را نادیده می گیرند بنویسند. این معمولا با اشتباه انجام می شود.
- هر کسی می تواند فایل robots.txt شما را ببیند آنها همیشه robots.txt نامیده می شوند و همیشه در ریشه وب سایت ذخیره می شوند.
- در نهایت، اگر کسی پیوندی با یک فایل یا دایرکتوری که توسط فایل robots.txt شما از یک صفحه حذف شده است که توسط فایل robots.txt آن حذف نشده است، موتورهای جستجو ممکن است آن را پیدا کنند.
از فایلهای robots.txt برای مخفی کردن هر چیزی مهم استفاده نکنید. در عوض، باید اطلاعات مهمی را در پشت کلمه عبور امن قرار دهید یا آن را به طور کامل از اینترنت جدا کنید.
چگونه از این فایل های نمونه استفاده کنید
متن را از نمونه که نزدیک به آنچه که میخواهید انجام دهید کپی کنید و آن را در فایل robots.txt خود قرار دهید. نام ربات، دایرکتوری و فایل را تغییر دهید تا پیکربندی مورد نظر شما مطابقت داشته باشد.
دو فایل Basic Robots.txt
عامل کاربر: *
نادیده گرفتن: /
این فایل میگوید هر ربات (User-agent: *) که به آن دسترسی دارد باید هر صفحهی سایت را نادیده بگیرد (Disallow: /).
عامل کاربر: *
نادیده گرفتن:
این فایل می گوید که هر ربات (User-agent: *) که به آن دسترسی دارد، مجاز است هر صفحه ای را در سایت مشاهده کند (Disallow:).
شما همچنین می توانید این کار را با خروج فایل robots.txt خالی یا عدم داشتن یکی در سایت خود انجام دهید.
محافظت از راهنماهای خاص از روبات ها
عامل کاربر: *
نادیده گرفتن: / cgi-bin /
نادیده گرفتن: / temp /
این فایل می گوید که هر ربات (User-agent: *) که به آن دسترسی دارد باید دایرکتوری / cgi-bin / و / temp / (Disallow: / cgi-bin / Disallow: / temp /) را نادیده بگیرد.
محافظت از صفحات خاص از روبات ها
عامل کاربر: *
نادیده گرفتن: /jenns-stuff.htm
غیرفعال کردن: /private.php
این فایل می گوید هر ربات (User-agent: *) که به آن دسترسی دارد باید فایل ها / jenns-stuff.htm و /private.php (Disallow: /jenns-stuff.htm Disallow: /private.php) را نادیده بگیرد.
جلوگیری از یک ربات خاص از دسترسی به سایت شما
کاربر-عامل: Lycos / xx
نادیده گرفتن: /
این فایل می گوید که ربات Lycos (User-agent: Lycos / xx) در هر مکان سایت مجاز نیست (Disallow: /).
فقط اجازه دسترسی یک ربات خاص را بدهید
عامل کاربر: *
نادیده گرفتن: /
کاربر-عامل: Googlebot
نادیده گرفتن:
این فایل ابتدا تمام روبات هایی را که قبلا در بالا انجام داد را غیر فعال می کند و سپس به طور صریح اجازه می دهد که Googlebot (User-Agent: Googlebot) به همه چیز دسترسی داشته باشد (Disallow:).
ترکیب خطوط چندگانه برای دقیقا حذف شما می خواهید
در حالی که بهتر است از خط بسیار User Agent استفاده کنید مانند User-agent: *، می توانید به همان اندازه که می خواهید باشد. به یاد داشته باشید که روبات ها فایل را به ترتیب خواندند. بنابراین اگر خطوط اول می گویند که همه ربات ها از همه چیز مسدود شده اند، و بعدا در فایل می گوید که همه ربات ها به همه چیز دسترسی دارند، ربات ها به همه چیز دسترسی خواهند داشت.
اگر مطمئن نیستید که فایل robots.txt خود را درست نوشته اید، می توانید از فایل های robots.txt خود برای بررسی فایل robots.txt یا نوشتن آن از Tools for Webmaster Tools استفاده کنید.