ساخت فایل Robots.txt

ابزار بهینه سازی سایت
ابزارهای سئو

ساخت فایل Robots.txt


پیشفرض - همه ربات ها::  
    
خزنده-روزانه::
    
نقشه سایت: (اگه نمیدانید خالی بگذارید) 
     
جستجوی ربات ها: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
دایرکتوری های مستثنی از خزیدن ربات ها: مسیر نسبت به ریشه است و باید حاوی یک علامت اسلش باشد "/"
 
 
 
 
 
 
   



اکنون، فایل robots.txt را در دایرکتوری ریشه خود ایجاد کنید. متن بالا را کپی کنید و در فایل متنی قرار دهید.


ابزارهای سئو

درباره ساخت فایل Robots.txt

این ابزار فایلی را ایجاد می کند که به همراه نقشه سایت مشخص کننده صفحات دربرگرفته شده متفاوت است. پس وجود Robots.txt برای هر وبسایتی مهم است. زمانی که موتور جستجو هر وبسایت را خزش می کند اولین موردی که بررسی می کند فایل Robots.txt است که در سطح روت دامنه قرار گرفته است.
این ابزار به وبسمترها کمک می کند تا وبسایتی داشته باشند که دوستدار بوت های گوگل باشند. این فرایند پیچیده و خاص توسط این ابزار در مدت کوتاه و چند ثانیه ای اجرا می شود.
 

در هنگام استفاده از ابزار به این نکات توجه داشته باشید :

  • به صورت پیش فرض همه روبوت ها امکان دسترسی به فایل های سایت شما را دارند اما این امکان فراهم شده که بتوانید مشخص کنید به کدام فایل ها اجازه دسترسی نداشته باشند.
  • امکان انتخاب تاخیر خزش که مشخص می کند چه مقدار تاخیر در خزش ها باید وجود داشته باشد. شما امکان تعیین زمان تاخیر پنچ ثانیه ای تا 120 ثانیه ای را دارا هستید. به صورت پیش فرض هیچ تاخیری وجود ندارد و مورد "no delay" فعال است.
  • اگر سایت مپی برای وبسایت شما وجود دارد در تکست باکس امکان وارد کردن آن وجود دارد. اگر هم نقشه سایت ندارید می توانید این قسمت را خالی بگذارید.
  • لیست روبوت های جستجو ارائه شده است و شما می توانید مشخص کنید که کدام روبوت سایت شما را خزش کند و کدامیک فرایند خزش را برای شما اجرا نکنند.
  • مرحله آخر باید با استفاده از علامت اسلش "/" دایرکتوری را محدود کنید.
  • پس از انجام فرایند توسط ابزار باید فایل ایجاد شده را در روت وبسایت آپلود کنید.


بررسی وضعیت سئو سایت
بررسی وضعیت سئو سایت