فایل robots.txt چیست

فایل robots.txt چیست و چه تاثیری بر سئو دارد؟

فایل robots.txt یک فایل متنی است که مشخص می کند چه مطالبی از سایت توسط خزنده ی گوگل دیده شوند و چه مطالبی از دید خزنده دور مانده و ایندکس نشوند. اگر این سوال برای شما نیز پیش آمده که چرا باید دسترسی خزنده ها به سایت را محدود کرد؟ با ادامه مقاله همراه ما باشید تا پاسخ آن را دریافت کنید.

موارد استفاده از فایل robots.txt

استفاده از فایل robots.txt مزایای زیادی دارد که در ادامه به چند مورد اشاره می کنیم:

  1. اگر شما محتوای تکراری در سایت خود داشته باشید بهتر است این مطالب توسط خزنده ها ایندکس نشوند چرا که محتوای تکراری تاثیر منفی بر سئو سایت دارد.
  2. ممکن است که شما بخواهید قسمت های از سایت خود را از دید موتورهای جستجو مخفی کنید. این کار با استفاده از این فایل امکان پذیر است.
  3. شما با استفاده از فایل robots.txt می تواند موقعیت نقشه سایت (XML sitemap) وب سایت خود را به خزنده ها اعلام کنید.
  4. شما با استفاده از این فایل می توانید دسترسی خزنده ها به برخی از فایل های سایت مانند برخی تصاویر را محدود کنید.
  5. اگر سرور سایت شما در دسترس نباشد می توانید برای خزنده ها زمان تاخیری قرار دهید به طوری که موتورهای جستجو بعد از مدت زمانی که شما تعیین می کنید محتوای سایت را بررسی می کنند.

برای استفاده از فایل robots.txt باید با دستورات و فرمت کلی این فایل متنی آشنا باشید. در ادامه چند دستور برای استفاده از این فایل را می آوریم.

آشنایی با دستورات فایل robots.txt و کاربرد آن‌ها

دستور User-agent : این دستور برای هدف‌گیری یک ربات خاص به‌کاربرده می‌شود. این دستور را می‌توان به دو شکل در فایل robots.txt به کار برد.اگر می‌خواهید به تمام ربات‌های خزنده یک دستور را بدهید، فقط کافی است بعد از عبارت User-agent از علامت “*” استفاده کنید. مانند زیر:

User-agent:*

دستور بالا به این معنا است که “دستورات فایل، برای همه ربات‌های جستجوگر یکسان عمل می‌کند”.
اما اگر می‌خواهید تنها به یک ربات خاص مانند ربات گوگل GoogleBot دستور خاصی را بدهید، دستور شما باید به شکل زیر نوشته شود:

User-agent: Googlebot

کد بالا به این معنی است که “اجرای دستورات فایل، تنها برای ربات گوگل الزامی است. برای مشاهده لیست کاملی از نام ربات های متنوع موتورهای جستجو می توانید به این لینک مراجعه نمایید.

دستورDisallow : این دستور برای محدود کردن دسترسی به یک پوشه و یا یک آدرس URL خاص استفاده می شود.

دستور Allow: در صورتی که شما دسترسی به پوشه مادر را محدود کرده باشید و بخواهید به پوشه داخلی آن اجازه دسترسی بدهید باید از این دستور استفاده کنید. توجه نمایید که این دستور تنها برای ربات گوگل (Googlebot) می باشد.

دستور Crawl-delay: این دستور برای ایجاد زمان تاخیر در بررسی محتوا توسط ربات ها مورد استفاده قرار می گیرد.

دستور Sitemap: از این دستور برای تعیین موقعیت نقشه سایتXML sitemap استفاده می شود.

شما می توانید لیست کامل دستورات فایل robots.txt را از طریق سایت robotstxt مشاهده نمایید.

محل قرارگیری فایل robots.txt :

این فایل باید در ریشه اصلی سایت قرار داشته باشد و همچنین باید دقیقا با نام robots.txt ایجاد شود، به طوری که دقیقا بعد از آدرس اصلی سایت شما قرار داشته باشد (یعنی به صورت www.example.com/robots.txt باشد) در غیر این صورت موتورهای جستجو نمی توانند این فایل را تشخیص دهند و فرض را بر آن می گذارند که شما چنین فایلی را ایجاد نکرده اید و بنابراین تمامی محتوای سایت شما را بررسی خواهند کرد.

نکات مهم در خصوص فایل robots.txt :

  • دقت داشته باشید که دسترسی به این فایل را محدود نکنید.
  • برای هر ساب دامین می بایست یک فایل txt مجزا ایجاد کنید.
  • وقتی دسترسی به برخی صفحات را محدود می کنید در واقع لینک های موجود در آن صفحه نیز محدود می شوند و بنابراین هیچ ارزش و اعتباری برای آن لینک ها در نظر گرفته نمی شود.
  • برای ایندکس نشدن برخی صفحات مانند صفحات حاوی اطلاعات شخصی از فایل robots.txt استفاده نکنید بلکه از تگ noindex استفاده کنید. زیرا اگر به آن صفحات خاص (که می خواهید ایندکس نشوند) از طرف صفحات دیگر لینک داده شده باشد ممکن است موتورهای جستجو آن ها را دنبال کنند بنابراین بهتر است برای اطمینان خاطر از تگ noindex استفاده کنید.

همتن گونه که متوجه شدید این فایل با ایجاد برخی محدودیت ها و همچنین برقراری ارتباط با خزنده ها می تواند نقش موثری در سئو سایت داشته باشد.

به اشتراک گذاری این مطلب

دیدگاه‌ خود را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *