ربات خزنده سئو

هر زمان که به وجود ربات گوگل می اندیشم به یاد یک ابر کامپیوتر بسیار پیشرفته و غول آسا میافتم که بدون اینکه لحظه ای را تلف کند در حال خواندن صفحات وبسایت های مختلف است. در حقیقت ربات گوگل یک برنامه پیشرفته کامپیوتری است که دستور دارد به سراغ سایت ها رفته و آن ها را بررسی نماید. اما این بررسی چگونه اتفاق می افتد؟ چه نتیجه ای را در پی دارد؟ و در چه زمانی اتفاق می افتد؟

ربات گوگل، کِراولر یا Crawler

معنای لغوی کلمه Crawler به معنی خزیدن است. ربات هایی که سراسر وب را میخزند تا وب سایت های جدید برای پاسخ جستجو کاربران پیدا کنند، سایتهایی که در گذشته ایندکس کرده اند را به روز نمایند و نتایج جستجو را اگر لازم باشد به روز کنند. صفحاتی که در گوگل ایندکس شده اند حدود 100.000.000 گیگابایت حافظه را اشغال کرده اند. در حقیقت اینجا مغز گوگل است. گوگل از تعداد زیادی کامپیوتر برای ارسال ربات هایش به وب سایت ها و کاوش آنها استفاده میکند. گوگل بات (Google Bot) نام عمومی تر Google Web Crawler ، ربات مخصوص موتور جستجوگر گوگل است و موتورهای جستجوی دیگر ربات های مخصوص به خود را دارند.

ربات های گوگل چطور کار میکنند؟

این ربات ها با استفاده از نقشه سایت (Site Map) و بک لینک های مشاهده شده از بررسی های گذشته تصمیم میگیرد که در قدم بعدی به کجا برود. هنگامی که ربات به یک بک لینک جدید میرسد، آن را به لیست بررسی خود اضافه میکند تا آن ها را بررسی نماید. اگر ربات متوجه تغییر در لینک ها و یا خرابی آن ها شود، صفحه ایندکس شده خود را بروزرسانی میکند. ساختار برنامه نویسی ربات های گوگل زمان بازگشت مجدد و بررسی صفحات را برای ربات مشخص میکنند.

ربات های مختلف

تعداد متنوعی از ربات ها وجود دارند. به طور مثال ربات های AdSense و AdBots کیفیت تبلیغات را بررسی میکنند. در ادامه میتوانید تعدادی از انواع ربات های گوگل را مشاهده نمایید که ما با آن ها سر و کار داریم.

ربات های گوگل با توجه به میزان تغییراتی که شما روی وبسایت خودتان اعمال میکنید به سراغ شما می آیند. اگر میخواهید دسترسی ربات های گوگل را ببندید باید در نظر داشته باشید که ربات موتورهای جستجوگر دیگر نیز ممکن است دستخوش این تغییرات شوند. در ادامه به مواردی اشاره میکنیم که ممکن است از ورود ربات ها به صفحات سایت شما جلوگیری نمایند:
1. اگر فایل robot.txt در سرور سایت شما این اجازه را به ربات نداده باشد.
۲. اگر متا تگ ربات در یک صفحه به خصوص، دسترسی موتورهای جستجو را منع کرده باشند، ربات ها این صفحه را میخوانند اما ایندکس نمیکنند.