زمانی که یک وب سایت ساخته می شود مهمترین فاکتور برای مدیر و طراح وب سایت ایندکس شدن صفحات آن برای گوگل می باشد . Index به معنای شناخته شدن می باشد . در اصل صفحات سایت ها برای قرار گرفتن در موتور های جست و جو باید شناخته شوند . وقتی یک سایت برای گوگل یا هر موتور جستو جوی دیگری شناخته شود ، صفحات آن وب سایت در لیست موتور های جست و جو قرار می گیرد و کاربران در جست و جوی خود می توانند از آن بازدید کنند در غیر این صورت کاربر حتما باید آدرس وب سایت مورد نظر را داشته باشد .
بعضی صفحات و یا فلدرها به دلایلی همچون اهمیت محتوای موجود در آنها، سیاست های امنیتی و … نباید در موتورهای جستجو لیست یا ایندکس شوند. به طور مثال در صورتیکه سایت شما دارای پنلی به جهت مدیریت سایت در فلدر به نام admin می باشد لذا لزومی ندارد که صفحات موجود در این فلدر در موتورهای جستجو ایندکس شوند.
جلوگیری از ایندکس شدن صفحات سایت در گوگل
روش های مختلفی که برای این کار وجود دارد که بررسی آن ها می پردازیم و خواهیم گفت که هر کدام از آن ها چه وقتایی کاربرد دارند. با ما همراه باشید.
1- جلوگیری از ایندکس شدن صفحات سایت در گوگل با استفاده از Disallow کردن در فایل رباتس robots.txt
خوب این روش بیشترین کاربرد رو داره چون خیلی راحته. اما بدترین اثرات جانبی رو داره.
تا حالا شده امتحان کنی و سعی کنی بعضی از صفحات سایت رو با استفاده از فایل رباتس از ایندکس گوگل حذف کنی؟
مثلا فرض کن صفحه example.com/articles/seo.html رو از ایندکس ها حذف کنی اونم با این روش.
راهش اینه که بری توی هاست یا سرور سایتت و فایل رباتس یا robots.txt رو پیدا کنی.
بعد توش بنویسی:
Disallow: /articles
یا
Disallow: /articles/seo.html
یا حتی میشه
Disallow: /seo.html
نوشت و با خیال راحت فکر کرد که این صفحه دیگه ایندکس نمیشه.
Disallow: … چیکار میکنه؟
اگه بدونید این کد چیکار میکنه و چه بلایی سر ربات گوگل میاره، دیگه ازش استفاده نمی کنید.
این کد یعنی:
حالا ببینیم ربات گوگل وقتی این کد توی فایل رباتس رو دیده، چیکار می کنه.
فرض کنید شما یه فایل دارید در آدرس /articles/image-1.png
گوگل این عکس رو هیچوقت نمیبینه و ایندکسش هم نمیکنه.
فرض کنید یه لینکی یه جای این کره خاکی به صفحه example.com/articles/seo.html وجود داره.
سوال: آیا این صفحه ایندکس میشه؟
جواب: بله ایندکس میشه !
چرا؟
چون این صفحه لینک داره و شما از ربات گوگل خواستید که اصلا به این مسیر نره ! نگفتید که ایندکسش نکن !
جا داره به معنی لغوی Disallow بپردازیم
پس اینطوری میشه که اون صفحه کماکان ایندکس میشه ولی مثل فلجا !
بر اساس آزمایشی که در آزمایشگاه سئو سایت استوری انجام شده، صفحاتی که از اول توی فایل رباتس Disallow شده بودن، با شرایط خاصی ایندکس شدن:
اتفاق جالب دیگه ای که ممکنه بیفته وقتیه که مثلا شما توی وردپرس، دایرکتوری wp-admin رو Disallow می کنید. بعد خیلی وقتا خیلی از افزونه ها فایل های js یا CSS اشون توی این دایرکتوری هستن و باعث میشه گوگل نتونه اون فایل ها رو باز کنه ! خیلی خطرناکه این کار و ممکنه باعث بشه گوگل فکر کنه شما به دلیلی میخواید این فایل ه رو از دسترسش خارج کنید.
2- جلوگیری از ایندکس شدن صفحات با استفاده از متا تگ رباتس meta tag robots
این کار، راه درست جلوگیری از ایندکس شدن صفحات هستش !
کافیه صفحاتی که میخواید توی گوگل ایندکس نشن، یه متا تگ داخل اون ها باشه:
<meta name="robots" content="noindex" />
این متا تگ رو ربات گوگل وقتی داره صفحه رو میخونه میبینه و میفهمه که این صفحه رو نباید ایندکس بکنه.
راه دیگه برای اینکه مثلا بخواید فقط صفحه ای توی گوگل ایندکس نشه ( مثلا توی بینگ و یاهو ایندکس بشه ) اینه که از این متاتگ استفاده کنید:
<meta name="googlebot" content="noindex" />
این باعث میشه که صفحه فقط توی گوگل ایندکس نشه.
این کار شاید یه کمی سخت به نظر بیاد:
راه حل:
افزونه Yoast SEO وردپرس این امکان رو میده که به هر صفحه جداگونه این متاتگ رو اضافه کنید تا جلوی ایندکس شدنش رو بگیره.
خبر خوب برای کاربران جوملا !
به راحتی می تونید توی منو ها و صفحات، در بخش Publishing، متا تگ robots رو تعیین کرد و نیازی به افزونه نیست.
3- استفاده از http response heaeder
این دیگه خیلی فنیه این کار نیازی به انجامش نیست تا وقتی که روش دوم وجود داره.
اما به هر حال اینم یه راهه برای جلوگیری از ایندکس شدن صفحات !
برای این روش، باید Response header ها، یه مورد رو درون خودشون داشته باشن: X-Robots-Tag
هدر کامل به صورت: X-Robots-Tag: noindex هست.
امیدوارم خوش گذشته باشه و یه چیز جدید یاد گرفته باشین.
منابع:
