بعد از قطعی های اینترنت و مسدود شدن بسیاری از هاست های داخلی برای بات های گوگل، بررسی وضعیت دسترسی ربات های خزنده گوگل به صفحات سایت 🔎 برای کاربران و مدیران سایت های داخل کشور اهمیت زیادی پیدا کرد.
در ادامه این مطلب انزل وب به آموزش بررسی وضعیت پایداری هاست خود از دید گوگل از طریق پنل سرچ کنسول گوگل میپردازیم.
بررسی وضعیت کرال شدن و در دسترس بودن هاست سایت برای گوگل
اگر میخواهید بدانید هاست و سرور سایت شما از دید گوگل چقدر پایدار است و آیا Googlebot هنگام خزش سایت با قطعی، خطای DNS، مشکل اتصال به سرور یا اختلال در دریافت robots.txt مواجه شده است، Google Search Console یک گزارش کاربردی به نام Crawl Stats دارد.
در این گزارش بخشی به نام Host status وجود دارد که مشخص میکند گوگل در هنگام Crawl کردن سایت (بازدید ربات های گوگل از سایت)، با مشکل دسترسی یا Availability مواجه شده است یا خیر. این بخش برای بررسی پایداری هاست از دید ربات گوگل بسیار مهم است، البته نباید آن را با مانیتورینگ کامل آپتایم سرور یا بررسی مصرف CPU و RAM هاست اشتباه گرفت.
دقت کنید ممکن است در هاست های داخلی سایت برای کاربران داخلی کاملا در دسترس باشد اما برای کاربران خارج از کشور و ربات های گوگل با اعمال محدودیت های اینترنت کشور، از دسترس خارج یا با اختلال مواجه شود. علاوه بر این ممکن است مشکل همیشه از هاست یا سرور نباشد و اگر سیستم CDN یا GeoDNS داخلی هم برای سایت تنظیم کرده باشید دچار اختلالی شده باشد در بخش Server connectivity با ارور مواجه میشوید.
بررسی وضعیت سرور سایت در سرچ کنسول
ابتدا وارد Google Search Console شوید، با اکانت گوگل خود وارد و سایت خود را از منو بالا انتخاب کنید.
حالا از سمت چپ گزینه Settings را انتخاب کنید.

مجدد در بخش Crawl Stats روی دکمه Open report بخش Crawl Stats بزنید.

دقت کنید طبق اعلام گوگل، این گزارش برای دامنه اصلی سایت است نه زیر دامنه ها و.. مثلا وضعیت anzalweb.ir دقیقا نشان میدهد.
در صفحه Crawl Stats شما نموداری از وضعیت کرال یا همان خزیدن روزانه بات های گوگل به سایت به همراه زمان میانگین کرال کردن و.. را میتوانید ببینید. گوگل وضعیت دسترسی هاست را بر اساس مشکلات Crawl در یک بازه زمانی بررسی میکند.
در زیر این نمودار روی Host status بزنید. (در همینجا اگر این بخش قرمز یا نارنجی باشد نشان دهنده اختلالات جدی در سرور است.)

حالا روی فلش کنار Server connectivity بزنید.

در این بخش میزان وضعیت پایداری سرور یا همان هاست سایت خود را در بازه ۹۰ روز گذشته میبیند.
اگر جایی از نمودار رشدی وجود داشت روی آن نگه دارید تا میزان اختلال ناموفق بودن درخواست دسترسی بات ها و روز مدنظر این مشکل نمایش داده شود.

همانطور که میبینید ۰.۲% در روز جمعه ارور دسترسی کرالر داشته ایم
گوگل معمولا این بخش را با تاخیر چند روزه بروزرسانی میکند.
اگر مشکل جدی در این بخش مشاهده کردید بلافاصله حتما موضوع را با پشتیبانی هاست خود درمیان بگذارید.
ارورهای مداوم دراین بخش به طور جدی در سئو و نمایش سایت و بلاگ شما در نتایج جستجو تاثیر میگذارد.
بررسی وضعیت robots.txt و DNS
علاوه بر بخش Server connectivity پیشنهاد میکنیم حتما نمودار و وضعیت های بخش robots.txt fetch برای بررسی وضعیت در دسترس بودن فایل مهم robots.txt و DNS resolution و بررسی بررسی وضعیت دی ان اس سایت هم نگاه کنید تا اگر با مشکل جدی مواجه بود حتما سریعا اقدام به رفع مشکل کنید.

جمع بندی
Google Search Console و بخش Crawl Stats ابزار مناسبی برای بررسی وضعیت دسترسی سایت از دید رباتهای گوگل است. در بخش Host Status میتوان وضعیت Server Connectivity، دریافت robots.txt و DNS Resolution را بررسی کرد و متوجه شد بات های گوگل هنگام خزش سایت با قطعی یا خطای دسترسی مواجه بوده است یا خیر. این گزارش به ویژه برای سایت هایی که روی هاست داخل کشور قرار دارند اهمیت بیشتری دارد، زیرا ممکن است سایت برای کاربران داخل کشور در دسترس باشد اما ربات های گوگل با مشکل دسترسی مواجه شوند. در صورت مشاهده اختلال مداوم، بهتر است وضعیت سرور، DNS، CDN و robots.txt بررسی و موضوع با پشتیبانی هاست پیگیری شود.
تجربه شما چیست؟
آیا تاکنون در بخش Crawl Stats سرچ کنسول با خطای Server Connectivity، DNS یا robots.txt مواجه شدید؟ اگر تجربهای درباره اختلال دسترسی Googlebot به سایت با هاست یا سرور داخلی یا خارجی داشتید، حتما تجربه و پیشنهاد خود را در بخش نظرات با ما و دیگران به اشتراک بگذارید.





