آشنایی و کار با قسمت Pages و خطاهای بخش Index در سرچ کنسول گوگل

در این مقاله، به آشنایی و کار با قسمت Pages و خطاهای بخش Index در سرچ کنسول گوگل می پردازیم. سرچ کنسول گوگل یک ابزار رایگان و قدرتمند برای تحلیل و بهینه سازی سایت ها در نتایج جستجو است. یکی از مهم ترین بخش های سرچ کنسول، بخش Pages است که وضعیت Index شدن صفحات سایت را نشان می دهد. این بخش به ما کمک می کند تا خطاهای فنی احتمالی را شناسایی و رفع کنیم.

دسته بندی بخش Pages

بخش pages شامل چهار دسته از صفحات است:

1- صفحه های Index شده

این صفحات توسط گوگل شناسایی و در نتایج جستجو نمایش داده می شوند. این صفحات ممکن است در سایت مپ قرار داشته باشند یا خیر.

2- صفحه های با خطا

این صفحات توسط گوگل شناسایی شده اند اما به دلیل خطای فنی یا دستور Robots.txt نمی توانند Index شوند. این خطاها ممکن است مربوط به سایت یا سیستم های گوگل باشند.

3- صفحه های با هشدار

این صفحات توسط گوگل Index شده اند اما دارای مشکلات کوچکی هستند که بهتر است برطرف شوند. مثلا صفحات دارای canonical نامطابق یا نقص در structured data.

4- صفحه های Excluded

این صفحات توسط گوگل شناسایی شده اند اما به دلیل عدم نیاز یا درخواست مالک سایت، Index نشده اند. مثلا صفحات دارای Noindex، Duplicate، Alternate، Blocked by Robots.txt و غیره.

برای هر دسته از صفحات، سرچ کنسول گوگل جزئیات و آمار را در قالب نمودار و جدول نشان می دهد. همچنین امکان Validate کردن خطاها و هشدارها پس از رفع آن ها وجود دارد. با استفاده از این بخش، می توانید سایت خود را بهبود دهید و تعامل آن با گوگل را بهینه کنید.

یکی از بخش های کاربردی که با وارد شدن به سرچ کنسول می توان از آن اطلاعات زیادی به دست آورد، بخش index است. بخش index با نام دیگر Page and Video، یا Coverage (ورژن قبلی سرچ کنسول گوگل) شناخته می شود. در این بخش می توانید گزارشات مرتبط با صفحات و تصاویر و ویدئوهایی که در سایت قرار داده شده، مشاهده کنید. برخی از گزارشات که در بخش index سرچ کنسول نمایش داده می شود، حتما باید آنالیز و برطرف شود. اما در برخی شرایط گزارشاتی که در این بخش نمایش داده می شود، صرفا یک هشدار و به منظور اطلاع رسانی کردن به وب مستران است.

چنانچه قصد یادگیری و آموزش ویدیویی گوگل سرچ کنسول را دارید، می توانید از آموزش های رایگان آکادمی کلیک اول استفاده کنید.

انواع پیام های بخش Index

همان طور که در بخش های بالاتر هم ذکر شد، در بخش index سرچ کنسول، خطاها و هشدارهایی از صفحات مختلف سایت نمایش داده می شود. انواع پیام های بخش Index به شرح زیر است:

1- Submitted URL Blocked by Robots.txt

این پیغام نشان می دهد که آدرس صفحه مورد نظر توسط Robots.txt بسته شده است. بدین صورت که ربات های گوگل نمی توانند در این صفحات خزش کنند. در واقع این پیام بدین معنی است که در برخی از صفحات سایت آدرس Robots.txt را قرار داده و خودتان تعیین کرده اید که این صفحات خزش نشوند. برای بررسی این بخش توصیه می شود پس از مدتی بررسی نمایید که آیا صفحات به درستی درج و وارد شده اند یا خیر؟ در غیر این صورت باید این صفحات را از فایل Robots.txt حذف کنید.

2- Submitted URL marked no index

این پیام نشان دهنده صفحاتی است که در فایل Robots.txt مشخص و تعیین کرده اید که ایندکس نشوند. برای مثال برخی از صفحات سایت ها مانند سبد خرید، تسویه حساب، درباره ما و … نیازی به ایندکس شدن نیست و برخی از سایت ها آن را برای درج شدن در Robots.txt حذف می کنند.

3- New Index coverage issue Detected

با مشاهده این خطا متوجه می شوند که صفحاتی از سایت ایندکس شده اند، اما در آن ها مشکل یا خطایی وجود دارند. برای بررسی دقیق تر و بهتر این خطا، باید وارد قسمت URL Inspection شده و بررسی کنید که مشکل این صفحات از چیست؟ همچنین در برخی موارد ممکن است این پیام به دلیل مشکلات محتوایی باشد. برای مثال ممکن است که محتواها تکراری یا بی کیفیت باشد.

4- Soft 404

این پیام نشان می دهد که صفحه مورد نظر در سایت وجود دارد، اما محتوای آن ممکن است بسیار ضعیف یا تکراری باشد. برای بررسی این مشکل نیز وارد بخش Inspection URL شده و بررسی کنید که این صفحه چرا ضعیف است؟ همچنین اگر محتوای ضعیف یا تکراری است، باید محتوای آن را آپدیت کنید.

5- Submitted URL has crawl issues

این خطا در بخش index نشان می دهد که ربات گوگل زمان خزیدن در صفحه مشکلاتی را پیدا کرده، اما نمی تواند تشخیص دهد که این مشکل چیست؟ برای بررسی این مشکل نیز باید وارد بخش Inspection URL، آدرس صفحات مختلف، کوئری ها و مشکلات این بخش ها را بررسی کنید تا بفهمید مشکل از چیست؟

6- Submitted URL not found 404

این پیام نشان دهنده این است که گوگل صفحات مختلف را مورد بررسی قرار داده و به خطای 404 برخورد کرده است. با مشاهده این خطا باید بررسی کنید که دلیل بروز صفحه 404 چیست؟ اگر صفحه مهمی است، باید آن را Redirect کنید. در غیر این صورت محتوای جدید برای تولید کرده و منتشر کنید. علاوه بر این، در صورتی که صفحه اهمیت زیادی ندارد، از Redirect 301 استفاده کنید.

7- Excluded by no index tag

آدرس هایی را نشان می دهد که به دلیل داشتن پیام no index، ایندکس نشده اند. تفاوت این پیام با Submitted URL marked “no index” این است که در این خطا، گوگل صفحات را بررسی کرده و تشخیص داده که این صفحه دارای تگ Noindex است. اما در پیام Excluded by no index tag، گوگل در نگاه اول متوجه شده که این صفحه تگ نو ایندکس داشته است.

8- Blocked by page removal tool

آدرس هایی را نشان می دهد که در قسمت Removal سرچ کنسول قرار دارد. اما برای مدت زمان محدودی از حالت ایندکس خارج شده است. در واقع در این قسمت فقط آدرس ها نمایش داده می شود تا اطمینان حاصل کنید آیا آدرس صفحات را به درستی وارد کرده اید یا خیر؟

9- Submitted URL Return Unauthorized request 401

این پیام آدرس صفحاتی که دارای نام کاربری و رمز عبور هستند، نشان می دهد. برای مثال صفحه ورود به بخش وردپرس سایت ها در این دسته قرار می گیرد. این صفحات به گوگل معرفی می شوند و آن ها را تشخیص می دهد، اما گوگل اجازه دسترسی به آن ها را ندارد.

10- Crawl anomaly

گوگل زمان خزیدن در صفحه، به یک ایراد و خطای نامعلوم و نا مشخص برخورد کرده است. به همین منظور برای برطرف کردن این خطا نیز باید وارد بخش URL Inspection شده و مشکل آن صفحه را دقیق تر بررسی کنید.

11- Crawled currently not indexed

صفحاتی را نشان می دهد که گوگل آن را crawl و خزش کرده، اما هنوز آن را ایندکس نکرده است. این مشکل به دلیل محتوای بی کیفیت یا تکراری است. بنابراین باید صفحات این صفحاتی که در این قسمت نمایش داده می شود را مورد بررسی قرار دهید.

12- Discovered currently not indexed

آدرس را نشان می دهد که گوگل آن ها را شناسایی کرده، اما هنوز خزش نکرده است. دلیل این پیغام نیز می تواند این باشد که گوگل زمان خزیدن در آن صفحه، سرور در آن صفحه نتوانسته جوابی بدهد. گوگل در دفعات بعدی به این صفحات مجددا سر می زند.

افزایش ورودی گوگل

اگر قصد دارید ترافیک سایت خود از طریق گوگل را افزایش داده و بر روی الگوریتم های گوگل به صورت هدفمند تاثیر بگذارید، ابزار افزایش ورودی گوگل کلیک اول در اختیار شماست.

ثبت سفارش ورودی گوگل

13- Alternate page with proper canonical tag

صفحاتی که کپی شده صفحات دیگر هستند، به عنوان صفحات Alternate توسط گوگل شناسایی شده اند.

14- Duplicate without user- selected canonical

صفحاتی را نشان می دهد که دارای محتوای تکراری هستند، اما آدرس Canonical ندارند. در واقع صفحاتی در سایت ایجاد شده که محتوای آن ها تکراری است، بنابراین باید مشخص کنید که کدام صفحه، صفحه اصلی است.

15- Duplicate non HTML page

صفحاتی که HTML نیستند، اما با یکی از صفحات HTML دارای محتوای مشابه و تکراری هستند. برای مثال صفحاتی که محتوای آن ها PDF است و مشابه با صفحات HTML توسط گوگل شناخته می شود.

16- Duplicate, submitted URL not selected as canonical

صفحه ای را نشان می دهد که دارای چندین canonical است، اما آدرس های canonical برای آن ها تعریف و مشخص نشده است. بدین صورت که با یک آدرس Canonical اشتباه برای ایندکس و بررسی شدن توسط گوگل به گوگل معرفی شده است. در واقع گوگل این صفحه را با آدرس کنونیکال آن شناخته و ایندکس کرده است. بنابراین باید آدرس درست را به گوگل معرفی کنید تا آن صفحه را ایندکس کند.

17- Duplicate, google choose different canonical than user

صفحاتی که برای آن ها آدرس کنونیکال تعریف کرده اید، اما گوگل یک صفحه دیگر را به عنوان صفحه Canonical تشخیص داده است. برای مثال زمانی که وارد سرچ کنسول و سپس وارد page می شوید، باید آدرس یکی از کوئری ها را سرچ کرده و آدرس آن را در قسمت Page و سپس URL Inspection درج کنید. سپس وارد بخش Page Indexing شوید. اگر در این قسمت آدرسی را به صورت دستی وارد کنید، آن را گوگل به صورت آدرس کنونیکال شناسایی می کند. در غیر این صورت، ممکن است آدرس دیگری را به عنوان Canonical تشخیص می دهد.

18- Page removed because of legal complaint

صفحاتی را که به دلیل یک شکایت قانونی از ایندکس گوگل حذف شده، نمایش می دهد. این پیام بسیار مهم است و اگر با آن مواجه شدید؛ در صورتی که صفحه ای با محتوای تکراری و نقض کننده قوانین گوگل را دارید، سریعا حذف کنید. همچنین باید اطمینان حاصل کنید که سایت شما توسط هکرها، هک نشده باشد. چون در برخی شرایط هکرها برای قرار دادن محتوای غیر قانونی در سایت ها اقدام می کنند.

19- Page with redirect

صفحاتی که به صفحه دیگر Redirect شده و این ریدایرکت نیز به درستی انجام شده است. برای اطمینان از این موضوع که آیا ریدایرکت ها را به درستی انجام داده اید یا خیر؟ نیز می توانید از این بخش اقدام نمایید.

20- Redirect error

این مشکل ممکن است موقتی باشد و به دلیل مشکل در هاست سایت، نمایش داده شود. برای مثال زمانی که هاست نتواند صفحه را شناسایی و باز کند، رخ می دهد. همچنین زمانی که ریدایرکت به صورت مکرر، تکرار و انجام شود، گوگل نمی تواند که ریدایرکت دقیقا چه صفحه ای است؟ بنابراین گوگل نمی تواند تشخیص دهد که کدام صفحه، صفحه اصلی و کدام صفحه redirect کدام است؟

بنابراین باید ریدایرکت را بررسی کنید تا صحیح باشد. زمانی که ریدایرکت را برطرف نمایید، یک پیام Valid Fix نمایش داده می شود که باید روی آن کلیک کنید تا اطمینان حاصل شده و گوگل متوجه شود که ریدایرکت به درستی انجام شده است. بدین صورت که گوگل مجددا صفحات را ایندکس و بررسی می کند. این خطا را در بخش page در سرچ کنسول نیز می توانید بررسی کنید و خطاهای مختلف در این قسمت را بررسی و مشاهده نمایید. در این قسمت خطاها با عنوان Validation Fix یا Validation Failed نمایش داده می شود.

خطاهای سمت سرور

در بخش index گوگل، علاوه بر خطاهای ذکر شده در بالا خطاهای دیگری نیز با عنوان خطاهای سمت سرور وجود دارد که به شرح زیر است:

خطای 500 (Internal Server)

این خطا نشان دهنده یک مشکل داخلی در سرور است که ممکن است به دلیل مشکلاتی مانند خطا در برنامه های سرور، مشکل در پایگاه داده، مشکل در فضای ذخیره سازی و غیره باشد. برای رفع این خطا، ابتدا باید علت آن را شناسایی کرد و سپس به رفع آن پرداخت. برای شناسایی دقیق تر علت خطا، می توانید به فایل های لاگ سرور مراجعه کنید و خطاهای مربوط به زمان وقوع خطا را بررسی کنید. همچنین، با توجه به نوع سرور و بستر اجرایی آن، ابزارهایی مانند Apache Logs Viewer و IIS Logs Viewer نیز می توانند به شما در رفع این خطا کمک کنند.

خطای 502 (Bad Gateway)

این خطا نشان دهنده عدم توانایی سرور در ارتباط با سرور دیگری است که باید درخواست را پردازش کند. این مشکل ممکن است به دلیل مشکل در شبکه، مشکل در سرور مقصد، مشکل در پروتکل ارتباطی و غیره باشد. برای رفع این خطا، ابتدا باید اطمینان حاصل کرد که سرور مقصد در دسترس و قابل دسترسی است. سپس، می توانید به بررسی تنظیمات شبکه و پروتکل ارتباطی بپردازید. همچنین، بررسی فایروال و سیستم های امنیتی نیز می تواند به شما در رفع این خطا کمک کند. در صورت عدم توانایی در رفع خطا، می توانید با پشتیبانی سرویس دهنده یا توسعه دهنده برنامه تماس بگیرید.

خطای 503 (Service Unavailable)

این خطا نشان دهنده این است که سرور قادر به پاسخگویی به درخواست کاربران نیست و خدمات در دسترس نیستند. ممکن است دلایل مختلفی برای این خطا وجود داشته باشد، مانند بار زیاد در سرور، خطای نرم افزاری، مشکلات در دیتابیس و غیره. برای رفع این خطا، باید ابتدا سرور را بررسی کنید و مشکلات موجود را شناسایی کنید. همچنین، افزایش منابع سرور و بهبود عملکرد سیستم نیز می تواند به رفع این خطا کمک کند. در صورت عدم توانایی در رفع خطا، بهتر است با پشتیبانی سرویس دهنده تماس بگیرید و از آنها کمک بخواهید.

خطای 504 (Gateway Timeout)

این خطا نشان دهنده این است که زمان پاسخگویی سرور به درخواست کاربران بیش از حد طولانی شده و گیت وی (Gateway) نتوانسته است ارتباط با سرور برقرار کند. این خطا ممکن است به دلیل بار زیاد در سرور، مشکلات در شبکه، خطا در کانفیگوریشن گیت وی و غیره رخ دهد. برای رفع این خطا نیز باید ابتدا علت آن را شناسایی کرده و سپس اقدام به رفع آن کنید. بهبود شبکه، تنظیمات گیت وی و افزایش منابع سرور می تواند به رفع این خطا کمک کند. در صورت عدم توانایی در رفع خطا، بهتر است با پشتیبانی سرویس دهنده تماس بگیرید و از آن ها کمک بخواهید.

اگر هر کدام از خطاهای ذکر شده را به صورت مداوم مشاهده کردید، باید به هاست بررسی کرده و مجددا آن را تهیه کنید. چون زمانی که گوگل برای کراول کردن وارد سایت می شود، هاست و منبع خوبی برای خزیدن پیدا نمی کند. بنابراین سایت را در چنین شرایطی از سمت سرور مورد بررسی باید قرار دهید.