9 دلیل ایندکس نشدن سایت در گوگل و روش های برطرف کردن آن

مفهوم ایندکس شدن سایت

زمانی که سایت خود را طراحی کرده و شروع به فعالیت می کنید، قدم اول پس از راه اندازی سایت، ایندکس کردن و معرفی کردن سایت به گوگل است. چون همان طور که از نام آن پیداست، ایندکس شدن به معنای قرار گرفتن سایت شما و محتوای آن در موتور جستجوی گوگل است.

در واقع شما با معرفی سایت خود به گوگل، از آن می خواهید که سایت را بررسی کرده و هنگام جستجو بتواند آن را به کاربران نمایش دهد. این موضوع زمانی حائز اهمیت است که شما یک سایت خبری یا سایتی دارای محصولات ویژه باشد و قصد فروش آن ها را در بازه زمانی مشخص و خاصی دارید و نمایش داده شدن سایت شما جز اهمیت های اولیه شما در حوزه کسب و کار است.

اما گاهی اوقات ممکن است این اتفاق رخ ندهد و سایت شما ایندکس نشود. ایندکس نشدن سایت در نتایج موتور جستجو می تواند باعث ضرر و زیان فراوانی برای سایت شود.

دو مورد عمده ایندکس نشدن سایت

پس از طراحی سایت و منتشر کردن محتوا و پس از مدتی که با استفاده از ابزار کمک کننده به وب مستران یا سئو کاران متوجه خطاها یا اشتباهاتی رایجی که ممکن است برای هر سایتی پیش آید روبرو می شوند. یکی از مشکلاتی که ممکن است برای برخی از سایت ها پیش بیاید ایندکس نشدن سایت در گوگل است. در واقع اولین قدم برای ورودی گرفتن از گوگل، این است که سایت شما در نتایج جستجو نمایش داده شود.

دو مورد عمده ایندکس نشدن سایت می تواند به صورت زیر باشد:

1. زمان ایندکس شدن سایت با تاخیر انجام می شود.
2. صفحات سایت به طور کلی ایندکس نشده اند.

ایندکس شدن با تاخیر

زمانی که سایت شما با تاخیر ایندکس می شود و پس از منتشر کردن پست جدید در سایت صفحه جدید ایندکس نمی شود، یکی از رایج ترین روش هایی که پیشنهاد می شود ایندکس کردن سایت از طریق سرچ کنسول گوگل است که مطالعه مقاله “آموزش کامل کار با گوگل سرچ کنسول” می تواند در این راستا به شما کمک نماید. برای ایندکس کردن سایت بهتر است پس از وارد شدن از طریق اکانت جی میل خود، از طریق گزینه sign in لینک سایت خود را ثبت و وریفای کنید.

ایندکس نشدن صفحات

برای حل کردن مورد دوم، یعنی ایندکس نشدن کلی صفحات همراه ما باشید تا راه حل های پیشنهادی و تجربه شده توسط تیم کلیک اول را با شما به اشتراک بگذاریم.

خطاهای تاثیرگذار در ایندکس نشدن صفحات سایت

در ادامه این مقاله به بررسی خطاهایی که در هنگام ایندکس شدن سایت پیش آمده و فرآیند ایندکس شدن را مختل می کنند، خواهیم پرداخت و روش حل هرکدام از آن ها را نیز خواهیم آموخت.

خطای DNS

این خطا به نام سیستم نام دامنه و مخفف عبارت Domain Name System است. در صورت مشاهده این خطا باید بدانید ایندکس شدن سایت را تحت تاثیر قرار داده است. دلیل مشاهده این خطا این است که ربات گوگل به دلایلی مثل dns lookup یا DNS timeout است که یعنی ربات نمی تواند به دامنه سایت شما متصل شود. برای رفع این مشکل از شرکت ارائه دهنده خدمات هاست بخواهید تا سریع این مشکل را در سایت شما رفع نمایند تا در مرحله اول بررسی شدن توسط ربات های گوگل قرار بگیرید.

روش حل کردن خطای DNS

1. وارد سرچ کنسول شوید. آدرس سایت خود را وارد کنید. به دو طرق می توانید خطا را بررسی کنید.
2. گزینه URL Inspection را انتخاب کنید تا متوجه شوید ربات گوگل چگونه بین صفحات سایت می خزد.
3. گزینه DNS را انتخاب کنید تا بررسی کنید که موتور جستجوی گوگل می تواند سایت شما را به درستی Fetch کند یا خیر؟
4. در این مرحله بررسی کنید که سرور سایت خطاهای سایت خطاهایی مانند 504 یا 404 را نمایش می دهد یا خیر؟ در این صورتی که سایت ایندکس نشده باشد، سرور میزبان سایت شما خطای 404 یا 504 را نمایش می دهد. چرا که این خطا در مقایسه با خطای DNS دقیق تر است.

خطای 404

این خطا زمانی رخ می دهد که صفحه مورد نظر وجود نداشته باشد یا به درستی لود نشود. این خطا باعث می شود که موتورهای جستجو صفحه را به عنوان یک صفحه نامعتبر در نظر بگیرند و آن را از فهرست خود حذف کنند. برای رفع این خطا باید از وجود لینک های شکسته یا منقضی شده در سایت خود اطمینان حاصل کنید و در صورت وجود، آن ها را تصحیح یا حذف کنید. همچنین می توانید با استفاده از فایل robots.txt یا برچسب Noindex، صفحاتی که نمی خواهید ایندکس شوند را مشخص کنید.

سرعت لود پایین

سرعت لود پایین یک سایت، عامل دیگری است که ممکن است باعث عدم ایندکس شدن آن شود. زیرا کاربران و موتورهای جستجو، سایت هایی را ترجیح می دهند که به سرعت بارگذاری شوند و اطلاعات مورد نظر را به راحتی در اختیار آن ها قرار دهند. برای افزایش سرعت لود سایت خود، باید از استفاده بیش از حد از عکس ها، فیلم ها، اسکریپت ها و پلاگین های سنگین خودداری کنید و از فشرده سازی فایل ها، کش کردن محتوا، استفاده از CDN و بهینه سازی کدهای HTML ،CSS و JavaScript استفاده کنید.

عدم تطابق با دستگاه های مختلف

عدم تطابق با دستگاه های مختلف، یعنی اینکه سایت شما در دستگاه های مختلف مانند کامپیوتر، تبلت، موبایل و … به درستی نمایش داده نشود و باعث شود که کاربران نارضایت شوند و سایت را ترک کنند. این خطا نه تنها باعث کاهش ترافیک سایت شما می شود، بلکه ممکن است باعث شود که موتورهای جستجو سایت شما را به عنوان یک سایت غیر استاندارد در نظر بگیرند و رتبه آن را پایین آورند. برای حل این خطا، باید از طراحی وب واکنش گرا (responsive web design) استفاده کنید که باعث می شود سایت شما به صورت خودکار با ابعاد و قابلیت های دستگاه های مختلف تطابق پیدا کند.

دلایل ایندکس نشدن سایت

در ادامه مواردی که می توانند باعث ایندکس نشدن سایت در نتایج جستجو شوند را بررسی خواهیم کرد.

عدم معرفی WWW به سرچ کنسول

یکی از دلایل شایع ایندکس نشده سایت این است که WWW یک زیر دامنه است و باید توجه داشته باشید http://example.com و http://www.example.com با یکدیگر متفاوت هستند. پس برای این که مالکیت هر دو آدرس به صورت مجزا به سرچ کنسول گوگل معرفی شود و سایت ایندکس گردد، هر دو آدرس را در GWT ثبت و وارد نمایید.

عدم ارسال درخواست بررسی از طریق سرچ کنسول

در خواست خزیدن و بررسی شدن سایت را به گوگل دهید. برای این کار لازم است وارد ابزار منحصر به فرد سرچ کنسول شوید، آدرس اصلی سایت و یا صفحه ای که می خواهید بررسی و ایندکس شود را از طریق انتخاب گزینه Inspect any URL وارد کنید.

عدم تعریف نقشه سایت

دلیل دوم ایندکس نشدن این است که گوگل سایت شما را پیدا نکرده است. برای جلوگیری از این اتفاق پیشنهاد می شود که نقشه سایت خود در sitemap.xml وارد کنید و از عملکرد صحیح آن مطمئن شوید. در صورتی که یا عملکرد نقشه سایت صحیح نیست یا از ابتدا نقشه سایت را وارد نکرده اید، مشکل ایندکس نشدن سایت از سمت خود شما است.

مسدود شدن سایت در robots.txt

قبل از پرداختن به مسدود شدن در این فایل بهتر است تا بدانیم robots.txt چیست؟ این فایل وظیفه محدود کردن دسترسی ربات های موتور جستجوی گوگل برای بررسی محتوای سایت شما را بر عهده دارد. قبل از فعال کردن این فایل، ربات خرنده گوگل همه محتوا و صفحات سایت شما را بررسی می کند. اما پس از فعال کردن robots.txt، دسترسی محدود خواهد شد.

اهمیت استفاده از فایل این است که قابلیت خواندن مطالعه محتوا فقط برای کاربران قابل مشاهده است و در صورتی که محتوای تکراری در سایت منتشر شود از دید ربات های گوگل و احتمال جریمه شدن در امان می ماند. پس اگر دلیل ایندکس نشدن سایت فعال بودن robots.txt است که می توانید از طریق حذف کردن این کد این خطا را برطرف کنید.

وجود مطالب تکراری در سایت

زمانی که محتوای تکراری در سایت منتشر شود و در موتور جستجوی گوگل محتوای سایت شما در چند سایت دیگر هم وجود داشته باشد، گوگل به اشتباه از ایندکس کردن سایت شما خودداری می کند. برای جلوگیری از این مشکل کافی است تگ Rel Canonical را فعال نمایید.

فعال بودن تنظیمات حریم خصوصی

ببرخی از طراحان ستین که از سیستم مدیریت محتوای وردپرس استفاده می کنند، در ابتدا از طریق تنظیمات حریم خصوصی و فعال کردن آن به دلیل کامل نبودن یا سئو نبودن سایت آن را از نگاه گوگل مخفی نگه می دارند و بعد فراموش می کنند که این گزینه را غیر فعال کنند. برای برطرف کردن این مشکل هم کافی این گزینه را غیر فعال کنید.

فعال بودن Noindex در تگ Meta Robots

بسیاری از وب مستران ترجیح می دهند که پس از تکمیل شدن محتوای سایت، سایت را به گوگل معرفی کنند و پیش از آن، سایت توسط ربات های خزنده گوگل بررسی نشود. اما گاهی وب مستران فراموش می کنند که این تگ را غیر فعال کنند. برای رفع این مشکل نیز می توانید از قسمت هدر، کد زیر را حذف کنید.

استفاده از زبان برنامه نویسی Javascript

گوگل سایت هایی که با زبان جاوااسکریپت توسعه داده شده اند را نیز ایندکس می کند. اما ایندکس شدن این زبان به آسانی نیست و در بسیاری از مواقع سایت هایی که با فریمورک هایی نظیر node js. react و angular کدنویسی شده اند، به درستی توسط گوگل شناخته نمی شوند. اگر از این موضوع مطلع نبوده اید و در پیکر بندی سایت از زبان جاوااسکریپت استفاده کرده اید، باید بدانید که ممکن است سایت شما توسط گوگل ایندکس نمی شود.

کاهش سرعت سایت

در صورتی که سایت شما حجم زیادی داشته باشد، همین باعث کاهش سرعت لود شدن سایت می شود که این جز پارامترهایی است که گوگل در مورد آن نظر منفی دارد و احتمالا این گونه سایت ها هم ایندکس نخواهد شد.

سخن پایانی

ایندکس شدن صفحات سایت یکی از موارد موثر در بهینه بودن سایت و رتبه گرفتن از گوگل و قرار گرفتن در صفحه اول است. لذا پرداختن به آن، بررسی این که سایت ایندکس شده یا نشده است و در صورت ایندکس نشدن برطرف کردن و رفع خطای مرتبط، از مهمترین فعالیت هایی است که بایستی در هر سایت انجام شود.

در صورت بروز خطای فنی و نداشتن دانش کافی در بررسی ایندکس شدن سایت و موارد فنی دیگر، با سایت کلیک اول همراه باشید تا بروزترین مقالات را با شما به اشتراک بگذاریم و با ارائه خدمات بهینه سازی سایت و تولید محتوا باعث افزایش رتبه سایت شما شویم.