ربات گوگل (Google Bot) چیست و چگونه کار می کند؟

ربات گوگل چیست؟

ربات گوگل (Google Bot) یک برنامه کامپیوتری است که صفحات وب را بازدید می‌کند و اطلاعات آن‌ها را برای شاخه جستجوی گوگل ارسال می‌کند. ربات گوگل به عنوان یک عامل کاربری (User Agent) شناخته می‌شود و از طریق پروتکل HTTP با وب سایت‌ها ارتباط برقرار می‌کند. ربات گوگل معمولا هر چند روز یک بار صفحات وب را بازدید می‌کند و نسخه‌ای از آن‌ها را در حافظه نهان خود ذخیره می‌کند.

ارتباط ربات گوگل با فایل Robots.txt

ربات گوگل برای اینکه بتواند صفحات وب را بازدید کند، نیاز به دسترسی به فایل Robots.txt دارد. این فایل یک استاندارد بین المللی است که توسط وب سایت‌ها برای اعلام قوانین دسترسی به محتوای خود استفاده می‌شود.

ربات گوگل از این فایل برای تشخیص اینکه کدام صفحات وب را مجاز است بازدید کند و کدام را نه، استفاده می‌کند. اگر فایل Robots.txt وجود نداشته باشد یا قوانین خاصی برای Google Bot تعریف نشده باشد، Google Bot تمام صفحات وب را بازدید خواهد کرد.

ربات گوگل همچنین از لینک‌های موجود در صفحات وب برای پیدا کردن صفحات وب جدید استفاده می‌کند. این فرآیند را شمارش لینک (Link Crawling) می‌گویند. ربات گوگل با دنبال کردن لینک‌ها، شبکه‌ای از صفحات وب را شناسایی می‌کند و آن‌ها را براساس معیارهای خود دسته‌بندی می‌کند.

این دسته‌بندی به عملکرد الگوریتم جستجوی گوگل کمک می‌کند. الگوریتم جستجوی گوگل براساس فاکتورهای مختلفی مانند کلمات کلیدی، تعداد لینک‌های وارد و خارج، سطح اعتبار و تازگی صفحات وب، نتایج جستجو را مرتب می‌کند.

ربات گوگل یک ابزار قدرتمند برای جمع آوری، شناسایی و دسته بندی اطلاعات در وب است. ربات گوگل به عنوان پل ارتباطی بین وب سایت‌ها و شاخه جستجوی گوگل عمل می‌کند. ربات گوگل با استفاده از فایل Robots.txt، لینک‌ها و الگوریتم جستجوی گوگل، محتوای وب را برای کاربران جستجو می‌کند. Google Bot به وب سایت‌ها کمک می‌کند تا در نتایج جستجو بهتر دیده شوند و به کاربران کمک می‌کند تا اطلاعات مورد نظر خود را پیدا کنند.

روزانه به تعداد وب سایت هایی که طراحی می شود و گوگل باید این سایت های جدید را بررسی کند، افزوده می شود. در این میان سایت هایی وجود دارد که از قبل طراحی شده اند و فعالیت می کنند، گوگل عملکرد این سایت ها را هم هر روز بررسی کرده و رتبه آن ها را تغییر می دهد. انجام بررسی وضعیت و رتبه دادن به سایت ها توسط نیروی انسانی غیر ممکن است. 99 درصد بررسی عملکرد وب سایت ها توسط ربات گوگل یا Google Bot انجام می شود.

دسته بندی ربات های گوگل

به طور کلی گوگل برای آنالیز از دو مدل ربات استفاده می کند:

• ربات گوگل یا Google Bot: در این مقاله به طور کامل در مورد این ربات صحبت می کنیم.
• هوش مصنوعی گوگل (الگوریتم های گوگل): دسته دوم از ربات های گوگل یک سری هوش مصنوعی یا الگوریتم های گوگل هستند که به صورت بسیار جزئی فعالیت های سایت ها را بررسی می کنند. بررسی این ربات ها بدین صورت است که به طور مستقیم خطای سئوکارها (سئو کلاه سیاه) وب سایت ها را آنالیز کرده و سایت ها را رتبه بندی می کنند.

انواع ربات های گوگل

اما گوگل ربات های متعددی دارد که هر کدام وظایف خاص و منحصر به فردی را انجام می دهند، از جمله:

• ربات اخبار: خبرهایی که در وب سایت ها منتشر می شوند را شناسایی، ایندکس و بررسی و رتبه بندی می کند.
• ربات تبلیغاتی گوگل: این ربات کیفیت تبلیغات هایی که در سطح وب سایت منتشر می شوند را آنالیز می کند.

پرکاربردترین ربات های گوگل

معروف ترین و پر کاربردترین ربات های گوگل، اسامی زیر است:

• Google Bot Desktop: ربات گوگل دسکتاپ وظیفه دارد که صفحات مختلف وب سایت را ابتدا ایندکس و سپس بررسی کند. منظور این است که این ربات صفحات مختلف سایت ها را در دیتابیس گوگل ذخیره کرده، آنالیز و رتبه بندی می کند.
• Google Bot Mobile: ربات گوگل موبایل مانند ربات دسکتاپ، صفحات سایت را در نسخه موبایل ابتدا ایندکس و سپس آنالیز و رتبه بندی می کند. (این مورد به دلیل افزایش کاربرانی که از موبایل برای سرچ کردن از موبایل استفاده می کنند، بسیار حائز اهمیت است.)
• Google Bot Video: ربات ویدئو گوگل بات وظیفه دارد سایر ویدئوهایی که در سایت های آپارات، نما شا، تماشا و حتی وب سایت های آموزشی و … منتشر می شود، را ایندکس، آنالیز و بررسی می کند.
• Google Bot Image: این ربات نیز سایر ربات های دیگر، عکس هایی که در وب سایت منتشر می کنید را ایندکس و آنالیز می کند. آنالیز عکس های وب سایت بسته به توضیحات و سرعت لود شدن در نمایشگرهای مختلف بستگی دارد.

البته گوگل ربات های دیگری هم دارد که در وب سایت اصلی گوگل به زبان انگلیسی معرفی دارد. شما می توانید این لیست را در لینک زیر مشاهده کنید.

https://support.google.com/webmasters/answer/1061943?hl=en

فعالیت های ربات های اصلی گوگل

فعالیت هایی که ربات های گوگل که در بعضی مواقع به آن ها خزنده یا عنکبوت گوگل هم نامیده می شود، به سه دسته اصلی تقسیم می شود:

Crawling (کراول کردن)

کروال کردن یا اصطلاحا خزیدن به فعالیتی گفته می شود که طی آن ربات های خزنده گوگل، وقتی صفحه جدیدی به سایت اضافه می شود، آن صفحه جدید به علاوه صفحات قبلی سایت را بررسی می کنند. (اصطلاحا به صفحات سایت سر می زنند.)

ربات ها در این مرحله محتوای صفحات، موضوع و محتوای صفحات سایت را می بینند و تصمیم می گیرند که به هر صفحه از سایت و در نهایت به کل سایت چه رتبه ای بدهند. البته اشتباه نکنید این ربات های گوگل نیستند که به سایت رتبه می دهند یا رتبه سایت های دیگر را تغییر می دهند، بلکه ربات های گوگل درباره نحوه نمایش بهتر صفحات سایت نظر تخصصی می دهند.

Indexing (ایندکس کردن)

پس از این که صفحات سایت توسط ربات بالا کراول یا دیده شدند، صفحات توسط ربات در Database (دیتابیس) گوگل ذخیره می شود. ایندکس شدن صفحات مختلف سایت به موتور جستجوی گوگل کمک می کند تا اطلاعات و مطالبی که در صفحات سایت وجود دارد را متناسب با جستجوی کاربر به او نشان دهد.

در این باره مارتین اسپیلیت که تحلیلگر وب مستر گوگل است یک تعریف جالب گفته است:

گوگل شبیه یک کتابخانه بزرگ است، جمع کردن اطلاعات صفحات سایت مانند جمع آوری کتاب ها در یک کتابخانه است. ایندکس شدن اطلاعات صفحات سایت ها به کاربران کمک می کند که کتاب (اطلاعات) مورد نظرشان را راحت تر و سریع تر پیدا کنند.

Ranking (رتبه بندی کردن)

پس از ایندکس شدن صفحات سایت، این صفحات توسط ربات های گوگل و الگوریتم های هوش مصنوعی مورد بررسی قرار می گیرد و سپس هم صفحات سایت و هم خود سایت رتبه بندی می شود. رتبه ای که در این مرحله به وب سایت ها اختصاص داده می شود همیشگی نیست، بلکه با توجه به فعالیت رقبا و عملکرد صفحات سایت مرتبا تغییر می کند.

تاثیر ربات های گوگل بر روی سئوی سایت

خیلی از متخصصان سئو و حتی کاربران شاید این سوال را داشته باشند که آیا ربات های گوگل روی سئو سایت هم تاثیر دارند یا نه؟ همان طور که در بالا گفته شد ربات ها به دو دسته تقسیم می شود. یک دسته از ربات های اصلی گوگل، الگوریتم های موتور جستجوی گوگل است. اگر منظور الگوریتم های گوگل است، به موارد زیر توجه کنید:

• الگوریتم پاندا: الگوریتم پاندا محتوای سایت و کیفیت آن را بررسی می کند.
• الگوریتم کبوتر: این الگوریتم سئو محلی سایت را آنالیز می کند.
• الگوریتم پنگوئن: این الگوریتم وضعیت و کیفیت بک لینک های سایت را بررسی می کند.

پس باید گفت که ربات های گوگل (Google Bot) یا همان الگوریتم های گوگل روی سئوی سایت تاثیر می گذارد. اما در صورتی که منظور ربات های Google Image ،Google Video یا … باشد، باید گفت این ربات ها روی سئو سایت به طور مستقیم تاثیر ندارد. ربات های گوگل روی سرعت ایندکس شدن وب سایت در دیتابیس گوگل تاثیر دارد. در ادامه به طور کامل این مورد را توضیح می دهم.

Crawl Budget (بودجه خزش) چیست؟

با توجه به این که گوگل یک منبع اطلاعاتی بزرگ در دنیا شناخته شده، با این وجود هنوز هم جوابگوی نیاز میلیاردها کاربر با این تعداد وب سایت نیست. این صحبت به این معنی است که ربات های گوگل هم به صورت مداوم نمی توانند صفحات و تغییرات جدیدی که در سایت ها اعمال می شود، را نمی توانند ایندکس و بررسی کنند. در صورتی که حتی ربات های گوگل هم بتوانند صفحات جدید را ایندکس کنند، صفحات سایت ها نمی توانند تحمل کنند که ربات های گوگل به صورت مداوم سر بزند و عملکرد و اطلاعات آن ها را بررسی کند.

گوگل برای این که این مشکل را حل کند، از Crawl Budget یا بودجه خزش استفاده می کند. عددی که برای بودجه خزش سایت ها در نظر گرفته می شود، با توجه به موضوع فعالیت سایت متفاوت است. برای مثال ممکن است بودجه خزش سایت خبری 40 بار در روز و بودجه خزش سایت کلیک اول یک بار در روز باشد.

سوال مهم این است که Crawl Budget روی سئو سایت چه تاثیری دارد؟

بودجه خزش کمک می کند که صفحات سایت با سرعت بیشتری ایندکس شود. یعنی زمانی که بودجه خزش سایت شما زیاد باشد، مطالب شما با سرعت بیشتری در سایت ایندکس می شود و این اتفاق ممکن است باعث شود که به نتایج صفحه اول گوگل برسید.

پس باید برای افزایش سرعت ایندکس شدن مطالب چه کاری کنیم؟

بهینه سازی ربات های گوگل

با بهینه کردن ربات های گوگل از طریق روش های زیر می توانید ابتدا سرعت ایندکس شدن صفحات سایت را افزایش دهید و سپس ربات های گوگل را برای خزیدن بین صفحات مختلف سایت بهینه کنید. روش بهینه کردن ربات های گوگل به شرح زیر است.

• ایجاد فایل Robots.txt: قدم مهم برای بهینه کردن ربات های گوگل ایجاد ارتباط بین وب سایت با ربات های گوگل است. برای ایجاد این ارتباط استفاده از فایل روبوت Robots.txt است. به همین دلیل لازم است مطمئن شوید که فایل Robots.txt در هاست شما وجود دارد. (ابتدا مقاله “آشنایی با فایل Robots.txt و تاثیر آن در سئو سایت” را در بلاگ کلیک اول مطالعه کنید.)
• Sitemap: فایل سایت مپ دارای فرمت XML است. در فایل XML لینک تمام صفحات سایت وجود دارد. ابتدا لازم است که فایل سایت مپ را در ایجاد و سپس به گوگل معرفی کنید. با معرفی سایت مپ به گوگل سرعت ایندکس شدن سایت افزایش می یابد، چون عنکبوت گوگل (خزنده گوگل) راحت تر بین صفحات سایت می توانند خزش کنند.
• حذف لینک های شکسته از سایت: برخی از لینک هایی که در سایت وجود دارد باعث کاهش سرعت ایندکس شدن صفحات سایت می شود. برای مثال لینک هایی که از صفحات سایت شما به صفحات 404 می رسد، باعث کاهش سرعت ایندکس شدن می شود. (این لینک ها، لینک های شکسته سایت هستند.) برای پیدا کردن لینک های شکسته سایت از نرم افزار Screaming Frog استفاده کرده و سپس لینک ها را حذف کنید. روش دوم برای حذف کردن لینک های شکسته استفاده از افزونه Linkbrocken Chekre است.
• افزایش سرعت سایت: افزایش سرعت سایت نه تنها یکی از اصول پیاده سازی سئو سایت است، بلکه کمک می کند که صفحات سایت شما با سرعت بیشتری ایندکس شود. برای این کار می توانید از روش های بهینه کردن و افزایش سرعت سایت استفاده کنید.
• بک لینک بگیرید: پیاده سازی تکنیک سئو خارجی یکی از مهم ترین اقدامات در بهبود وضعیت سئو است. دریافت بک لینک یا لینک بیلدینگ است. دریافت بک لینک از سایت های معتبر و مرتبط با موضوع سایتتان کمک می کند تا سرعت ایندکس شدن سایت افزایش پیدا کند.
• معرفی به سرچ کنسول: برخی سایت ها مثل سایت های خبری برای سریع تر دیده شدن و رسیدن به رتبه های برتر در گوگل، باید سریع ایندکس شوند. برای این کار می توانید از نرم افزار آنلاین سرچ کنسول استفاده کنید. وارد سایت شوید و از طریق URL Inspection Tool صفحه مورد نظرتان را معرفی کنید تا زودتر ایندکس شود.