انواع موتورهای جستجو نظیر گوگل ، یاهو و بینگ ، از مهمترین منابع کاربران برای دستیابی به نتایج موردنظر خود به حساب می آیند. در این مقاله قصد داریم تا به بررسی انواع موتورهای جستجو و نحوه پیمایش سایت توسط آن ها بپردازیم.

بررسی انواع موتورهای جستجوReviewed by علی شانه ساز on Sep 30Rating: 5.0

همواره سئو و بهینه سازی سایت ، از مهمترین دغدغه های مدیران سایت ها به شمار می رود. بهبود سئو سایت از جمله مواردی است که در پیشرفت کسب و کار آنلاین موثر بوده و می تواند باعث افزایش ترافیک سایت و کاهش رتبه الکسا شود و در یک کلام ، دیجیتال مارکتینگ شما را از این رو به آن رو کند. اما شروع فعالیت های مربوط به سئو بدون دانش کافی در مورد انواع موتورهای جستجو ، کار درستی نیست. دانش کافی در مورد نحوه کار انواع موتورهای جستجو ، گام نخست در بهینه سازی سایت است.

موتورهای جستجو

افزایش سریع حجم اطلاعات و رشد تعداد کاربران تازه کار و بی تجربه چالش های جدیدی برای بازیابی اطلاعات در اینترنت بوجود آورده است. اکثر کاربران برای یافتن اطلاعات در سریع ترین زمان ، از موتورهای جستجوی رابج مانند یاهو با گوگل استفاده می کنند. وقتی جستجویی در یک موتور جستجو گر انجام و نتایج جسنجر ارایه می شود. درمان در واقع نتیجه کار بخش های متفاوت موتور جستجوگر را می بینند. موتور جستجو گر نه بکنه ودهائی را آماده کرده و این گونه نیست که درست در همان لحله جستجر، نمام وب را بگردد. همه موتورهای جستجو در زمان پاسخ گویی به جستجو های کاربران، تنها در پایگاه داده ای که در اختیار دارند به نحو می پردازند و نه در وب.

در حقیقت موتور جسنجو برنامه ای است که موضوعات مورد نظر کاربران را در قالب کلمات کلیدی با ترکیب آنها در یک سند با بانک اطلاعاتی جستجو می کند. کلمات کلیدی در میان انبوه اطلاعات موجود در فایل ها، سندهای وب جهانی، گروه های خبری و آرشیو های FTP جستجو می شوند. البته بیشنر موتورهای جستجو اطلاعات طبقه بندی شده ای مانند دایرکتوری ها دارند که جستجو ها را داخل آنها انجام میدهند). سپس موتور جستجو نتایج بدست آمده را بصورت لینک هایی به آدرس محل ذخیره آنها نشان می دهند. امروزه انواع موتورهای جستجو در هر صفحه از تابع خود تعدادی (معمولا لینک اول) لینک را قرار می دهند.

انواع موتورهای جستجو

انواع موتورهای جستجو به سه دسته کلی تقسیم می شوند:

  • مبتنی بر پیمایش ( Crawler- Based )
  • مبتنی بر فهرست ( Directory – Based )
  • ترکیبی (Hybrid)

مبتنی بر پیمایش: موتورهای جستجو مبتنی بر پیمایش مانند گوگل فهرست خود را بصورت خودکار تشکیل می دهند. آنها کل وب را پیمایش کرده و مجموعه اسناد و اطلاعات را رده بندی و ذخیره می کنند. سپس کاربران از میان اطلاعات ذخیره شده، آنچه را که می خواهند جستجو می کنند. اگر در یک صفحه وب تغییراتی اعمال شود، موتورهای جستجوی پیمایشی آنها را بطور خودکار یافته و تغییرات را در فهرست ها اعمال می کنند، عنوان، متن و دیگر عناصر صفحه، همگی در این فهرست قرار می گیرند.

مبتنی بر فهرست: در اینترنت سایت هایی بنام فهرست وجود دارند که برخی از آنها رایگان و برخی نیز هزینه می گیرند. ابتدا مسئول سایت توضیح مختصری مانند عنوان و آدرس لینک برای کل یک سایت به یک فهرست ارسال می کند. این کار همچنین می تواند توسط ویراستارهایی انجام شود که برای آن فهرست در نظر گرفته شده اند. در این حالت عمل جستجو تنها روی توضیحات ثبت شده صورت می گیرد و در صورت تغییر صفحه های وب، روی فهرست تغییری به وجود نمی آید. البته موتورهای جستجوی مشهور از جمله گوگل و یاهو، با دریافت هزینه جایگاه سایت را در فهرست بندی بهبود می دهند.

ترکیبی: به موتورهایی اطلاق می شود که هر دو حالت را در کنار هم نمایش می دهند. غالبا، یک موتور جستجوی ترکیبی در صورت نمایش نتیجه جستجو از هر یک از دسته های فوق، نتایج حاصل از دسته دیگر را هم مورد توجه قرار می دهد. مثلا موتور جستجوی (MSN) بیشتر نتایج حاصل از روش مبتنی در فهرست را نشان می دهد اما در کنار آن نیم نگاهی هم به نتایج حاصل از جستجوی مبتنی بر پیمایش دارد.

انواع موتورهای جستجو

از آنجائیکه هیچ موتور جستجویی بطور جامع، تمامی اطلاعات موجود در وب را پوشش نمی دهد، امروزه گونه جدیدی از موتورهای جستجو بنام «ابر جستجوگر» به منظور افزایش جامعیت جستجوی اطلاعات در وب ابداع شده اند، ابر جستجوگرها بر خلاف انواع موتورهای جستجو ، دارای پایگاه اطلاعاتی نیستند. آنها با ارسال کلمات کلیدی جستجو، به پایگاه های اطلاعاتی متعلق به چندین موتور جستجو، بطور همزمان، به بازیابی اطلاعات می پردازند و با ترکیب نتایج آنها یک نتیجه کلی ارائه می دهند. برخی از ابر جستجوگرها نتایج تکراری چند موتور جستجو را حذف می کنند. و با تلفيق نتایج جستجو، بصورت یکپارچه آنرا نمایش می دهند. برخی نیز در یکپارچه سازی و حذف نتایج جستجوی تکراری نقشی ندارند.

معماری پایه ای موتور جستجو

این معماری شامل یک فرایند جلو و یک فرایند پشت (Back – end) است. در فرایند اول کاربر کلمه مورد درخواست را در یک رابط مانند صفحه جستجوی گوگل وارد می کند. سپس برنامه کاربردی درخواست جستجو را به شکل یک فرم قابل فهم برای موتور جستجو تبدیل می نماید (Query Parser). عمل جستجو در یک پایگاه داده فایل های شاخص (Index file database) انجام گرفته و سایت هایی که عبارت مورد نظر در آنها وجود دارد بر اساس میزان ارتباط رتبه بندی (Ranking) و بصورت لینک برای کاربر نمایش داده می شوند. این پایگاه داده شامل چندین جدول است که برای کمک به بازیابی سریع داده ها بکار می رود. با افزایش تعداد سایت ها، موتورهای جستجو نیز از چندین سرویس دهنده پایگاه داده برای فایل های شاخص استفاده می کنند.

در فرایند دوم که در واقع پشت صحنه انجام می شود یک برنامه عنکبوت (Spider) یا ربات، بطور متناوب در میان صفحه های وب پیمایش کرده و آنها را از اینترنت واکشی می نماید. زیر سیستم شاخص گذاری (Indexer) صفحه ها را تجزیه و در پایگاه داده فایل های شاخص ذخیره می کند. البته اوایل ، موتورهای جستجو صفحه ها را از طریق ابرپیوندها پیمایش می کردند که در آن عنوان سایت، کلمات کلیدی و دیگر اطلاعات مرتبط مورد نیاز جهت پایگاه داده از سند HTML استخراج میشد. گاهی اوقات و یا سند در پایگاه داده شاخص گذاری می شد

فایل robots.txt

برای جلوگیری از دیده شدن قسمت هایی از وب سایت مانند پوشه ها و صفحات به دلایلی مانند جلو گیری از هک شدن و عدم افشای بعضی از مطالب می توان از فایل robots.txt استفاده کرد. این فایل متنی روی سرویس دهنده وب و در شاخه اصلی (root) وب سایت قرار دارد و امکان دستیابی به قسمت های مختلف سایت را مشخص می کند. در واقع این فایل زحمت پیمایش خزنده ( Crawler) را کم می کند. این فایل با خطوط زیر شروع می شود.

User-agent:
Disallow:

خط اول نام برنامه راهنمای وب سایت را می کند. در خط دوم فایل ها و شاخه هایی فهرست می شود که نباید توسط برنامه خزنده بازدید و یا در نتایج جستجو ظاهر شوند. اگر فردی نخواهد هیچ قسمت از سایت او در فهرست جستجو بیاید و بازدید شود می تواند دو خط زیر را در فایل robots.txt اضافه کند.

User-agent: *
Disallow: /

حال که با انواع موتورهای جستجو آشنا شدید ، می توانید به شکل بهتری بر روی فعالیت های لازم درمورد سئوی سایت کار کنید.