بررسی انواع موتورهای جستجو

همواره سئو و بهینه سازی سایت، از مهمترین دغدغه های مدیران سایت ها به شمار می رود. بهبود سئو سایت از جمله مواردی است که در پیشرفت کسب و کار آنلاین موثر بوده و می تواند باعث افزایش ترافیک سایت شود و در یک کلام، دیجیتال مارکتینگ شما را از این رو به آن رو کند.

اما شروع فعالیت های مربوط به سئو بدون دانش کافی در مورد انواع موتورهای جستجو، کار درستی نیست. دانش کافی در مورد نحوه کار انواع موتورهای جستجو، گام نخست در بهینه سازی سایت است.

موتورهای جستجو

افزایش سریع حجم اطلاعات و رشد تعداد کاربران تازه کار و بی تجربه چالش های جدیدی برای بازیابی اطلاعات در اینترنت بوجود آورده است. اکثر کاربران برای یافتن اطلاعات در سریع ترین زمان، از موتورهای جستجوی رایج مانند یاهو یا گوگل استفاده می کنند. وقتی جستجویی در یک موتور جستجوگر انجام و نتایج جسنجو انجام می شود، نتیجه کار بخش های متفاوت موتور جستجوگر را می بینند.

موتور جستجو این گونه نیست که درست در همان لحظه جستجو، تمام وب را بگردد. همه موتورهای جستجو در زمان پاسخ گویی به جستجوهای کاربران، تنها در پایگاه داده ای که در اختیار دارند به نحو می پردازند و نه در وب.

در حقیقت موتور جستجو برنامه ای است که موضوعات مورد نظر کاربران را در قالب کلمات کلیدی با ترکیب آن ها در یک سند با بانک اطلاعاتی جستجو می کند. کلمات کلیدی در میان انبوه اطلاعات موجود در فایل ها، سندهای وب جهانی، گروه های خبری و آرشیوهای FTP جستجو می شوند.

البته بیشنر موتورهای جستجو اطلاعات طبقه بندی شده ای مانند دایرکتوری ها دارند که جستجوها را داخل آن ها انجام می دهند. سپس موتور جستجو نتایج بدست آمده را بصورت لینک هایی به آدرس محل ذخیره آن ها نشان می دهند. امروزه انواع موتورهای جستجو در هر صفحه از تابع خود تعدادی (معمولا لینک اول) لینک را قرار می دهند.

انواع موتورهای جستجو

انواع موتورهای جستجو به سه دسته کلی تقسیم می شوند:

• مبتنی بر پیمایش (Crawler- Based)
• مبتنی بر فهرست (Directory – Based)
• ترکیبی (Hybrid)

مبتنی بر پیمایش

موتورهای جستجو مبتنی بر پیمایش مانند گوگل فهرست خود را بصورت خودکار تشکیل می دهند. آن ها کل فضای وب را پیمایش کرده و مجموعه اسناد و اطلاعات را رده بندی و ذخیره می کنند. سپس کاربران از میان اطلاعات ذخیره شده، آن محتوایی را که می خواهند، جستجو می کنند.

اگر در یک صفحه وب تغییراتی اعمال شود، موتورهای جستجوی پیمایشی آن ها را بطور خودکار یافته و تغییرات را در فهرست ها اعمال می کنند، عنوان، متن و دیگر عناصر صفحه، همگی در این فهرست قرار می گیرند.

مبتنی بر فهرست

در اینترنت سایت هایی بنام فهرست وجود دارند که برخی از آن ها رایگان و برخی نیز هزینه می گیرند. ابتدا مسئول سایت توضیح مختصری مانند عنوان و آدرس لینک برای کل یک سایت به یک فهرست ارسال می کند. این کار همچنین می تواند توسط ویراستارهایی انجام شود که برای آن فهرست در نظر گرفته شده اند.

در این حالت عمل جستجو تنها روی توضیحات ثبت شده صورت می گیرد و در صورت تغییر صفحه های وب، روی فهرست تغییری به وجود نمی آید. البته موتورهای جستجوی مشهور از جمله گوگل و یاهو، با دریافت هزینه جایگاه سایت را در فهرست بندی بهبود می دهند.

ترکیبی

به موتورهایی اطلاق می شود که هر دو حالت را در کنار هم نمایش می دهند. غالبا، یک موتور جستجوی ترکیبی در صورت نمایش نتیجه جستجو از هر یک از دسته های فوق، نتایج حاصل از دسته دیگر را هم مورد توجه قرار می دهد. مثلا موتور جستجوی (MSN) بیشتر نتایج حاصل از روش مبتنی در فهرست را نشان می دهد اما در کنار آن نیم نگاهی هم به نتایج حاصل از جستجوی مبتنی بر پیمایش دارد.

از آنجایی که هیچ موتور جستجویی بطور جامع، تمامی اطلاعات موجود در وب را پوشش نمی دهد، امروزه گونه جدیدی از موتورهای جستجو بنام «ابر جستجوگر» به منظور افزایش جامعیت جستجوی اطلاعات در وب ابداع شده اند، ابر جستجوگرها بر خلاف انواع موتورهای جستجو، دارای پایگاه اطلاعاتی نیستند.

آن ها با ارسال کلمات کلیدی جستجو، به پایگاه های اطلاعاتی متعلق به چندین موتور جستجو، بطور همزمان، به بازیابی اطلاعات می پردازند و با ترکیب نتایج آن ها یک نتیجه کلی ارائه می دهند. برخی از ابر جستجوگرها نتایج تکراری چند موتور جستجو را حذف می کنند. و با تلفيق نتایج جستجو، بصورت یکپارچه آن را نمایش می دهند. برخی نیز در یکپارچه سازی و حذف نتایج جستجوی تکراری نقشی ندارند.

معماری پایه ای موتور جستجو

این معماری شامل یک فرایند جلو و یک فرایند پشت (Back – end) است. در فرایند اول کاربر کلمه مورد درخواست را در یک رابط مانند صفحه جستجوی گوگل وارد می کند. سپس برنامه کاربردی درخواست جستجو را به شکل یک فرم قابل فهم برای موتور جستجو تبدیل می نماید (Query Parser).

عمل جستجو در یک پایگاه داده فایل های شاخص (Index file database) انجام گرفته و سایت هایی که عبارت مورد نظر در آن ها وجود دارد بر اساس میزان ارتباط رتبه بندی (Ranking) و بصورت لینک برای کاربر نمایش داده می شوند. این پایگاه داده شامل چندین جدول است که برای کمک به بازیابی سریع داده ها بکار می رود. با افزایش تعداد سایت ها، موتورهای جستجو نیز از چندین سرویس دهنده پایگاه داده برای فایل های شاخص استفاده می کنند.

در فرایند دوم که در واقع پشت صحنه انجام می شود یک برنامه عنکبوت (Spider) یا ربات، بطور متناوب در میان صفحه های وب پیمایش کرده و آن ها را از اینترنت واکشی می نماید. زیرسیستم شاخص گذاری (Indexer) صفحه ها را تجزیه و در پایگاه داده فایل های شاخص ذخیره می کند.

البته اوایل، موتورهای جستجو صفحه ها را از طریق ابرپیوندها پیمایش می کردند که در آن عنوان سایت، کلمات کلیدی و دیگر اطلاعات مرتبط مورد نیاز جهت پایگاه داده از سند HTML استخراج می شد. گاهی اوقات و یا سند در پایگاه داده شاخص گذاری می شد.

فایل robots.txt

برای جلوگیری از دیده شدن قسمت هایی از وب سایت مانند پوشه ها و صفحات به دلایلی مانند جلو گیری از هک شدن و عدم افشای بعضی از مطالب می توان از فایل robots.txt استفاده کرد. این فایل متنی روی سرویس دهنده وب و در شاخه اصلی (root) وب سایت قرار دارد و امکان دستیابی به قسمت های مختلف سایت را مشخص می کند. در واقع این فایل زحمت پیمایش خزنده ( Crawler) را کم می کند.

این فایل با خطوط زیر شروع می شود.

User-agent:
Disallow:

خط اول نام برنامه راهنمای وب سایت را می کند. در خط دوم فایل ها و شاخه هایی فهرست می شود که نباید توسط برنامه خزنده بازدید و یا در نتایج جستجو ظاهر شوند. اگر فردی نخواهد هیچ قسمت از سایت او در فهرست جستجو بیاید و بازدید شود می تواند دو خط زیر را در فایل robots.txt اضافه کند.

User-agent: *
Disallow: /

حال که با انواع موتورهای جستجو آشنا شدید، می توانید به شکل بهتری بر روی فعالیت های لازم درمورد سئو کار کنید.