ابزار ساخت robots.txt برای سایت

فایل robotx.txt سایت خود را به شکلی اصولی ایجاد کنید.

فایل robots.txt یک فایل تکست ساده در روت اصلی سایت است که به موتورهای جستجو می فهماند که اجازه بررسی کردن کدام صفحات از سایت را دارند و به کدام بخش ها، حق سر زدن ندارند. کلیک اول ابزار فوق العاده کاربری را فراهم آورده تا بتوانید به سادگی، کدهای موردنیاز در فایل robots.txt سایت خود را ایجاد کرده و تنها با یک کلیک، این کدها را کپی کنید.

دستور User-Agent

این کد مخصوص تعیین نوع موتورهای جستجو بوده و بهتر است روی حالت ستاره (*)، یعنی تعیین تمام موتورهای جستجو باشد.

user-agent: *

دستور Disallow

به کمک این دستور می توانید تعیین کنید که کدام یک از بخش های سایت، در موتورهای جستجو بررسی و اصطلاحا Crawl نشوند. به عنوان مثال اگر قصد دارید بخش پنل سایت شما در گوگل ایندکس نشود، از تکه کد زیر استفاده کنید:.

Disallow:/products/

در صورتی که قصد دارید پوشه های خاصی از سایت خود را از بررسی گوگل در امان نگه دارید، تنها نام هر کدام از پوشه ها را در یک فیلد قرار دهید.

دستور Allow

گوگل و سایر موتورهای جستجو معمولا تمام صفحات وب سایت را بررسی می کنند. فعالیت آنها ساختاری شبیه به کد زیر برای به طور مثال بخش وبلاگ دارد.

Allow:/blog/

اما در صورتی که قصد دارید تاکید کنید تا بخش های خاصی از سایت حتما توسط گوگل Crawl شوند، نام آن زیر دسته ها را در فیلدهای زیر قرار دهید.

دستور Sitemap

یکی از گزینه هایی که می تواند لینک های سایت شما را به شکلی بهتر به گوگل بشناساند، ایجاد سایت مپ درست و قرار دادن لینک های سایت در آن است. پس از آن نیز باید آدرس فایل اصلی سایت مپ را در فایل robots.txt اضافه کنید.

آدرس فایل سایت مپ را در این بخش وارد کنید:

ایجاد کدهای نهایی فایل robots.txt

پس از آن که موارد بالا را وارد کردید، با کلیک روی دکمه ساخت فایل، کدهای مربوطه را در باکس زیر تحویل گرفته و با به کمک دکمه کپی در کلیپ بورد، این کدها را در فایل اصلی robots.txt خود قرار دهید.

کدهای نهایی robots

فایل Robots.txt چیست؟

کاربردهای فایل Robots.txt در سئوی سایت

robots.txt نوعی فایل متنی برای انجام دستورات به ربات های جستجوگر بوده که کار آن سفارشی سازی، نحوه بررسی و ایندکس صفحات مختلف سایت است. افرادی که مالکین سایت ها هستند و یا وب مستر ها از این پرونده برای نحوه نمایش و همچنین سئو سایت خود در موتور های جستجو استفاده می کنند.

فایل robots.txt بخشی از پروتکل Rep که دستورالعمل های بسیار مهمی را به خواننده ابلاغ می کند و نبودن آن ها برای سایت مشکلات زیادی ایجاد می کند را نشان می دهد. البته توجه داشته باشید که نوشتن این فایل هم باید به صورت تخصصی انجام شود، در غیر این صورت می تواند منجر به حذف سایت در نتایج شود.

علت استفاده از ابزار ایجاد فایل Robots.txt

این ابزار یک ابزار بسیار مفید بوده که کار وب مستران را بسیار راحت کرده است چرا که افراد به کمک این ابزار می توانند سایت خود را برای ربات های گوگل بهینه کنند. ابزار ساخت فایل robots.txt توانایی آن را دارد با انجام وظایف دشوار در زمان کم و هزینه رایگان، فایل مورد نیاز خود را تولید کند.

ابزار Robots.txt چگونه کار می کند؟

این ابزار فایلی را به وجود می آورد که آدرس نقشه سایت درون آن قرار می گیرد و تمام صفحاتی را که موتورهای جستجو حق کراول و ایندکس کردن دارند را نشان می دهد. به همین علت این فایل ها اهمیت زیادی برای برای سایت دارند. در زمانی که موتورهای جستجو سایتی را بررسی می کنند، در ابتدا به دنبال فایل robots.txt می گردند که در سطح دامنه قرار بگیرد. در زمانی که این فایل شناسایی شد، خزندگان موتورجستجو آن را می خوانند و فایل ها و دایرکتوری هایی که امکان دارد مسدود باشد را شناسایی می کنند.

استفاده کردن از ابزار سازنده Robots.txt چگونه است؟

به صورت پیش فرض همه موتورهای جستجو می توانند به فایل های سایت شما دسترسی داشته باشند. شما با استفاده از این فایل توانایی این را پیدا می کنید که به موتورهای جستجو فقط دسترسی فایل های خاص را بدهید یا ندهید.

در ادامه باید به سراغ مرحله محدود کردن دایرکتوری بروید. مسیر باید در برگیرنده "/" باشد. چرا که مسیر به روت مرتبط است. همچنین در نهایت، هنگامی که می خواهید فایل robots.txt را به کمک این ابزار تولید کنید می توانید آن را در دایرکتوری روت سایت آپلود کنید. چنانچه علاقه دارید قبل از کاربرد این ابزار کاوش کنید، با آن کار کنید می توانید یک فایل نمونه ای ایجاد نمایید.