کاربران و مدیران وبسایت های وردپرسی به دنبال راه مختلفی هستند تا به وسیله بهینه سازی موارد مختلف ورردپرس، همانند فایل robots.txt ، سئو وبسایت خود را بهبود ببخشند فایل robots.txt به موتورهای جستجو نحوه خزیدن در وبسایت شما را گفته و به همین جهت یک ابزار قدرتمند جستجوگر است. در این مقاله ما به شما نحوه ایجاد یک فایل robots.txt کامل برای SEO را نشان خواهیم داد.

فایل robots.txt چیست؟

Robots.txt یک فایل متنی می‌باشد که صاحبان وب سایت‌ها به وسیله آن می توانند بگویند که موتورهای جستجوگر چگونه به خزیدن و فهرست صفحات در سایت خود بپردازند.

این فایل معمولا در دایرکتوری ریشه اصلی وبسایت ذخیره می شود که به عنوان پوشه اصلی وب سایت شما شناخته می شود. فرمت اصلی فایل یک فایل robots.txt به صورت زیر است:

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]

User-agent: [user-agent name]
Allow: [URL string to be crawled]

Sitemap: [URL of your XML Sitemap]

شما می توانید خطوط مختلفی از دستورالعمل ها برای اجازه دادن یا رد URL های خاص و اضافه کردن چند نقشه سایت اضافه کنید. اگر نشانی اینترنتی را رد نکنید، موتورهای جستجوگر موتور جستجو فرض می کنند که مجاز به ردیابی آن هستند.

در اینجا فایل نمونه مثال robots.txt می تواند مشاهده کنید:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/

Sitemap: https://example.com/sitemap_index.xml

در مثال بالا  robots.txt ، ما موتورهای جستجو را مجبور کرده ایم تا فایل ها موجود در پوشه آپلود وردپرس را رها کند.

پس از آن، ما ربات‌های موتورهای جستجو را از خزیدن در پوشه های پوسته‌ها، افزونه‌ها و مدیریت وردپرس منع کرده‌ایم.

و در نهایت ما آدرس نقشه سایت خود را قرار داده ایم.

آیا شما نیاز به یک فایل Robots.txt برای سایت وردپرس خود دارید؟

اگر فایل robots.txt ندارید، با این حال باز هم موتورهای جستجو همچنان وب سایت شما را بررسی خواهند کرد. با این حال، شما قادر نخواهید بود به موتورهای جستجو بگویید که کدام صفحات یا پوشه ها را نباید بررسی کنید.

البته این برای زمانی که شما یک وبلاگ ساده داشته تازه آن را راه اندازی کرده اید تاثیری نخواهد گذاشت.

با این حال به عنوان وب سایتی که در حال رشد است و احتملا شما مقدار زیادی از مطالب را دارید، احتمالا می خواهید کنترل بیشتری بر روی چگونگی خیزش و نمایه سازی وب سایت خود داشته باشید.

در اینجا دلایلی برای استفاده از فایل Robots.txt وجود دارد!

• هر وبسایت دارای سهمیه مشخصی از خزنده های موتورهای جستجو می‌باشند!

این به این معنی است که آنها یک تعداد مشخصی از صفحات را در طول یک جلسه بررسی می کنند. این باعث می‌شود تا مراحل خزیدن موتورهای جستجو با زمان بیشتری انجام شده و دیرتر به نتایج مورد نظر دست پیدا کنید.

با عدم رها کردن صفحات غیر ضروری، روند ایندکس شدن صفحات طولانی خواهد شد!

شما می توانید این مورد را با اجازه دادن به ربات های جستجو ، برای رها کردن صفحات غیر ضروری مانند صفحات مدیریت وردپرس خود، فایل های افزونه و پوشه تم ها را رفع کنید.

با غیر فعال کردن صفحات غیر ضروری، سهمیه خزنده های مورتوهای جستجوی در وبسایت خود را ذخیره کنید. این به موتورهای جستجو کمک می کند تا صفحات بیشتری را در وبسایت شما را بررسی کرده و نتایج بهتری را کسب کنید.

دلیل دیگری برای استفاده از فایل robots.txt زمانی است که شما می خواهید موتورهای جستجو را از بررسی یک پست یا صفحه در وب سایت خود منع کنید.

این امن ترین راه برای مخفی کردن مطالب از افراد غیرمجاز نیست، اما به شما کمک می کند تا از قرار گرفتن در نتایج موتورهای جستجو جلوگیری کنید.

چگونه یک فایل Robots.txt ایده آل داشته باشد؟

بسیاری از وبلاگ های محبوب از یک فایل robots.txt بسیار ساده استفاده می کنند. محتوای آنها ممکن است بسته به نیازهای سایت خاص متفاوت باشد.

User-agent: *
Disallow:

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

این فایل robots.txt اجازه می دهد تمام خزنده ها و ربات ها به فهرست همه محتوا و لینک آنها را به نقشه های XML وب سایت دسترسی داشته باشد.

برای سایت های وردپرس،درج قوانین زیر را در فایل robots.txt توصیه می کنیم:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

این کدها به ربات های موتورهای جستجو برای نشان دادن تمام تصاویر و فایل های وردپرس پیشنهاد می کند. همچنین ربات های جستجو از بررسی فایل های افزونه های وردپرس، مدیریت وردپرس، فایل readme وردپرس و لینک های وابسته ، منع خواهد کرد.

با اضافه کردن نقشه های سایت به فایل robots.txt، کار را برای ربات های گوگل برای پیدا کردن همه صفحات در سایت خود آسان می کنید.

حالا شما می دانید که یک فایل robots.txt ایده آل و کاربردی به نظر می رسد، اجازه دهید نگاهی به چگونگی ایجاد یک فایل robots.txt در وردپرس کنیم.

آموزش ایجاد فایل robots.txt در وردپرس

دو راه برای ایجاد یک فایل robots.txt در وردپرس وجود دارد. شما می توانید روش هایی را که برای شما مناسب است، انتخاب کنید.

روش 1: ویرایش فایل Robots.txt با استفاده از افزونه Yoast SEO

اگر از افزونه Yoast SEO استفاده می کنید، می‌توانید با این فایل کار کنید.

شما می توانید از آن برای ایجاد و ویرایش فایل robots.txt به طور مستقیم از مدیریت مدیریت وردپرس خود استفاده کنید.

به سادگی به منو سئو » ابزارها در مدیریت وردپرس خود بروید و روی لینک ویرایشگر فایل کلیک کنید.

در صفحه بعدی، افزونه یوئست سئو ، فایل robots.txt موجود شما را نشان می دهد.

اگر شما یک فایل robots.txt ندارید، افزونه yoast seo فایل robots.txt را برای شما ایجاد خواهد کرد.

به طور پیش فرض، ایجاد کننده فایل robots.txt در افزونه yoast seo قوانین زیر را به فایل robots.txt اضافه می کند:

User-agent: *
Disallow: /

مهم است که این متن را حذف کنید زیرا تمام موتورهای جستجو را از خزیدن در وب سایت شما متوقف خواهد کرد.

پس از حذف کدهای پیش فرض، می‌توانید از قوانین دلخواه خود جهت افزودن به این فایل استفاده کنید. توصیه می‌شود از کدهای بهینه شده در همین پست که مطالعه کردید ، استفاده کنید.

روش 2.ایجاد فایل robots.txt به صورت دستی با استفاده از ftp و هاست خود

در این روش تنها نیاز است که به مدیریت هاست خود وارد شده و در ریشه اصلی وبسایت خود این فایل را به نام robots.txt ایجاد کنید. همچنین اگر این فایل از قبل وجود دارد دیگر نیازی به ایجاد آن نیست و تنها می‌توانید با ویرایش آن، قوانین جدید خود را به آن اضافه کنید.

برای این منظور می‌توانید از کدهای بهینه شده این فایل که در این پست مطالعه شد، استفاده کنید.

روش تست فایل robots.txt

پس از ایجاد و افزودن کدهای خود به فایل robots.txt بهتر است که آن را تست کرده تا از عملکرد مطلوب آن آگاه شوید.

ابزارهای تست robots.txt بسیاری وجود دارد، به وسیله آن می‌توانید این فایل را بررسی کنید. برای این منظور می‌توانید از ابزار sitechecker استفاده کنید. با ورود به این سایت می‌توانید آدرس وبسایت خود را وارد کرده تا این وبسایت به صورت کامل این فایل را بررسی کند.

سخن پایانی

هدف بهینه سازی فایل robots.txt شما این است که موتورهای جستجو را از صفحات خالی که در دسترس عموم قرار ندارند منع کنند. برای مثال، صفحات در پوشه wp-plugins یا صفحات شما در پوشه مدیریت وردپرس .

یک باور اشتباه و رایج در بین کارشناسان این است که مسدود کردن دسته بندی های وردپرس، تگ ها و صفحات بایگانی باعث بهبود سرعت خزیدن و منجر به بررسی سریع و رتبه بندی بالاتر خواهد شد.

البته این باور اشتباهی بوده و به هیچ عنوان توصیه نخواهد شد و شما نباید از این روش استفاده کنید.

در این پست کدهای بهینه شده این فایل را نیز در اختیارتان قرار دادیم که می‌توانید از آن ها استفاده کنید.

publishpress نام افزونه رایگان و کاربردی وردپرس می‌باشد که یک ابزار حرفه ای در اختیارتان قرار خواهد داد که به وسیله آن می‌توانید بر روی انتشار محتوای وبسایت وردپرسی خود یک مدیریت حرفه ای داشته باشید. این افزونه به وسیله امکانات بسیار متنوع خود به شما این امکان را می‌دهد تا بتوانید یک تعامل بسیار خوب بین نویسندگان و سردبیران ایجاد کرده و امکانات مختلف را در اختیارشان قرار دهید. این افزونه دارای یک تقویم حرفه ای و کارآمد بوده که به وسیله آن می‌توانید زمان انتشار محتوا زمانبندی شده را در این تقویم مشاهده کنید.

افزونه وردپرس publishpress دارای سیستم اعلان خبری نیز می‌باشد که با ایجاد تغییرات در مطالب، به اعضای تیم اطلاع رسانی خواهد کرد. همچنین به وسیله این افزونه می‌توانید انواع وضعیت را برای مطالب خود به وجود بیاورید. به طور مثال می توانید وضعیت ها را برای مطابقت با مراحل گردش کار انتشارات تیم خود تعریف کنید. همچنین این افزونه به نویسندگان و سردبیران این امکان را می‌دهد تا در صفحه ویرایش هر مطلب بتوانند به صورت خصوصی با یکدیگر گفتگو کرده و موارد مورد نیاز را به یکدیگر یادآوری کنند.

افزونه publishpress ، یک افزونه رایگان وردپرس می‌باشد که می‌توانید آن را از مخزن وردپرس دانلود و نصب کنید. همچنین در قسمت جستجو افزونه ها میتوانید آن را جستجو و نصب کنید.

WooCommerce Extra Product Options یک افزونه بسیار کاربردی برای آن دسته از افرادی است که نیاز به ایجاد فیلد های اضافه در صفحه محصولات دارند می باشد. شما می توانید با این افزونه به راحتی اقدام به ایجاد گزینه ها و فیلد های شرطی ، گزینه های آپلود ، فیلد های قیمت ، فیلد های متغیر و یا فیلد های بر اساس هزینه یا گزینه های اجباری کنید.این افزونه یکی از پر فروش ترین افزونه های ووکامرس می باشد . بدون مقدمه امکانات این افزونه را نام می بریم.

Formidable Forms Pro نام افزونه کاربردی و تجاری وردپرس می‌باشد که به وسیله آن می‌توانید انواع فرم های حرفه ای و کارآمد را ایجاد کرده و از آن در قسمت های مختلف وبسایت خود استفاده کنید. این افزونه دارای امکانات بسیار مناسبی بوده که می‌توانید به وسیله آن ، انوعا فرم های مورد نیاز خود را ایجاد کنید. این افزونه دارای ویرایشگر دیداری جهت طراحی فرم ها می‌باشد که با کشیدن و رها کردن فیلدهای مورد نیاز می‌توانید فرم های دلخواه خود را طراحی کنید

افزونه فرم ساز وردپرس Formidable Forms Pro پس ارسال اطلاعات از طریق فرم ها به شما این امکان را خواهد داد تا بتوانید به اطلاعات ارسالی دسترسی پیدا کنید. این افزونه با دارا بودن نمودارها مختلف به شما این امکان را خواهد داد تا بتوانید از روی اطلاعات ارسالی، نمودار ایجاد کنید . همچنین این افزونه به شما این امکان را خواهد داد تا بتوانید فرم های چند مرحله ای ایجاد کرده و اطلاعات را در چند مرحله از کاربر دریافت کنید. در ادامه می‌توانید ویژگی های دیگر این افزونه را مطالعه کنید.

JetParallax نام افزونه جانبی و حرفه ای صفحه ساز Elementor می‌باشد که به وسیله آن می‌توانید پس زمینه های حرفه ای پارالاکس را طراحی کرده و استفاده کنید. این افزونه به شما این امکان را می‌دهد تا بتوانید پس زمینه های بسیار زیبا و حرفه ای پارالاکس ایجاد کرده و به طور کامل آن را شخصی سازی کنید. این افزونه دارای امکانی می‌باشد که به وسیله آن می‌توانید بر روی رفتارها و حرکات موس کاربر مدیریت داشته و از آن جهت طراحی پس زمینه های خود استفاده کنید.

افزونه جانبی JetParallax به شما این امکان را می‌دهد تا بتوانید در ایجاد پس زمینه های پارلاکس خود از طراحی چند لایه ای استفاده کرده و پس زمینه های بسیار زیبا و حرفه ای ایجاد کنید. همچنین می‌توانید بر روی سرعت انیمیشن های خود مدیریت داشته و شخصی سازی کنید. در ادامه می‌توانید ویژگی های دیگر این افزونه را مطالعه کنید.

JetBlog نام افزونه جانبی و حرفه ای وردپرس می‌باشد که به وسیله آن می‌توانید محتوا وبسایت خود را در صفحه ساز Elementor به سبک وبسایت های مجله خبری و وبلاگی نمایش دهید. این افزونه به شما این امکان را خواهد داد تا بتوانید انواع محتوا خود را در طرح های مختلف نمایش دهید. با نصب و فعالسازی این افزونه، می‌توانید در صفحه ساز المنتور از امکانات این افزونه استفاده کرده و جعبه های محتوا وبسایت خود را در صفحه نخست و یا صفحات دیگر نمایش دهید.

افزونه جانبی JetBlog کاملا واکنش گرا بوده و به خوبی در دستگاه های همراه مانند موبایل و تبلت نمایش داده خواهد شد. همچنین این افزونه از زبان های راستچین ، مانند زبان فارسی پشتیبانی کرده و به شما این امکان را خواهد داد تا بتوانید از آن در وبسایت های فارسی زبان استفاده کنید. این افزونه از محتوای ویدیویی نیز پشتیبانی کرده و به شما این امکان را می‌دهد تا بتوانید مطالب خود را که در قالب محتوا تصویری می‌باشند، نمایش دهید. در ادامه می‌توانید ویژگی های دیگر این افزونه را مطالعه کنید.

Ultimatum نام افزونه کاربردی و حرفه ای وردپرس می‌باشد که به وسیله آن می‌توانید صفحات دلخواه خود را بدون نیاز به کدنویسی و تنها با کشیدن و رها کردن المنت های مورد نیاز، طراحی کنید. این افزونه به وسیله امکانات مختلف خود به شما این امکان را می‌دهد تا بتوانید به آسانی صفحات مورد نیاز خود را طراحی کنید. صفحات ایجاد شما توسط این افزونه بسیار سبک و حرفه ای بوده و از فریم ورک بوت استرپ بهره مند می‌شود.

افزونه صفحه ساز وردپرس Ultimatum کاملا واکنش گرا بوده و به خوبی در انواع دستگاه ها و نمایشگرهای مختلف به خوبی نمایش داده خواهد شد. این افزونه دارای ابزارک ها مختلفی نیز می‌‎باشد که از آن ها می‌توانید استفاده کنید. همچنین دارای کدهای کوتاه حرفه ای نیز می‌باشد که به وسیله آن می‌توانید امکانات مختلف را به صفحات خود اضافه کنید. در ادامه می‌توانید ویژگی های دیگر این افزونه را مطالعه کنید.

TeamPress نام افزونه کاربردی و حرفه ای وردپرس می‌باشد که به وسیله آن می‌توانید یک بخش معرفی اعضای تیم و کارمندان خود ایجاد کرده و آن ها را به صورت کاملا حرفه ای معرفی کنید. این افزونه با ایجاد بخشی به عنوان معرفی اعضای تیم، به شما این امکان را می‌دهد تا بتوانید برای وبسایت شرکتی، خدماتی و یا همایش های خود، افراد را معرفی کنید. به طور مثال در همایش ها و کنفرانس های مختلف، اعضای مختلفی همچون داوران و مجریان برگزاری وجود دارند که به وسیله این افزونه می‌توانید به آسانی آن ها را معرفی کنید.

افزونه معرفی اعضای تیم TeamPress به شما این امکان را می‌دهد تا برای هر فرد، تصویر انتخاب کرده و توضیحات مختصری را از عضو مورد نظر قرار دهید. همچنین می‌توانید اطلاعات تماس ، و شبکه های اجتماعی هر کدام از اعضا را قرار دهید. این افزونه دارای بیش از 60 طرح مختلف می‌باشد که بنا به سلیقه خود می‌توانید از آن ها استفاده کنید. این افزونه کاملا واکنش گرا بوده و به خوبی در دستگاه های همراه مانند موبایل و تبلت نمایش داده خواهد شد. همچنین از زبان های راستچین پشتیبانی کرده و به آسانی از آن می‌توانید جهت معرفی اعضای تیم های فارسی زبان استفاده کنید. در ادامه می‌توانید ویژگی های دیگر این افزونه را مطالعه کنید.