ارور Submitted URL blocked by robots.txt

مدت زمان خواندن: 5 دقیقه

ارور Submitted URL blocked by robots.txt | پرشین اتومات

مقدمه
آموزش و مراحل
نکات تخصصی
سوالات متداول
جمع‌بندی

بسیاری از وب‌مستران و دیجیتال مارکترها هنگام بررسی گوگل سرچ کنسول سایت‌شان با ارور Submitted URL blocked by robots.txt مواجه می‌شوند؛ این خطا نشانه آن است که بعضی صفحات سایت به دلیل پیکربندی نامناسب فایل robots.txt توسط موتور جستجوگر ایندکس نمی‌شوند و عملاً از نمایش در نتایج گوگل محروم خواهند شد. اگر همین الآن دنبال رفع این مشکل و تأثیر آن بر سئوی سایت خود هستید، دقیقا جای درستی آمده‌اید؛ چون راهکارهای واقعی و قابل اجرا را همین‌جا می‌خوانید تا به سرعت نتیجه بگیرید.

آموزش ارور Submitted URL blocked by robots.txt

مراحل گام‌به‌گام رفع مشکل با یک مثال واقعی

برای آموزش عملی، فرض کنید سایت شما www.example.com دارای چند صفحه خدمات است که قصد ایندکس شدن آن‌ها را دارید اما با اعلام ارور Submitted URL blocked by robots.txt مواجه می‌شوید.

مرحله ۱: به گوگل سرچ کنسول بروید و در بخش Coverage، لیست صفحاتی که این ارور را دریافت کرده‌اند پیدا کنید. روی پیام خطا کلیک کنید تا جزئیات صفحات مسدود شده نمایش داده شود.

مرحله ۲: فایل robots.txt سایت را در مسیر اصلی یعنی www.example.com/robots.txt بیابید. دستورها را بررسی کنید؛ معمولاً خطا زمانی رخ می‌دهد که یا به صورت تصادفی کل صفحات یا مسیر خاصی را به کمک دستور Disallow مسدود کرده‌اید. برای مثال:

User-agent: *
Disallow: /services/

در این حالت، کل پوشه services توسط گوگل بوت قابل خزیدن نیست و هر URL داخل این مسیر دچار مشکل می‌شود.

مرحله ۳: اگر مسیر خاصی را اشتباه مسدود کرده‌اید، دستور Disallow را حذف یا تغییر دهید. اگر می‌خواهید به گوگل اجازه دهید فقط برخی صفحات مهم ایندکس شوند، می‌توانید از Allow استفاده کنید:

User-agent: Googlebot
Allow: /services/page1
Disallow: /services/

مرحله ۴: بعد از اصلاح، با ابزار robots.txt Tester گوگل یا افزونه‌هایی مثل Rank Math بررسی کنید که URLهای مورد نظر قابل خزیدن باشند. آدرس problematic page را وارد و تست بزنید تا نتیجه را ببینید.

مرحله ۵: پس از اطمینان، فایل robots.txt را ذخیره و آپلود کنید. سپس در سرچ کنسول روی Validate Fix بزنید تا گوگل وضعیت جدید را پردازش کند.

    نکته آموزشی: اغلب وب‌مستران به علت استفاده از قالب‌ها و افزونه‌ها بدون بررسی خروجی robots.txt دچار مسدود شدن مسیرهایی مثل /wp-admin یا حتی پوشه‌های مقالات می‌شوند. همیشه بعد از هر بروزرسانی بزرگ و نصب افزونه، فایل robots.txt را کنترل کنید تا دستورات Disallow ناخواسته ایجاد نشده باشد و فهرست صفحات مهم سایت بدون مانع باشند.
  

سوالات متداول

چرا ارور Submitted URL blocked by robots.txt باعث افت سئو سایت می‌شود؟

این ارور مانع دیده شدن صفحات توسط گوگل می‌شود؛ در نتیجه هیچگونه ترافیک جستجو برای آن صفحات دریافت نمی‌کنید و ارزش سئویی سایت شما پایین می‌آید.

آیا می‌توان برخی صفحات را عمداً در robots.txt مسدود کرد؟

بله. برای جلوگیری از ایندکس صفحات بی‌اهمیت مثل پنل مدیریت یا صفحات شخصی، مجاز است و حتی توصیه می‌شود که با Disallow آن‌ها را مسدود کنید.

چطور مطمئن شوم مشکل کاملاً رفع شده است؟

پس از اعمال تغییرات و ثبت در سرچ کنسول، مجدد status صفحات را بررسی کنید و اگر ارور Submitted URL blocked by robots.txt نشان داده نمی‌شود، رفع مشکل تأیید شده است.

جمع‌بندی

ارور Submitted URL blocked by robots.txt یکی از اصلی‌ترین دلایل ایندکس نشدن صفحات مهم وب‌سایت است و رفع آن اهمیت مستقیم بر اعتبار سئوی سایت دارد. با یادگیری مراحل رفع دقیق و رعایت کنترل دوره‌ای فایل robots.txt، می‌توانید از بروز این خطا جلوگیری کنید و مطمئن باشید تمام صفحات ارزشمند شما به‌درستی توسط گوگل دیده می‌شوند.

اگر می‌خواهید برای سایت خود محتوای حرفه‌ای تولید کنید، همین حالا با پرشین اتومات تماس بگیرید.