خطای soft 404؟ چطور خطای Soft 404 را رفع کنیم؟

هنگام کار روی سئوی هر سایت باید به خیلی چیزها توجه داشته باشید. از مسائل فنی سایت گرفته تا محتوایی که در آن منتشر می‌کنید. چراکه هر اشتباه هرچند کوچک، ممکن است مشکلات شدیدی برای سایت موردنظر ایجاد کند. از جمله این مسائل خطای 404 است که تقریبا باعث نابود شدن یک صفحه از سایت شما می‌شود.

مشکلی که هم بین مرورگر و سرور سایت اتفاق می‌افتد و هم بین سایت و خزنده‌های گوگل رقم می‌خورد و به عنوان ارور soft 404 شناخته می‌شود. ارور soft 404 موضوعی است که در این مقاله از سایت سئووبتیمایزر به آن می‌پردازیم. اگر شما هم می‌خواهید بدانید ارور soft 404 چیست و چگونه باید از بروز آن جلوگیری کنید، خواندن این مقاله را از دست ندهید.

برای دانستن اینکه ارور soft 404 چیست، ابتدا باید درمورد کدهای پاسخی که سرورها برای مرورگرها می‌فرستند، بدانید. موضوع از این قرار است که هر بار شما برای باز کردن صفحه‌ای از یک وب‌سایت اقدام می‌کنید، ابتدا درخواستی از طریق مرورگر به سرور سایت ارسال می‌شود. سپس این درخواست در سرور سایت بررسی شده و پاسخ متناسب آن به مرورگر شما فرستاده می‌شود. این پاسخ شامل یک کد در هدرهای http است که برخی موارد در مرورگر نمایش داده می‌شود و در برخی موارد هم نمایش داده نمی‌شود.

کدهای پاسخ مختلف و زیادی وجود دارند که سرورها برای اعلام وضعیت بارگذاری صفحه به مرورگر می‌فرستند، از جمله پرکاربردترین و رایج‌ترین آن‌ها کد پاسخ 404 است. به طور کلی همه کدهای بین 400 تا 409 نشان‌دهنده این هستند که صفحه موردنظر بارگذاری نشده است. اما در بین آن‌ها، کد 404 تنها کدی است که معنایی خاص در بر دارد و اعلام می‌کند صفحه موردنظر در حال حاضر وجود نداشته و احتمالا به ‌زودی هم قرار نیست برگردد.

حالا می‌توانیم به سراغ پاسخ سوال ارور soft 404 چیست؟، برویم. نکته‌ای که باید حتما مدنظر داشته‌ باشید این است که ارور soft 404 جزو کدهای پاسخ رسمی که سرور برای مرورگر می‌فرستد، نیست. بلکه یک برچسب است که گوگل هنگام ایندکس ‌کردن برخی صفحات روی آن‌ها قرار می‌دهد. گوگل این کار را انجام می‌دهد تا از تلف‌ کردن منابع خود جلوگیری کند.

از آنجا که روزانه هزاران صفحه به فضای وب اضافه می‌شود و خزنده‌های گوگل باید آن‌ها را ایندکس کنند، گوگل به شدت سعی می‌کند به دقت منابع خود را مدیریت کند تا برای ایندکس ‌کردن صفحاتی که وجود ندارند، وقت خود را هدر ندهد. به همین دلیل صفحاتی را که به عنوان 404 تشخیص می‌دهد، با برچسب داخلی soft 404 مشخص می‌کند.

چرا خطای soft 404 اتفاق می‌افتد؟

در میان سرورهای اینترنتی، برخی هستند که به طور صحیح پیکربندی نشده‌اند و ممکن است برای صفحاتی که وجود ندارند، به جای کد 404، کد 200 ارسال کنند. هنگامی که برای صفحه‌ای کد 200 ارسال شود، حتی اگر به ‌طرز مشخصی صفحه وجود نداشته باشد، باز هم توسط خزنده‌های گوگل ایندکس شده و باعث می‌شود منابع گوگل هدر روند.

اما گوگل هم بیکار ننشسته و برای مقابله با این معضل، راه حل‌هایی را در نظر گرفته‌است. گوگل برای حل این مشکل، ویژگی‌های صفحه 404 را ضبط کرده و سعی می‌کند با استفاده از آن‌ها بفهمد کدام صفحات واقعا در دسته صفحات 404 قرار می‌گیرند. به عبارت دیگر گوگل می‌داند صفحاتی که 404 هستند، چه ویژگی‌هایی دارند و چه رفتارهایی انجام می‌دهند.

در نتیجه خودش می‌تواند چنین صفحاتی را تشخیص دهد. در سمت دیگر ماجرا هم ممکن است اشتباهاتی رخ دهد. آن هم در حالتی که یک صفحه واقعا وجود داشته باشد اما گوگل آن را 404 تشخیص دهد. از آنجا که گوگل خودش مشخصات صفحات را برای تشخیص 404 بودن آن‌ها بررسی می‌کند، این احتمال وجود دارد که صفحه‌ای واقعا وجود داشته‌ باشد اما مشخصات موردنظر گوگل در آن وجود داشته و به عنوان صفحه 404 در نظر گرفته شود.

ویژگی صفحات دارای soft 404

نداشتن محتوا یا کم بودن محتوای یک صفحه از جمله مهم‌ترین ویژگی‌هایی است که گوگل آن را بررسی می‌کند. همچنین وجود صفحات مشابه به تعداد زیاد در یک سایت می‌تواند باعث شود گوگل تعدادی از آن‌ها را به عنوان 404 در نظر بگیرد. این ویژگی‌ها نه ‌تنها در بحث صفحات 404 مورد توجه گوگل قرار دارند، بلکه توسط الگوریتم پاندای گوگل هم به شدت مورد بررسی قرار می‌گیرند. در به‌روزرسانی‌های پاندا همواره صفحاتی با محتوای کم و صفحات تکراری با افت رتبه مواجه هستند. از این‌رو با برطرف ‌کردن مشخصاتی که منجر به بروز خطای soft 404 می‌شوند، می‌توانید مشکلات مربوط به الگوریتم پاندا را هم رفع کنید.

اگر می‌خواهید بدانید علت وقوع ارور soft 404 چیست؟ باید اشاره کنیم که دو عامل مهم منجر به بروز این ارور می‌شوند. یکی اشتباه در لینک ‌دادن به صفحات است که باعث می‌شود کاربران به صفحه‌ای که وجود ندارد، هدایت شوند. دیگری هم صفحاتی است که وجود داشته‌اند اما در حال حاضر به دلایلی ناپدید شده‌اند. در ادامه این دو مشکل را بررسی می‌کنیم.

خطا در لینک دادن

اگر بروز ارور 404 soft ناشی از اشتباه در لینک صفحات باشد، فقط کافی است لینک‌های سایت را اصلاح کنید. قسمت سخت این کار پیدا کردن همه لینک‌های شکسته در یک سایت است. این کار مخصوصا وقتی می‌تواند چالش‌برانگیز باشد که سایتی داشته ‌باشید شامل هزاران یا میلیون‌ها صفحه با ساختاری پیچیده از لینک‌های داخلی. البته در موارد این‌چنینی ابزارهای خزش در دسترس هستند که به شما در پیدا کردن لینک‌ها و صفحات کمک می‌کنند. ابزارهایی مثل Xenu و DeepCrawl و Screaming Frog و  Botify.

صفحاتی که دیگر وجود ندارند

وقتی با لینکی مواجه هستید که صفحه آن دیگر وجود ندارد، دو راه حل پیش روی شما است:

• در حالتی که صفحه به طور تصادفی حذف شده، آن را بازگردانید.
• درحالتی که صفحه را با هدف خاصی حذف کرده‌اید، باید لینک آن را به یک صفحه دیگر که محتوایی نزدیک به همین صفحه دارد، ریدایرکت 301 کنید.

در قدم اول شما باید همه خطاهای لینک‌دهی سایت خود را پیدا کنید. همانطور که گفتیم ابزارهایی برای این کار وجود دارد که می‌توانید از آن‌ها استفاده کنید. البته این ابزارها در یافتن صفحات یتیم به شما کمکی نمی‌کنند. صفحات یتیم صفحاتی هستند که از هیچ صفحه دیگر یا از منوهای هدایت‌کننده کاربران لینک نگرفته‌اند و تک و تنها به صورت یک جزیره متروک مانده‌اند.

چنین صفحاتی معمولا وقتی ایجاد می‌شوند که شما سایت خود را از نو طراحی کنید و در ساختار جدید، لینک داخلی برای برخی صفحات در نظر نگیرید. ممکن است همچنان لینک‌های خارجی به این صفحات وجود داشته باشند اما هیچ لینک داخلی نداشته باشد. به هرحال برای چک ‌کردن وجود چنین صفحاتی ابزارهای زیادی وجود دارد. اما پس از بررسی ویژگی صفحات 404  soft، در ادامه ابزارهایی که می‌توانند برای یافتن این صفحات به کار روند را بررسی می‌کنیم:

گوگل سرچ کنسول

یاور همیشگی سئوکارها در این مورد هم می‌تواند به کمک بیاید و دقیقا همان صفحاتی که خزنده‌های گوگل به عنوان ارور 404 soft در نظر گرفته‌اند را به شما نشان دهد. سرچ کنسول همچنین لینک‌های خارجی که به صفحات سایت شما داده شده را هم نشان می‌دهد. بدین ترتیب می‌توانید لینک‌هایی که به صفحات 404 شما داده شده را پیدا کنید.

گوگل آنالیتیکس

به‌طور پیش‌فرض گزارشی برای صفحات 404 در گوگل آنالیتیکس وجود ندارد. اما راه‌هایی برای ردیابی آن‌ها وجود دارد. یک راه این است که یک گزارش اختصاصی ایجاد کنید و صفحاتی با عنوان « Error 404 – Page Not Found» را در آن قرار دهید. راه دیگر هم این است که یک گروه محتوایی اختصاصی بسازید و همه صفحات 404 را در آن قرار دهید.

دستورات جستجوی گوگل

با وارد کردن عبارت site:example.com در جستجوی گوگل، کلیه صفحات سایت موردنظر که توسط گوگل ایندکس شده‌اند، برای شما نمایش داده می‌شود. بدین ترتیب می‌توانید تک تک این صفحات را بررسی کنید و ببینید که آیا بارگذاری می‌شوند یا دچار خطای 404 شده‌اند.

ابزارهای جستجوی بک لینک

ابزارهای پیدا کردن بک‌لینک‌های سایت مثل Majestic ،Ahrefs ،Moz ،Sistrix ،LinkResearch Tools و CognitiveSEO هم می‌توانند در این زمینه به شما کمک کنند. این ابزارها لیستی از لینک‌هایی که به دامنه سایت شما داده ‌شده را نمایش می‌دهند. از این لیست می‌توانید کلیه صفحاتی را که لینک گرفته‌ اما به عنوان صفحه 404 نمایش داده می‌شوند، پیدا کنید.

نحوه رفع خطای soft 404

ابزارهای خزش نمی‌توانند ارور 404 soft را نمایش دهند زیرا این ارور یک خطای 404 واقعی نیست. اما می‌توانید از راه‌های دیگری برای تشخیص آن و برطرف ‌کردن ایرادات موجود استفاده کنید. در ادامه نحوه رفع خطای soft 404 را بررسی می‌کنیم.

محتوای کم

برخی از ابزارهای خزش نه ‌تنها صفحات با محتوای کم را به شما گزارش می‌دهند بلکه تعداد کلمات هر کدام از صفحات را هم نمایش می‌دهند. همچنین می‌توانید صفحات را بر اساس تعداد کلمات محتوای آن‌ها رتبه‌بندی کرده و صفحاتی که کمترین میزان محتوا را دارند، مشخص کنید. سپس باید نسبت به بررسی این صفحات برای کم‌ بودن یا کافی ‌بودن محتوای آن اقدام کنید.

محتوای تکراری

ابزارهای خزش به اندازه کافی قدرت دارند که مشخص کنند چند درصد از محتوای صفحه شما شبیه محتوای صفحات دیگر است. در صورتی که تعداد صفحات با محتوای مشابه زیاد بود و همچنین حجم محتوای تکراری صفحات بالا بود، باید نسبت به تغییر محتوای تکراری اقدام کنید. همچنین از سرچ کنسول گوگل هم از قسمت crawl errors می‌توانید صفحاتی که ارور 404 soft دارند را پیدا کنید.

ترکیب کردن صفحات

در برخی موارد مشکل کم ‌بودن محتوا به این دلیل ایجاد می‌شود که موضوع آن خیلی خاص است و حرف زیادی برای گفتن وجود ندارد. در چنین مواردی راهی که برای حل خطای soft 404 می‌توانید استفاده کنید، ترکیب‌ کردن صفحات با محتوای مشابه است. بدین ترتیب می‌توانید چند صفحه که موضوعی مشابه دارند اما محتوای چندانی  ندارند را یکی کنید و صفحه‌ای با محتوای قوی بسازید. با کمک این روش حتی می‌توانید مشکل محتوای تکراری این صفحات را هم برطرف کنید.

برای مثال فرض کنید سایت شما یک فروشگاه اینترنتی کفش است. در فروشگاه کفش از هر مدل کفش، رنگ‌ها و سایزهای مختلفی وجود دارد که ممکن است برای هرکدام از آن‌ها یک صفحه جداگانه ایجاد کنید. اما رویکرد مناسب‌تر این است که برای هر مدل کفش تنها یک صفحه بسازید و رنگ و سایزهای آن را جزو گزینه‌های قابل انتخاب آن قرار دارید. بدین ترتیب یک صفحه قوی برای مدل کفش موردنظر خواهید داشت، نه صفحاتی با محتوای تکراری دارید و نه صفحاتی با محتوای کم.

رفع مشکلات فنی

با استفاده از ساده‌ترین ابزارهای خزش صفحات مثل Xenu هم می‌توانید مشکلات فنی که صفحات تکراری می‌سازند را پیدا کنید. علاوه بر این با بررسی آدرس URL صفحات هم می‌توانید صفحات تکراری را پیدا کنید. این مشکلات فنی شامل مواردی مثل آدرس صفحه با WWW یا بدون WWW و آدرس صفحه با HTTP یا با HTTPS و مواردی مشابه است.

تفاوت خطای soft 404 با ارور 404

برای درک اینکه تفاوت ارور 404 با خطای soft 404 چیست؟، باید گفت خطای soft 404 در واقع یک ارور 404 واقعی نیست. بلکه برچسبی است که گوگل برای برخی صفحات در نظر می‌گیرد. به هرحال گوگل صفحاتی که شامل این ارور می‌شوند را به عنوان صفحات 404 در نظر می‌گیرد که قرار نیست به زودی ایرادشان برطرف شود. به همین دلیل بهتر است همیشه حواستان به صفحات مختلف سایت باشد و قبل از اینکه گوگل آن‌ها را به عنوان 404 SOFT در نظر بگیرد، نسبت به تشخیص و رفع ایراد آنها اقدام کنید.

جمع‌بندی

در این مقاله تلاش کردیم بفهمیم خطای soft 404 چیست و چگونه می‌توان از وقوع آن جلوگیری کرد؟ این ارور یکی از حالت‌هایی است که می‌تواند ضربه زیادی به جایگاه یک یا چند صفحه از سایت بزند و باید حتما از وقوع آن جلوگیری کنید. نکته مهم در مورد تفاوت خطای soft 404 با ارور 404 این است که خطای soft 404 توسط گوگل تشخیص داده و اجرا می‌شود. به همین دلیل ممکن است به‌طورکلی از چشم مدیر سایت دور بماند. ازاین‌رو برای مقابله با آن باید همواره صفحات سایت خود را زیرنظر داشته ‌باشید.

سئوالات پرتکرار