17 مشکل رایج نمایه سازی گوگل: نحوه شناسایی و رفع آنها

آیا تا به حال تمام تلاش خود را صرف ایجاد محتوای با کیفیت بالا کرده اید تا متوجه شوید که صفحات وب شما حتی در SERP ها نمایش داده نمی شوند؟ مهم نیست چقدر برای موتورهای جستجو بهینه سازی می کنید، محتوای شما نامرئی باقی می ماند. خسته کننده است، اینطور نیست؟ مشکلات نمایه سازی وب سایت می تواند مقصر باشد. با مراجعه به وبسایت آیسو دیزاین میتوانید از خدمات سئو اصفهان و طراحی سایت اصفهان ما استفاده نمایید.

این راهنما متداول‌ترین مسائلی را که موتورهای جستجو را از فهرست‌بندی صفحات وب‌سایت شما باز می‌دارد، تشریح می‌کند و راه‌حل‌هایی برای رفع آن‌ها ارائه می‌دهد. پرداختن به این چالش های نمایه سازی می تواند اطمینان حاصل کند که وب سایت شما در SERP ظاهر می شود و به پتانسیل کامل خود می رسد.

درک مشکلات نمایه سازی وب سایت

بیایید با اصول اولیه شروع کنیم و زیر و بم فرآیند نمایه سازی را بررسی کنیم.

نمایه سازی نحوه کشف، تجزیه و تحلیل و ذخیره اطلاعات در مورد محتوای وب سایت شما توسط موتورهای جستجو است. اما گوگل چگونه این صفحات را پیدا می کند؟

خزنده‌های وب Google پیوندهای خارجی صفحات وب موجود را دنبال می‌کنند و نقشه‌های سایت را که صاحبان وب‌سایت در آن سایت‌ها ارائه می‌کنند بررسی می‌کنند. این تضمین می‌کند که Google می‌تواند فهرستی از صفحات وب در سراسر وب ایجاد کند.

اگر وب سایت شما دارای مشکلات نمایه سازی باشد، برای موتورهای جستجو نامرئی می شود. این بدان معناست که بازدیدکنندگان بالقوه نمی توانند وب سایت شما را از طریق جستجوهای ارگانیک پیدا کنند.

هنگام تصمیم گیری برای فهرست کردن یک صفحه، الگوریتم های گوگل هر صفحه وب را برای ارتباط و کیفیت تجزیه و تحلیل می کنند. Google طیف وسیعی از عوامل را مشاهده می‌کند، از جمله هدف محتوا، تازگی، وضوح و همسویی با معیارهای EEAT، و همچنین پیوند داخلی، سرعت بارگذاری، تگ‌های متعارف، متا تگ روبات و تگ X-Robots .

کیفیت محتوا یک عامل اصلی است. محتوای با کیفیت پایین به احتمال زیاد نادیده گرفته می شود. برخی از نمونه‌های محتوای بی‌کیفیت عبارتند از محتوایی که ارزش کمی ارائه می‌کند، محتوایی که صرفاً برای دستکاری رتبه‌بندی تولید می‌شود، یا محتوایی که فاقد اصالت/اعتبار/ وضوح/تخصص است. از طرف دیگر، می توانید با ایجاد محتوای با کیفیت بالا که با معیارهای EEAT مطابقت دارد و دارای بک لینک از وب سایت های مربوطه است، قابلیت فهرست بندی و رتبه بندی خود را بهبود بخشید.

مشکلات فنی سئو نیز اغلب باعث مشکلات ایندکس گوگل می شود. فایل‌های Robots.txt که صفحات مهم را مسدود می‌کنند، نقشه‌های سایتی که به درستی پیکربندی نشده‌اند (یا اصلاً نقشه سایت ندارند) می‌توانند موتورهای جستجو را گیج کنند و بر توانایی آن‌ها برای خزیدن و فهرست‌سازی سایت شما تأثیر بگذارند. اقدامات غیراخلاقی SEO مانند پر کردن کلمات کلیدی می تواند سایت شما را جریمه کرده و به طور کلی از SERP ها حذف کند.

در این مقاله، شایع‌ترین علل مشکلات نمایه‌سازی را با جزئیات بررسی می‌کنیم.

چرا برخی از صفحات نباید ایندکس شوند؟ 

اکنون که روشن کردیم که مشکلات نمایه سازی گوگل به حضور، دیده شدن و رتبه بندی کلی وب سایت آسیب می رساند، بیایید در نظر بگیریم که لازم نیست همه صفحات توسط موتورهای جستجو ایندکس شوند. در واقع، برخی از صفحات اگر عمداً از موتورهای جستجو پنهان شوند، سود بیشتری خواهند برد. 

در اینجا چند نوع صفحه وجود دارد که می توانید بدون آسیب رساندن به سئوی خود از فهرست بندی موتورهای جستجو حذف کنید:

1. صفحات پنهان شده در پشت ورود به سیستم.

به سبد خرید آنلاین یا صفحه حساب خود فکر کنید. این صفحات فقط برای چشمان شما در نظر گرفته شده است. موتورهای جستجو کاری ندارند که آنها را بخزند. آنها اغلب پشت ورود به سیستم و رمز عبور پنهان می شوند، که منجر به دریافت پاسخ کد وضعیت «401 غیر مجاز» و نادیده گرفتن محتوای صفحه می شود. 

2. صفحات تکراری یا جایگزین. 

برخی از وب سایت ها حاوی چندین نسخه از یک محتوا هستند که از فیلترها یا گزینه های مرتب سازی ناشی می شود. موتورهای جستجو محتوای منحصربه‌فرد را ترجیح می‌دهند، بنابراین ممکن است تنها یک نسخه (نشانی اینترنتی متعارف) را ایندکس کنند و بقیه را کنار بگذارند. این رفتار کاملاً طبیعی است و هشداری که در GSC برای این صفحات می بینید تأیید می کند که Google صفحه مناسب را پیدا کرده است.

3. جستجو در وب سایت.  

وب سایت ها معمولاً صفحات جستجو را به صورت پویا از جستجوهای کاربر ایجاد می کنند. این صفحات جستجوی تولید شده توسط کاربر به طور کلی ارزش ایندکس شدن را ندارند، زیرا بیشتر شبیه نقشه هستند و به کاربران کمک می کنند محتوای خاصی را در وب سایت پیدا کنند. برای مسدود کردن این صفحات از موتورهای جستجو از یک برچسب “noindex” استفاده کنید. این به نتایج جستجو کمک می کند تا بر محتوای منحصر به فرد و ارزشمند شما تمرکز کنند.

4. صفحات اداری.  

پشتیبان وب سایت شما برای مدیریت محتوا و تنظیمات است و نه برای نمایش عمومی. صفحات مدیریت اغلب توسط فایل‌های robots.txt مسدود می‌شوند، که به موتورهای جستجو می‌گوید آنها را نخزند. هشدارهای مربوط به این موارد جای نگرانی ندارد.

نکته اصلی این است که اگر صفحه‌ای به دلیل موجهی عمداً از موتورهای جستجو مسدود شود، هشدارهای کنسول جستجو نشانه خوبی است. آنها تأیید می کنند که موتورهای جستجو به دستورالعمل های شما احترام می گذارند و بر روی بخش هایی از وب سایت شما تمرکز می کنند که شایسته دیده شدن در SERP ها هستند.

علل احتمالی مشکلات نمایه سازی

عوامل زیادی می توانند از ایندکس کردن صفحات شما توسط موتورهای جستجو جلوگیری کنند. در این بخش، شایع ترین علل را بررسی می کنیم.

محتوای تکراری

داشتن محتوای یکسان یا مشابه در چندین صفحه منجر به کاهش رتبه و ترافیک می شود. این به این دلیل اتفاق می‌افتد که گوگل نمی‌تواند تشخیص دهد که کدام صفحات برای یک جستجوی خاص مرتبط‌تر و ارزشمندتر هستند. نمی داند کدام یک را در اولویت قرار دهد. حتی بدتر از آن، اگر گوگل فکر می کند که محتوای تکراری برای دستکاری نتایج SERP تولید می کنید، ممکن است صفحات شما را به طور کامل از فهرست جستجوی خود حذف کند.

محتوای با کیفیت پایین

کیفیت محتوا برای سال‌ها عامل مهم رتبه‌بندی بوده است، اما معرفی سیستم محتوای مفید اهمیت آن را بسیار افزایش داده است. در حال حاضر، محتوای فاقد اصالت یا مرتبط بودن کمتر احتمال دارد رتبه خوبی داشته باشد یا حتی ایندکس شود. بنابراین، مطمئن شوید که محتوای غیراصلی و نامربوط را که ارزش کمی برای کاربران ارائه می‌کند و/یا با هدف اصلی بهبود رتبه‌بندی ایجاد می‌شود، کاهش دهید. به ویژه، این شامل محتوای تولید شده توسط هوش مصنوعی یا محتوای ترجمه شده از زبان دیگری است که ارزش منحصر به فردی اضافه نمی کند.

توسط robots.txt مسدود شده است

عملکرد اصلی فایل robots.txt این است که به موتورهای جستجو راهنمایی کند که کدام بخش از سایت شما را می توانند و نمی توانند بخزند. وقتی خزیدن را ممنوع می‌کنید، ربات‌های موتور جستجو نمی‌توانند به محتوای شما دسترسی پیدا کرده و فهرست‌بندی کنند. با استفاده از آزمایش‌کننده robots.txt می‌توانید بررسی کنید که آیا آدرس‌های اینترنتی شما توسط فایل robots.txt مسدود شده‌اند یا خیر .

توسط برچسب noindex یا هدر مسدود شده است

همچنین می‌توانید به موتورهای جستجو دستور دهید یک صفحه خاص را با استفاده از متا تگ robots و هدر X-Robots-Tag HTTP فهرست کنند. این برای صفحات خاصی با اطلاعات خصوصی، مناطق مدیریت، محتوای تکراری و سایر صفحات کم ارزش مفید است. هر چند مراقب باشید. اگر این برچسب ها را به صفحات مهم اضافه کنید، به طور کامل از SERP ها محو می شوند.

برچسب های متعارف نادرست

تگ‌های متعارف معمولاً برای نشان دادن اینکه کدام صفحه (از بین صفحاتی که محتوای مشابه یا یکسان دارند) برای اهداف نمایه‌سازی به موتورهای جستجوگر اولویت دارند استفاده می‌شوند. اگر مشخص نکنید کدام URL را اولویت بندی کنید، گوگل به تنهایی تصمیم می گیرد. این ممکن است گاهی منجر به مشکلات شدید برچسب متعارف شود . به عنوان مثال، ممکن است نسخه اشتباه صفحه وب را ایندکس کند. 

مشکلات کد وضعیت HTTP

کدهای وضعیت HTTP در کلاس‌های 4xx و 5xx معمولاً به این معنی است که در دسترسی به محتوا مشکلاتی وجود دارد. وقتی گوگل با خطای 4xx مواجه می شود، محتوای آن صفحه را نادیده می گیرد. این شامل هر محتوایی در URL های قبلاً فهرست شده است که اکنون خطاهای 4xx را نشان می دهد. خطاهای 5xx (مشکلات سرور) ممکن است به طور موقت خزیدن Google را کند کند. اما اگر این مشکلات ادامه پیدا کنند، ممکن است گوگل صفحاتی که قبلا فهرست شده اند را از نتایج جستجوی خود حذف کند.

مشکلات پیوند داخلی

یک ساختار وب سایت محکم با پیوندهای داخلی خوب نه تنها تجربه کاربر را افزایش می دهد، بلکه به Google کمک می کند تا صفحات سایت را بخزد و فهرست کند. مشکلات پیوند داخلی مانند لینک های شکسته یا صفحات یتیم (صفحه هایی که هیچ لینک داخلی به آنها اشاره نمی کند) می تواند موتورهای جستجو را گیج کند و پیدا کردن و درک محتوای شما را برای آنها دشوارتر کند. 

صفحات با بارگذاری آهسته

از آنجایی که گوگل دائماً به دنبال ارائه یک تجربه کاربری مثبت است، این واقعیت که صفحات کم بارگذاری منجر به مشکلات ایندکس می شوند، تعجب آور نیست. زمان بارگذاری آهسته کاربران را ناامید می کند و احتمال خروج آنها را قبل از انجام یک اقدام مهم برای تجارت شما افزایش می دهد. نرخ پرش بالا به Google نشان می دهد که محتوای شما فاقد ارزش یا مرتبط است. زمان بارگذاری کند وب سایت همچنین به امتیازات Core Web Vitals شما آسیب می رساند که مستقیماً بر رتبه بندی جستجو تأثیر می گذارد. برای بررسی سرعت وب سایت خود، می توانید از PageSpeed ​​Insights استفاده کنید .

جاوا اسکریپت، CSS و فایل های تصویری مسدود شده است

جاوا اسکریپت، CSS و فایل های تصویری اطلاعات مهمی در مورد طرح بصری، ویژگی های تعاملی و حتی خود محتوا (مانند تصاویر) ارائه می دهند. منابع مسدود شده می تواند باعث شود که صفحه وب در موتورهای جستجو شکسته به نظر برسد. این امر باعث می شود گوگل نتواند صفحه را به طور کامل ارائه کند. این می تواند منجر به نمایه سازی نادرست و رتبه بندی جستجوی پایین تر شود.

بیش از بودجه خزیدن

هر سایت دارای بودجه خزیدن اختصاصی است (تعداد صفحاتی که ربات ها می توانند در یک بازه زمانی خاص بخزند). بیش از حد بودجه خزیدن ممکن است از خزیدن و فهرست شدن برخی از صفحات شما جلوگیری کند. وب سایت های بزرگ (10000 صفحه یا بیشتر) بیشترین احتمال مواجهه با این مشکل را دارند. 

برای اینکه زیر حد مجاز باقی بمانید، موجودی URL خود را با ادغام محتوای تکراری، علامت گذاری صفحات حذف شده با کد وضعیت 404 یا 410، به روز نگه داشتن نقشه های سایت و اجتناب از زنجیره های تغییر مسیر طولانی مدیریت کنید. همچنین باید وب سایت خود را برای زمان بارگذاری سریع بهینه سازی کنید، دائماً خزیدن آن را برای مشکلات در دسترس بودن کنترل کنید، و با تعیین سطوح اولویت در نقشه های سایت XML، صفحات موجود را اولویت بندی کنید.

وب سایت کاملا جدید

حتی اگر راه‌اندازی وب‌سایت جدید خود را به پایان رسانده باشید، ممکن است Google همچنان برای خزیدن و فهرست کردن آن به زمان نیاز داشته باشد. از آنجایی که گوگل دارای بک لاگ گسترده ای است و وب سایت ها را با سرعت های مختلف می خزند، ممکن است از ساعت ها تا هفته ها طول بکشد تا موتور جستجو وب سایت جدید شما را پیدا کند. 

در این بین، روی سه استراتژی کلیدی تمرکز کنید. ابتدا محتوای مرتبط را به سایت خود اضافه کنید. پس از آن، بهترین شیوه های سئو را در تمام بهینه سازی های خود دنبال کنید. آخرین استراتژی شامل ایجاد بک لینک های با کیفیت از وب سایت های معتبر و معتبر است. این بک لینک های با کیفیت می توانند اهمیت سایت شما را برای گوگل نشان دهند و به طور بالقوه روند خزیدن و نمایه سازی را تسریع کنند.

کد مشکوک

برای درک موضوع سایت شما، گوگل باید بتواند تمام محتوای آن، از جمله متن، پیوندها و قالب بندی را ببیند. در غیر این صورت گوگل نمی تواند آن را به درستی ایندکس کند. اگر به طور عمدی یا ناخواسته دسترسی ربات‌های Google به فایل‌های خود را دشوار می‌کنید (مثلاً از طریق پنهان‌کاری تهاجمی)، این می‌تواند Google را از ایندکس کردن مؤثر سایت شما منصرف کند. اگر هکرها کد وب سایت شما را دستکاری کنند، مانند تزریق اسکریپت های مخرب یا افزودن لینک های مخفی، مشکل حتی جدی تر می شود.

همیشه امنیت وب سایت را در اولویت قرار دهید و کد خود را تمیز و خوانا نگه دارید. نادیده گرفتن این امر می تواند به رتبه بندی جستجوی شما آسیب برساند یا حتی صفحات شما را از فهرست جستجو حذف کند.

جریمه عمل دستی

در حالی که جریمه‌های Google مستقیماً سایت شما را از SERP حذف نمی‌کنند، اقدامات دستی شدید (مثلاً اقدامات مربوط به هرزنامه یا اقدامات فریبنده) می‌تواند باعث حذف فهرست موقت یا دائمی شود. این به این دلیل است که Google تجربه کاربر را در اولویت قرار می دهد و هدف آن محافظت از کاربران در برابر محتوای بالقوه مضر است. به علاوه، محدود کردن نمایه سازی در طول بررسی به Google اجازه می دهد تا شواهد جمع آوری کند و از دستکاری نتایج جستجو توسط مالک وب سایت جلوگیری کند.

مشکلات ایندکس گوگل

اشکالات فنی در انتهای Google می تواند نمایه سازی را به تاخیر بیندازد. این باعث افزایش زمان لازم برای نمایش محتوای شما در SERP ها می شود. به خاطر داشته باشید که GSC داده های خود را از فهرست گوگل دریافت می کند. بنابراین در طول مسائل نمایه سازی، GSC ممکن است اطلاعات ناقص یا نادرست را نشان دهد. هنگامی که این اتفاق می افتد، با بررسی اعلان های Google در مورد مشکل مطلع شوید.

نحوه تشخیص مشکلات نمایه سازی وب سایت

روش های مختلفی وجود دارد که می توانید برای بررسی مشکلات نمایه سازی در وب سایت خود از آنها استفاده کنید. موثرترین آنها استفاده از GSC یا یک پلت فرم سئو قابل اعتماد است . بیایید هر روش را با جزئیات بررسی کنیم.

کنسول جستجوی گوگل

GSC می تواند اطلاعات دقیق SEO را در مورد وضعیت نمایه سازی وب سایت شما ارائه دهد. گزارش پوشش ایندکس آن ( صفحه نمایه سازی) به شما کمک می کند ردیابی کنید که گوگل کدام یک از URL های وب سایت شما را با موفقیت خزیده و فهرست کرده است. همچنین فهرستی از مشکلاتی را که ممکن است مانع از ایندکس شدن صفحات دیگر شود را مشخص می کند.

هنگام کاوش در این گزارش روی URL هایی با وضعیت فهرست نشده تمرکز کنید. برای دیدن بخش «چرا صفحات ایندکس نمی شوند» به پایین بروید . این به شما درک می‌کند که چرا گوگل تصمیم گرفت URL‌های خاصی را فهرست‌بندی نکند.

دلایل زیر رایج ترین هستند:

1. کل صفحات نمایه شده را بدون خطاهای مربوطه کاهش دهید

اگر متوجه شدید که وب سایت شما دارای صفحات ایندکس شده کمتر و پیام خطای جدیدی نیست، ممکن است به طور تصادفی دسترسی Google به برخی از محتوای موجود خود را مسدود کرده باشید. 

این ترفند را امتحان کنید: به دنبال یک جهش در URL های Indexed نشده باشید که همزمان با کاهش صفحات ایندکس شده باشد. این افزایش می‌تواند نشانه‌ای باشد که چیزی مانع از دیدن محتوای شما توسط گوگل می‌شود.

2. بیشتر از صفحات نمایه نشده اند

ممکن است با مواردی برخورد کنید که در آن صفحات بیشتری در نتایج جستجو ظاهر نمی شوند (ایندکس نشده اند) نسبت به صفحاتی که ظاهر می شوند. این معمولا به دو دلیل اتفاق می افتد. اولین مورد این است که سایت شما دارای قانونی است که به طور تصادفی موتورهای جستجو را از خزیدن در بخش های مهم مسدود می کند. دوم این است که سایت شما دارای محتوای تکراری است (مثلاً از گزینه های فیلتر یا مرتب سازی) که موتورهای جستجو آن را کم ارزش تر می دانند.

3. خوشه های خطا

ممکن است گاهی اوقات با یک پرش ناگهانی در خطاها مواجه شوید. این نتیجه از دو مورد زیر است:

• اگر به تازگی طراحی وب سایت خود را به روز کرده اید، ممکن است اشکالی در قالب جدید وجود داشته باشد که باعث این خطاها شده است.
• اگر اخیراً یک نقشه سایت ارسال کرده اید، ممکن است حاوی صفحاتی باشد که Google نمی تواند به آنها دسترسی داشته باشد (زیرا توسط robots.txt مسدود شده اند، با یک برچسب “noindex” پنهان شده اند، نیاز به ورود به سیستم دارند و غیره).

4. 404 خطا

Googlebot ممکن است برای رسیدن به صفحه وب شما مشکل داشته باشد. این معمولاً پس از حذف صفحه از وب‌سایت یا زمانی که پیوند داخلی که به آن اشاره می‌کند شکسته می‌شود (هدایت به صفحه‌ای که وجود ندارد) اتفاق می‌افتد. به همین دلیل، Googlebot نتوانست صفحه شما را پردازش کند و مجبور شد درخواست را رها کند.

5. خطاهای سرور

ربات‌های جستجو برای ایندکس کردن کارآمد وب‌سایت شما نیاز به تعامل صاف با سرور شما دارند. اگر خطاهای سرور رخ دهد، خزنده ها ممکن است آنها را نشانه ای از یک سایت با کیفیت پایین یا ناپایدار ببینند. این می تواند منجر به حذف اولویت وب سایت شما برای نمایه سازی یا حتی حذف کامل از فهرست جستجو شود. 

اگرچه ابزار بازرسی URL می تواند به شما در تشخیص خطاهای سرور گزارش شده توسط گزارش نمایه سازی صفحه کمک کند ، اما این خطاها ممکن است موقتی باشند. این بدان معنی است که تست شما این شانس را دارد که حتی اگر گوگل زودتر با مشکلات سرور مواجه شده باشد.

6. صفحات یا سایت های از دست رفته

در اینجا مواردی وجود دارد که می تواند از نمایش صفحه شما در گزارش نمایه سازی صفحه جلوگیری کند :

• ممکن است گوگل هنوز از صفحات جدید آگاه نباشد (کشف آنها زمان می برد).
• گوگل باید پیوندی به صفحه شما پیدا کند یا نقشه سایتی برای اطلاع از وجود آن ارسال کند.
• ممکن است Google نتواند به صفحه شما دسترسی پیدا کند (لازم است ورود به سیستم، دسترسی مسدود شده و غیره).
• این صفحه ممکن است دارای یک برچسب “noindex” باشد که به طور خاص به گوگل می گوید آن را ایندکس نکند.

به غیر از گزارش نمایه سازی صفحه ، سئوکاران به طور مرتب بخش امنیت و اقدامات دستی را بررسی می کنند . چرا؟ زیرا هر جریمه ای که در آنجا یافت می شود، مانند تاکتیک های هرزنامه یا سوء استفاده از اعتبار سایت، می تواند منجر به کاهش رتبه یا حتی حذف کلی از نتایج جستجو شود.

گزارش اقدامات دستی، مشکلاتی را که توسط بازبین‌های انسانی در Google یافت می‌شود، فهرست می‌کند که معمولاً به تلاش برای فریب دادن سیستم جستجوی Google به جای آسیب رساندن مستقیم به کاربران مربوط می‌شود. از سوی دیگر، گزارش مسائل امنیتی ، درباره هک شدن احتمالی یا محتوای مضر در سایت شما، مانند حملات فیشینگ، نصب بدافزار یا نرم افزارهای ناخواسته در رایانه کاربر هشدار می دهد.

به هر حال، فهرست شدن در هر یک از این گزارش‌ها می‌تواند باعث ایجاد مشکلات قابل توجهی در نمایه‌سازی گوگل برای وب‌سایت شما شود.

خطای تغییر مسیر

در اینجا لیستی از خطاهای تغییر مسیری که ممکن است گوگل در وب سایت شما تشخیص دهد آمده است:

• زنجیره تغییر مسیر خیلی طولانی است
• حلقه تغییر مسیر
• از طول URL تغییر مسیر بیشتر شد
• URL شکسته یا ناقص در زنجیره تغییر مسیر

URL توسط robots.txt مسدود شده است

این خطا به این معنی است که موتورهای جستجو نمی توانند به صفحه خاصی در سایت شما دسترسی پیدا کنند. زمانی اتفاق می افتد که دستورالعمل های داخل فایل robots.txt دسترسی به صفحه را محدود می کند. ممکن است عمدی یا اشتباه در خود فایل باشد.

URL با علامت “noindex”

گوگل با دستورالعمل “noindex” مواجه شد، بنابراین صفحه را در فهرست خود قرار نداد. اگر این همان چیزی است که شما قصد دارید، پس همه چیز همانطور که انتظار می رود کار می کند. اگر می‌خواهید Google صفحه را فهرست کند، این دستورالعمل را حذف کنید.

نرم 404

یک خطای نرم افزار 404 زمانی رخ می دهد که کاربر بر روی یک URL قرار می گیرد که پیامی مبنی بر گم شدن صفحه نمایش داده می شود. در این سناریو صفحه از نظر فنی مطابق با کد موفقیت (200) ارسال شده توسط سرور وجود دارد. این ممکن است به دلایل مختلفی از جمله از دست رفتن فایل های سرور، مشکلات اتصال، صفحات نتیجه جستجوی داخلی، مشکلات فایل های جاوا اسکریپت و موارد دیگر رخ دهد.

به دلیل درخواست غیرمجاز مسدود شد (401)

خطای 401 به این معنی است که Googlebot به یک صفحه وب خاص دسترسی پیدا نکرده است و نیاز به مجوز دارد.

 

یافت نشد (404)

این خطا به این معنی است که گوگل صفحات وب را در سایت شما کشف کرده است که 404 یافت نشد (دیگر وجود ندارند) را برمی گرداند. این URL ها ممکن است از وب سایت های دیگر پیوند داده شده باشند یا قبلاً در سایت شما وجود داشته باشند.

مسدود شده به دلیل دسترسی ممنوع (403)

این کد خطا به این معنی است که عامل کاربر اعتبارنامه ها را ارائه کرده است اما مجوز دسترسی به این منبع را ندارد. از آنجایی که تنظیمات امنیتی وب سایت شما به طور تصادفی Googlebot را از دیدن محتوای شما مسدود می کند، نمی تواند ایندکس شود یا در SERP ها گنجانده شود.

URL به دلیل مشکل 4xx دیگر مسدود شده است

این خطا به این معنی است که صفحه وب شما تحت تأثیر یکی از کدهای پاسخ HTTP 4xx غیر از 401، 403، 404 یا Soft 404 قرار گرفته است.

خزیده شده – در حال حاضر نمایه نشده است

همانطور که از نام این خطا پیداست، URL خزیده شده است اما هنوز به فهرست جستجوی گوگل اضافه نشده است. گوگل برای اولویت بندی صفحاتی که باید فهرست شوند زمان می برد، بنابراین صفحه شما ممکن است منتظر نوبت خود باشد.

کشف شده – در حال حاضر نمایه نشده است

این خطا نشان می دهد که Google صفحه وب شما را کشف کرده است اما هنوز آن را خزیده یا فهرست نکرده است. این خطا معمولاً زمانی رخ می دهد که Google خزیدن را مجدداً برنامه ریزی می کند، اغلب برای جلوگیری از بارگذاری بیش از حد وب سایت.

صفحه جایگزین با برچسب متعارف مناسب

URL بازگرداننده این پیام ایندکس نمی شود زیرا تکراری از یک صفحه متعارف است.

ایندکس شده، اگرچه توسط robots.txt مسدود شده است

حتی اگر این URL را با استفاده از فایل robots.txt مسدود کردید، همچنان در SERP ها ظاهر می شود. در حالی که موتورهای جستجو معمولاً دستورالعمل‌های robots.txt را دنبال می‌کنند، اگر صفحه شما توسط وب‌سایت‌های دیگر پیوند داده شده باشد، همچنان می‌توانند آن را پیدا کنند. گوگل ممکن است مستقیماً صفحه مسدود شده را نخزد، اما می‌تواند از اطلاعات سایت‌هایی استفاده کند که به آن پیوند می‌دهند تا بفهمد صفحه مسدود شده شما در مورد چیست و آن را در SERP ها بگنجاند.

صفحه بدون محتوا ایندکس شده است

این خطا به این معنی است که URL در فهرست جستجوی گوگل فهرست شده است، اما گوگل هیچ اطلاعاتی در مورد آن پیدا نکرده است. این خطا ممکن است به دلایل زیر رخ دهد:

• پنهان کاری
• محتوای کافی نیست
• محتوای مسدودکننده رندر که به درستی بارگیری نمی شود