سایتتان را راهاندازی کردهاید، صفحات و مقالات مختلفی منتشر کردهاید، اما وقتی نام سایت یا موضوع صفحات را در گوگل جستجو میکنید خبری از آنها نیست. در چنین شرایطی معمولاً اولین سؤال این است: چرا سایت من در گوگل نمایش داده نمیشود؟این مشکل میتواند از یک تنظیم ساده در وردپرس شروع شود و تا مشکلات فنی مانند noindex، فایل Robots.txt، تگ Canonical، خطاهای سرور یا حتی کیفیت و ساختار محتوا ادامه پیدا کند.نکته مهم این است که نمایش داده نشدن یک صفحه در نتایج گوگل همیشه به یک معنی نیست. گاهی صفحه اصلاً ایندکس نشده است و گاهی صفحه ایندکس شده اما برای عبارت موردنظر شما رتبه مناسبی ندارد.در این راهنما قدمبهقدم یاد میگیریم چگونه تفاوت این دو حالت را تشخیص دهیم، علت ایندکس نشدن صفحات سایت را پیدا کنیم و مشکل را از روش اصولی برطرف کنیم.
ایندکس شدن سایت در گوگل یعنی چه؟
قبل از بررسی مشکل باید بدانیم ایندکس دقیقاً چیست.گوگل به کمک رباتهای خود صفحات وب را پیدا میکند، محتوای آنها را بررسی میکند و در صورت مناسب بودن، اطلاعات صفحه را در سیستم خود ذخیره میکند. به این فرایند Indexing یا ایندکس شدن گفته میشود.اگر صفحهای در ایندکس گوگل قرار نداشته باشد، عملاً نمیتواند بهصورت عادی در نتایج Google Search ظاهر شود.البته منتشر کردن یک صفحه به این معنی نیست که گوگل الزاماً آن را فوراً ایندکس میکند. گوگل اعلام کرده که معمولاً صفحات سایتها را بهصورت خودکار پیدا میکند، اما ممکن است بعضی سایتها یا صفحات از فرایند کشف یا ایندکس جا بمانند.
اول مشخص کنید مشکل ایندکس است یا رتبه
این یکی از اشتباهات رایج صاحبان سایت است.فرض کنید مقالهای با عنوان «آموزش طراحی سایت وردپرس» منتشر کردهاید و هنگام جستجوی همین عبارت، صفحه خودتان را در نتایج نمیبینید.این موضوع الزاماً به معنی ایندکس نشدن مقاله نیست.ممکن است مقاله در گوگل ایندکس شده باشد اما در صفحه پنجم یا دهم نتایج قرار گرفته باشد.برای بررسی اولیه میتوانید آدرس دقیق صفحه را در Google Search Console و بخش URL Inspection وارد کنید.اگر Search Console نشان دهد URL در Google قرار دارد، مشکل شما بیشتر به رتبهبندی و سئو صفحه مربوط است، نه Indexing.
جستجوی زیر هم میتواند یک بررسی سریع اولیه باشد:
site:example.com
اما توجه داشته باشید که خود گوگل تأکید میکند اپراتور :site الزاماً همه URLهای ایندکسشده را نمایش نمیدهد. بنابراین برای تشخیص دقیق، Search Console گزینه مطمئنتری است.
چرا سایت در گوگل نمایش داده نمیشود؟
دلایل مختلفی میتوانند باعث ایندکس نشدن سایت شوند. در ادامه مهمترین موارد را از سادهترین تا مشکلات فنیتر بررسی میکنیم.
1. سایت یا صفحه روی Noindex قرار گرفته است
یکی از اولین مواردی که باید بررسی کنید وجود دستور noindex است.
اگر در کد صفحه عبارت زیر وجود داشته باشد:
<meta name=”robots” content=”noindex”>
شما عملاً به موتور جستجو اعلام کردهاید که این صفحه نباید در نتایج جستجو نمایش داده شود.گوگل نیز اعلام میکند اگر Googlebot یک دستور معتبر noindex را روی صفحه مشاهده کند، آن صفحه از نتایج Google Search حذف میشود.این مشکل در سایتهای وردپرسی نسبتاً رایج است؛ مخصوصاً زمانی که سایت ابتدا روی محیط آزمایشی ساخته شده و بعد از انتقال به دامنه اصلی، تنظیمات مربوط به جلوگیری از ایندکس فراموش شدهاند.
در وردپرس چه چیزی را بررسی کنیم؟
به مسیر زیر بروید:
پیشخوان → تنظیمات → خواندن
و مطمئن شوید گزینه مربوط به جلوگیری از بررسی سایت توسط موتورهای جستجو فعال نباشد.
همچنین اگر از افزونههایی مثل Rank Math یا Yoast استفاده میکنید، تنظیمات Robots صفحه را بررسی کنید تا مقاله یا برگه موردنظر روی noindex قرار نگرفته باشد.
2. فایل Robots.txt دسترسی گوگل را مسدود کرده است
فایل robots.txt مشخص میکند موتورهای جستجو اجازه دسترسی به کدام بخشهای سایت را دارند.
برای مثال اگر اشتباهاً چنین دستوری در فایل قرار داده باشید:
User-agent: *
Disallow: /
ممکن است دسترسی خزندهها به کل سایت را محدود کنید.
اما یک نکته فنی مهم وجود دارد: Robots.txt ابزار اصلی برای حذف یک صفحه از نتایج گوگل نیست. گوگل توضیح میدهد که حتی URL مسدودشده در Robots.txt ممکن است در شرایطی از طریق لینکهای دیگر کشف شود و URL آن در نتایج ظاهر شود، هرچند گوگل قادر به بررسی محتوای صفحه نباشد.بنابراین Robots.txt را بیشتر باید بهعنوان ابزاری برای مدیریت Crawl در نظر گرفت، نه روشی برای Noindex کردن صفحات.
3. گوگل هنوز صفحه را پیدا نکرده است
گاهی هیچ خطای فنی خاصی وجود ندارد؛ گوگل هنوز از وجود صفحه مطلع نشده است.
این اتفاق بیشتر در سایتهای جدید دیده میشود؛ بهخصوص زمانی که:
- دامنه تازه راهاندازی شده است.
- سایت لینک خارجی زیادی ندارد.
- صفحه از بخشهای دیگر سایت لینک داخلی دریافت نکرده است.
- Sitemap مناسبی وجود ندارد.
- صفحه در ساختار سایت عملاً مخفی مانده است.
گوگل URLهای جدید را از روشهای مختلفی مثل لینکها و Sitemap پیدا میکند.به همین دلیل یک صفحه مهم نباید بهصورت Orphan Page یا صفحه یتیم باقی بماند.گوگل در راهنمای خود توصیه میکند صفحات مهم سایت از طریق لینکهای قابل Crawl از صفحات دیگر قابل دسترسی باشند.
راه حل چیست؟
برای صفحه جدید حداقل یک لینک داخلی طبیعی از یک صفحه مرتبط ایجاد کنید.همچنین مطمئن شوید URL در Sitemap سایت قرار دارد.
4. Sitemap سایت مشکل دارد
XML Sitemap فایلی است که URLهای مهم سایت را به موتورهای جستجو معرفی میکند.وجود Sitemap مخصوصاً برای سایتهای بزرگ، سایتهای جدید یا سایتهایی که لینک خارجی محدودی دارند میتواند به کشف بهتر صفحات کمک کند.
اما اینجا یک تصور اشتباه وجود دارد: قرار گرفتن URL در Sitemap به معنی تضمین ایندکس نیست.
- گوگل صراحتاً میگوید Sitemap به پیدا کردن URLها کمک میکند، اما تضمین نمیکند تمام URLهای موجود در آن Crawl یا Index شوند.
- بنابراین اگر صفحه در Sitemap وجود دارد اما ایندکس نشده، باید دلایل دیگر را هم بررسی کنید.
- در Google Search Console وارد قسمت Sitemaps شوید و وضعیت Sitemap را بررسی کنید.
5. تگ Canonical به صفحه دیگری اشاره میکند
Canonical یکی دیگر از دلایل مهمی است که میتواند باعث شود URL موردنظر شما در نتایج ظاهر نشود.
فرض کنید دو صفحه مشابه دارید و در صفحه A چنین Canonicalی قرار دادهاید:
rel=”canonical” → Page B
در این حالت به گوگل سیگنال میدهید که نسخه اصلی محتوا Page B است.همچنین ممکن است شما Canonical صحیحی تعریف کرده باشید اما گوگل بر اساس سیگنالهای مختلف، URL دیگری را بهعنوان نسخه اصلی انتخاب کند. گوگل توضیح میدهد که Canonical انتخابی سیستم ممکن است با Canonical پیشنهادی مدیر سایت متفاوت باشد.
برای تشخیص این مشکل وارد URL Inspection شوید و دو مورد زیر را بررسی کنید:
- User-declared canonical
- Google-selected canonical
اگر این دو متفاوت هستند، باید دلیل تفاوت را بررسی کنید.
6. صفحه خطای HTTP یا Soft 404 دارد
صفحهای که برای کاربر باز میشود الزاماً از دید موتور جستجو سالم نیست.ممکن است URL از نظر ظاهری صفحهای نمایش دهد اما سرور پاسخ اشتباهی برگرداند.برای صفحات سالم معمولاً انتظار داریم سرور پاسخ موفق مثل 200 OK ارائه کند.
در مقابل خطاهایی مثل:
- 404
- 410
- 5xx
یا بعضی Redirectهای اشتباه میتوانند روی Crawl و Index تأثیر بگذارند.یکی دیگر از مشکلات مهم Soft 404 است.Soft 404 زمانی رخ میدهد که سرور وضعیت 200 برمیگرداند اما محتوای صفحه عملاً نشاندهنده نبودن محتوا یا یک صفحه خطا است.گوگل اعلام کرده صفحات تشخیص دادهشده بهعنوان Soft 404 ممکن است از Search کنار گذاشته شوند و این وضعیت در گزارش Page Indexing قابل مشاهده است.بنابراین صرف اینکه URL در مرورگر باز میشود کافی نیست؛ وضعیت پاسخ سرور هم باید بررسی شود.
7. محتوای صفحه ارزش کافی ندارد
ایندکس شدن فقط یک مسئله فنی نیست.
گاهی تمام تنظیمات صحیح هستند:
صفحه Crawl میشود، Noindex ندارد، Robots.txt آن را مسدود نکرده و Sitemap نیز درست است؛ اما صفحه همچنان ایندکس نمیشود.
در این شرایط باید خود محتوا را بررسی کنید.
برای مثال:
صفحه محتوای بسیار کمی دارد.
محتوای آن تفاوت خاصی با صفحات دیگر ندارد.
چند صفحه مشابه برای یک موضوع ساخته شده است.
صفحه صرفاً مجموعهای از متنهای عمومی و تکراری است.
ارزش مشخصی برای کاربر ایجاد نمیکند.
در چنین شرایطی بهجای اینکه دائماً دکمه Request Indexing را فشار دهید، بهتر است صفحه را از نظر کیفیت، هدف جستجو و ارزش محتوایی بازبینی کنید.حتی دریافت پاسخ 200 از سرور نیز تضمینکننده ایندکس شدن نیست. گوگل توضیح میدهد که وضعیت موفق HTTP فقط صفحه را وارد مراحل پردازش میکند و ایندکس شدن همچنان تضمینشده نیست.
8. لینکسازی داخلی ضعیف است
یکی از مواردی که معمولاً کمتر مورد توجه قرار میگیرد، ساختار لینک داخلی سایت است.اگر یک مقاله منتشر کردهاید اما هیچ صفحه دیگری به آن لینک نمیدهد، پیدا کردن آن برای موتور جستجو دشوارتر میشود.
لینک داخلی علاوه بر انتقال کاربر بین صفحات، به گوگل کمک میکند:
صفحات جدید را پیدا کند.
ارتباط موضوعی صفحات را بفهمد.
ساختار سایت را بهتر درک کند.
اهمیت نسبی صفحات را تشخیص دهد.
بنابراین صفحات مهم سایت باید در ساختار منطقی لینکسازی داخلی قرار داشته باشند.
9. سایت یا صفحه به JavaScript وابستگی زیادی دارد
در بعضی سایتهای اختصاصی یا اپلیکیشنهای وب، بخش زیادی از محتوا با JavaScript تولید میشود.گوگل توانایی اجرای JavaScript را دارد، اما فرایند Crawl، Render و Index برای چنین صفحاتی میتواند پیچیدهتر باشد.گوگل توضیح میدهد که در صفحات JavaScript، محتوای اولیه HTML ممکن است شامل محتوای واقعی صفحه نباشد و Googlebot مجبور شود صفحه را Render کند تا محتوای نهایی را ببیند.اگر سایت شما از React، Vue، Next.js یا ساختارهای مشابه استفاده میکند و مشکل Indexing گسترده دارید، نحوه Rendering نیز باید بررسی شود.
چگونه دلیل ایندکس نشدن صفحه را در Search Console پیدا کنیم؟
بهترین نقطه شروع برای تشخیص مشکل، Google Search Console است.
ابتدا وارد Search Console شوید و URL صفحه را در قسمت URL Inspection وارد کنید.
سپس موارد زیر را بررسی کنید:
آیا URL در Google قرار دارد؟
اگر پاسخ مثبت است، مشکل Indexing ندارید و باید روی Ranking تمرکز کنید.
آیا Crawl مجاز است؟
بررسی کنید Googlebot اجازه دسترسی به URL را دارد.
آیا Indexing مجاز است؟
وجود noindex یا تنظیمات مشابه را بررسی کنید.
Canonical کدام صفحه است؟
Canonical تعریفشده توسط شما را با نسخه انتخابی گوگل مقایسه کنید.
آخرین Crawl چه زمانی انجام شده؟
زمان آخرین بررسی صفحه توسط Googlebot نیز میتواند اطلاعات مفیدی ارائه کند.
علاوه بر URL Inspection، گزارش Page Indexing نیز برای پیدا کردن الگوهای کلی مشکل بسیار مفید است.
اگر فقط یک URL مشکل دارد، احتمالاً مسئله در همان صفحه است.
اما اگر صدها URL با دلیل مشابه Index نشدهاند، احتمال وجود یک مشکل ساختاری یا Technical SEO بیشتر است.
آیا Request Indexing مشکل را حل میکند؟
در URL Inspection گزینهای با عنوان Request Indexing وجود دارد.بعد از برطرف کردن مشکل میتوانید از این گزینه استفاده کنید تا Google درخواست Crawl مجدد صفحه را دریافت کند.اما Request Indexing را نباید راهحل اصلی بدانید.گوگل اعلام کرده Crawl مجدد ممکن است از چند روز تا چند هفته زمان ببرد و درخواست Indexing نیز تضمینی برای قرار گرفتن صفحه در ایندکس نیست. همچنین ارسال چندباره درخواست برای یک URL باعث سریعتر شدن Crawl نمیشود.
پس ترتیب صحیح این است:
تشخیص مشکل → رفع مشکل → بررسی مجدد → Request Indexing
نه:
Request Indexing → Request Indexing → Request Indexing
چرا صفحه جدید من هنوز ایندکس نشده است؟
اگر مقاله را امروز منتشر کردهاید و فردا هنوز در نتایج گوگل نیست، الزاماً مشکلی وجود ندارد.ایندکس شدن زمان ثابتی ندارد.
برای صفحات جدید مطمئن شوید:
- URL قابل Crawl است.
- Noindex ندارد.
- در Sitemap قرار گرفته است.
- لینک داخلی دارد.
- محتوای اصلی و ارزشمند دارد.
- Canonical صحیح است.
سپس اجازه دهید موتور جستجو فرایند طبیعی Crawl و Index را انجام دهد.
چک لیست سریع ایندکس نشدن سایت
اگر صفحه شما در Google ظاهر نمیشود، این موارد را بهترتیب بررسی کنید:
URL را در Search Console بررسی کنید.
مطمئن شوید صفحه
noindexنیست.Robots.txt را بررسی کنید.
وضعیت HTTP صفحه را کنترل کنید.
Canonical را بررسی کنید.
مطمئن شوید URL در Sitemap وجود دارد.
برای صفحه لینک داخلی ایجاد کنید.
محتوای صفحه را از نظر کیفیت و تکراری بودن بررسی کنید.
مشکلات Rendering و JavaScript را بررسی کنید.
بعد از رفع مشکل Request Indexing بزنید.
انجام این مراحل معمولاً خیلی سریعتر از آزمون و خطای تصادفی میتواند شما را به علت اصلی مشکل برساند.
تفاوت ایندکس نشدن سایت با رتبه نگرفتن چیست؟
این دو مسئله نباید با هم اشتباه گرفته شوند.
Indexing یعنی آیا صفحه اساساً در پایگاه اطلاعات Google حضور دارد یا خیر.
Ranking یعنی اگر صفحه ایندکس شده، برای یک عبارت جستجو در چه جایگاهی نمایش داده میشود.ممکن است مقاله شما کاملاً Index شده باشد اما به دلیل رقابت بالا، محتوای ضعیف، سئو داخلی نامناسب، لینکسازی ناکافی یا تطابق نداشتن با Search Intent در رتبه مناسبی قرار نگیرد.در چنین شرایطی Request Indexing کمکی به افزایش رتبه نمیکند و باید استراتژی SEO صفحه بررسی شود.
سوالات متداول درباره ایندکس نشدن سایت
چقدر طول میکشد سایت در گوگل ایندکس شود؟
زمان مشخصی وجود ندارد. بسته به شرایط سایت و صفحه ممکن است چند روز یا بیشتر طول بکشد. گوگل نیز اعلام کرده Crawl مجدد URL میتواند از چند روز تا چند هفته زمان ببرد.
آیا ثبت Sitemap باعث ایندکس شدن قطعی صفحات میشود؟
خیر. Sitemap به Google برای پیدا کردن URLها کمک میکند اما تضمینی برای Crawl یا Index تمام صفحات نیست.
چرا مقاله من Crawled شده اما هنوز Index نشده است؟
در این وضعیت Google صفحه را مشاهده کرده اما فعلاً آن را وارد ایندکس نکرده است. علاوه بر مسائل فنی، کیفیت، ارزش محتوا، شباهت با صفحات دیگر و ساختار کلی سایت را نیز بررسی کنید.
آیا Robots.txt میتواند جلوی ایندکس را بگیرد؟
Robots.txt دسترسی Crawler را مدیریت میکند، اما ابزار مناسبی برای حذف قطعی یک URL از نتایج نیست. برای جلوگیری از Indexing باید از روش مناسب مانند noindex استفاده شود.
آیا باید برای همه مقالات Request Indexing بزنیم؟
خیر. اگر سایت ساختار سالم، Sitemap مناسب و لینکسازی داخلی صحیح داشته باشد، Google معمولاً صفحات را بهصورت طبیعی کشف میکند. Request Indexing بیشتر برای URLهای محدود و شرایط خاص کاربرد دارد.
جمعبندی
اگر سایت یا یکی از صفحات شما در گوگل نمایش داده نمیشود، قبل از هر اقدامی مشخص کنید که مشکل واقعاً ایندکس نشدن است یا صفحه فقط رتبه مناسبی ندارد.سپس با کمک Google Search Console مواردی مانند Noindex، Robots.txt، Sitemap، Canonical، وضعیت HTTP، لینکسازی داخلی و کیفیت محتوا را بررسی کنید.مهمتر از همه، Indexing را یک فرایند تکمرحلهای نبینید. اینکه گوگل بتواند URL را پیدا کند، آن را Crawl کند، محتوای صفحه را درست ببیند و در نهایت تصمیم به Index کردن آن بگیرد، مجموعهای از مراحل مختلف است و اختلال در هرکدام میتواند باعث ناپدید شدن صفحه از نتایج شود.اگر تعداد زیادی از صفحات سایت شما ایندکس نمیشوند یا با وجود اصلاحات فنی همچنان دلیل مشکل مشخص نیست، بررسی تخصصی Technical SEO میتواند علت را سریعتر مشخص کند. دیتادیزاین در کنار آموزش سئو، خدمات سئو و مشاوره سئو نیز ارائه میدهد و میتوان از این بخش برای هدایت طبیعی کاربر از آموزش به بررسی تخصصی سایت استفاده کرد.
