۱ ساعت پیش

» مدیران سایت چطور نمایش محتوای خود را در گوگل کنترل کنند؟

همه صفحات یک سایت قرار نیست در نتایج جست‌وجوی گوگل نمایش داده شوند. گاهی مدیر سایت می‌خواهد دسترسی خزنده‌های موتور جست‌وجو به بخشی از سایت را مدیریت کند؛ گاهی لازم است صفحه‌ای در نتایج گوگل نمایش داده نشود و گاهی نیز هدف، جلوگیری از نمایش متن توضیحی یک صفحه در نتایج جست‌وجو است.

گوگل برای این نیازها دستورها و ابزارهای مختلفی ارائه می‌کند؛ از جمله robots.txt، دستور noindex و دستور nosnippet.

با وجود شباهت ظاهری این ابزارها، عملکرد آن‌ها متفاوت است. استفاده نادرست از آن‌ها ممکن است باعث شود صفحه‌ای که باید از نتایج جست‌وجو حذف شود همچنان نمایش داده شود، یا گوگل نتواند دستور موردنظر مدیر سایت را بخواند.

در این مقاله، تفاوت این سه ابزار، کاربرد هرکدام، نمونه کدها و نکاتی را بررسی می‌کنیم که مدیران سایت باید پیش از اعمال تغییرات در نظر بگیرند.

مطلب مرتبط آموزش Communication در هوانوردی

۱. فایل robots.txt چیست و چه کاری انجام می‌دهد؟

فایل robots.txt در ریشه سایت قرار می‌گیرد و به خزنده‌های وب اعلام می‌کند که کدام مسیرها را می‌توانند بخزند و کدام مسیرها را نباید بخزند.

برای مثال، اگر آدرس سایت شما این باشد:

https://example.com/

فایل robots.txt معمولاً از این مسیر در دسترس است:

https://example.com/robots.txt

یک نمونه ساده از محتوای این فایل:

User-agent: *
Disallow: /private/

در این مثال، دستور Disallow از خزنده‌هایی که این دستور را رعایت می‌کنند می‌خواهد مسیر /private/ را نخزند.

عبارت User-agent: * به همه خزنده‌ها اشاره دارد؛ البته هر خزنده‌ای الزاماً از این قواعد پیروی نمی‌کند.

چه زمانی از robots.txt استفاده کنیم؟

این فایل زمانی مفید است که بخواهید خزش بخش‌هایی از سایت را مدیریت کنید؛ برای مثال، مسیرهایی که خزش آن‌ها ضرورتی ندارد یا نباید به‌طور معمول توسط خزنده‌های مشخص بررسی شوند.

اما نکته مهم این است که robots.txt ابزار مطمئنی برای حذف صفحه از نتایج جست‌وجو نیست.

اگر صفحه‌ای با لینک‌های خارجی یا داخلی شناخته شده باشد، ممکن است نشانی آن حتی بدون خزش محتوا در نتایج جست‌وجو ظاهر شود. در این وضعیت، گوگل ممکن است اطلاعات کافی برای نمایش عنوان و توضیحات صفحه نداشته باشد.

بنابراین، اگر هدف شما جلوگیری از نمایش یک صفحه در نتایج گوگل است، صرفاً مسدود کردن آن در robots.txt کافی نیست.

۲. دستور noindex چیست؟

دستور noindex برای جلوگیری از نمایش یک صفحه یا منبع در نتایج جست‌وجو استفاده می‌شود.

اگر صفحه‌ای باید برای کاربران قابل‌دسترسی باشد، اما نمی‌خواهید در نتایج گوگل نمایش داده شود، می‌توانید از این دستور استفاده کنید؛ مشروط بر اینکه گوگل بتواند صفحه را بخزد و دستور را ببیند.

برای یک صفحه HTML، نمونه کد به این شکل است:

<meta name="robots" content="noindex">

این تگ معمولاً در بخش <head> صفحه قرار می‌گیرد.

اگر بخواهید این دستور مشخصاً برای Googlebot اعمال شود، می‌توانید از نمونه زیر استفاده کنید:

<meta name="googlebot" content="noindex">

هر دو روش برای جلوگیری از نمایش صفحه در نتایج جست‌وجوی گوگل قابل استفاده‌اند؛ تفاوت آن‌ها در خزنده هدف است.

آیا می‌توان از robots.txt برای اجرای noindex استفاده کرد؟

خیر. گوگل از دستور noindex در فایل robots.txt پشتیبانی نمی‌کند.

همچنین اگر صفحه را در robots.txt مسدود کنید، گوگل ممکن است نتواند محتوای صفحه و تگ noindex آن را بخواند. در نتیجه، دستور حذف از نتایج جست‌وجو قابل تشخیص نخواهد بود.

اگر هدفتان حذف صفحه از نتایج جست‌وجو است، باید دسترسی خزش آن را به‌گونه‌ای تنظیم کنید که گوگل بتواند دستور noindex را مشاهده کند.

نمونه کاربردی

فرض کنید صفحه‌ای در سایت دارید که برای استفاده داخلی یا ارائه یک خدمت خاص ساخته شده و نمی‌خواهید از طریق جست‌وجوی گوگل پیدا شود.

اگر این صفحه باید همچنان برای کاربران دارای لینک قابل‌دسترسی باشد، می‌توانید با بررسی شرایط فنی صفحه از noindex استفاده کنید. سپس وضعیت آن را در Search Console بررسی کنید.

توجه داشته باشید که noindex صفحه را از دسترسی مستقیم کاربران محافظت نمی‌کند؛ این دستور برای کنترل حضور صفحه در نتایج جست‌وجو است، نه جایگزین احراز هویت یا حفاظت از اطلاعات محرمانه.

۳. دستور nosnippet چه کاربردی دارد؟

گاهی هدف مدیر سایت حذف صفحه از گوگل نیست؛ بلکه می‌خواهد از نمایش متن توضیحی صفحه در نتایج جست‌وجو جلوگیری کند.

برای چنین شرایطی، گوگل دستور nosnippet را ارائه می‌کند.

نمونه کد:

<meta name="robots" content="nosnippet">

این دستور مانع نمایش متن اسنیپت و پیش‌نمایش ویدئویی صفحه در نتایج جست‌وجو می‌شود. با این حال، ممکن است تصویر بندانگشتی ثابت همچنان نمایش داده شود.

نکته مهم این است که nosnippet با noindex تفاوت دارد: این دستور برای حذف صفحه از نتایج جست‌وجو طراحی نشده است.

مطلب مرتبط چگونه پست‌های اینستاگرام را در نتایج گوگل نمایش دهیم؟ آموزش سئوی اینستاگرام

طبق مستندات فعلی گوگل، nosnippet همچنین بر استفاده از محتوای صفحه به‌عنوان ورودی مستقیم برای برخی قابلیت‌های هوش مصنوعی در جست‌وجوی گوگل، از جمله AI Overviews و AI Mode، اثر می‌گذارد.

اگر فقط بخشی از متن نباید در اسنیپت نمایش داده شود چه کنیم؟

اگر نمی‌خواهید تمام توضیحات صفحه حذف شوند و فقط قصد دارید بخش مشخصی از متن در اسنیپت استفاده نشود، می‌توانید از ویژگی data-nosnippet در عناصر HTML پشتیبانی‌شده استفاده کنید.

مثال:

<p>این بخش می‌تواند در اسنیپت نمایش داده شود.</p>

<div data-nosnippet>
  این بخش نباید در اسنیپت استفاده شود.
</div>

این ویژگی را می‌توان روی عناصر div، span و section به کار برد. کد HTML باید معتبر و به‌درستی بسته شده باشد.

۴. تفاوت robots.txt، noindex و nosnippet در یک نگاه

ابزار کاربرد اصلی آیا صفحه را از نتایج حذف می‌کند؟ robots.txt مدیریت خزش مسیرها تضمین نمی‌کند noindex جلوگیری از نمایش صفحه در نتایج جست‌وجو بله، پس از اینکه گوگل دستور را بخزد و پردازش کند nosnippet جلوگیری از نمایش متن توضیحی و پیش‌نمایش ویدئویی خیر data-nosnippet جلوگیری از استفاده از بخش مشخصی از متن در اسنیپت خیر این ابزارها جایگزین یکدیگر نیستند. انتخاب درست به هدف شما بستگی دارد.

۵. چطور مطمئن شویم دستورها درست اعمال شده‌اند؟

پس از اعمال تغییرات، تنها به مشاهده کد در پنل مدیریت سایت اکتفا نکنید. وضعیت واقعی صفحه را نیز بررسی کنید.

گام اول: هدف خود را مشخص کنید

پیش از تغییر تنظیمات، مشخص کنید که قصد دارید چه کاری انجام دهید:

اگر می‌خواهید خزش یک مسیر را مدیریت کنید، robots.txt را بررسی کنید.
اگر می‌خواهید صفحه در نتایج جست‌وجو نمایش داده نشود، شرایط استفاده از noindex را بررسی کنید.
اگر می‌خواهید متن توضیحی صفحه در نتایج نمایش داده نشود، از nosnippet یا در شرایط مناسب data-nosnippet استفاده کنید.

گام دوم: کد یا تنظیمات صفحه را بررسی کنید

اگر سایت شما از سیستم مدیریت محتوا استفاده می‌کند، ممکن است تنظیمات مربوط به ایندکس در پنل مدیریت یا افزونه‌های سئو در دسترس باشد.

اگر از تگ HTML استفاده می‌کنید، بررسی کنید دستور موردنظر واقعاً در خروجی صفحه وجود داشته باشد.

برای فایل‌های غیر HTML مانند PDF، می‌توان از هدر HTTP با نام X-Robots-Tag استفاده کرد.

گام سوم: از ابزار بررسی URL در Search Console استفاده کنید

در Google Search Console، ابزار URL Inspection امکان بررسی وضعیت یک URL و مشاهده اطلاعات مربوط به نسخه‌ای را که گوگل دریافت کرده است فراهم می‌کند.

پس از اعمال noindex، بررسی کنید که گوگل بتواند صفحه را بخزد و دستور را مشاهده کند. در صورت نیاز می‌توانید درخواست خزش مجدد ارسال کنید؛ اما ارسال درخواست به معنی ایندکس‌زدایی فوری نیست.

برای بررسی وضعیت تعداد زیادی از صفحات نیز می‌توانید گزارش Page Indexing را در Search Console دنبال کنید.

گام چهارم: نتیجه را دوباره بررسی کنید

اعمال تغییر در سایت لزوماً به معنی تغییر فوری نتیجه جست‌وجوی گوگل نیست. گوگل باید صفحه را دوباره بخزد و تغییرات را پردازش کند.

اگر صفحه همچنان در نتایج دیده می‌شود، مواردی مانند مسدود بودن خزش، وجود دستورهای متناقض، نسخه‌های دیگر URL و زمان آخرین خزش را بررسی کنید.

۶. چند اشتباه رایج که باید از آن‌ها دوری کنید

اشتباه اول: مسدود کردن صفحه در robots.txt برای حذف آن از گوگل

این کار ممکن است مانع خواندن دستور noindex شود. ابتدا هدف را مشخص کنید و سپس روش مناسب را انتخاب کنید.

اشتباه دوم: استفاده از nosnippet به‌جای noindex

nosnippet برای کنترل نمایش متن توضیحی است، نه حذف صفحه از نتایج جست‌وجو.

اشتباه سوم: تصور اینکه noindex از اطلاعات محرمانه محافظت می‌کند

صفحه دارای noindex ممکن است همچنان از طریق لینک مستقیم قابل‌دسترسی باشد. برای اطلاعات خصوصی باید از روش‌های امنیتی مناسب استفاده شود.

اشتباه چهارم: انتظار حذف فوری از نتایج

گوگل باید دستور را ببیند و پردازش کند. بنابراین، تغییر تنظیمات به‌تنهایی حذف فوری را تضمین نمی‌کند.

جمع‌بندی

برای کنترل نمایش محتوا در گوگل، ابتدا باید تفاوت خزش، ایندکس‌شدن و نمایش اسنیپت را بشناسید.

robots.txt برای مدیریت خزش است.
noindex برای جلوگیری از نمایش صفحه در نتایج جست‌وجو است.
nosnippet برای جلوگیری از نمایش متن توضیحی و پیش‌نمایش ویدئویی است.
data-nosnippet برای محدود کردن استفاده از بخش مشخصی از متن در اسنیپت کاربرد دارد.

اگر پیش از اعمال تغییرات هدف خود را مشخص کنید و پس از آن وضعیت صفحه را در Search Console بررسی کنید، احتمال بروز خطاهای ناخواسته کمتر خواهد شد.