بلاگ اسپات برای اینکه جلوی ایندکس شدن تگ ها رو بگیره فایل روبوتس رو به صورت پیش فرض به شکل زیر ایجاد کرده :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
حالا من می خوام تگ ها هم ایندکس بشن. برای این کار عبارت Disallow: /search رو کلا حذف کنم بهتره یا تبدیل به Allow: /search کنم بهتره؟
خیلی از لطفتون ممنونم
shayandavoudi
April 4th, 2017, 20:41
احتمالا میدونید که بلاگ اسپات برای گوگل هست. اگر این کار رو کرده حتما دلیلی داشته
سلام دوستان
بلاگ اسپات برای اینکه جلوی ایندکس شدن تگ ها رو بگیره فایل روبوتس رو به صورت پیش فرض به شکل زیر ایجاد کرده :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
حالا من می خوام تگ ها هم ایندکس بشن. برای این کار عبارت Disallow: /search رو کلا حذف کنم بهتره یا تبدیل به Allow: /search کنم بهتره؟
خیلی از لطفتون ممنونم
M.Abooali
April 5th, 2017, 00:45
تنها زمانی که شما نیازمند استفاده از Allow در تعیین سطوح دسترسی (تفاوت نداره کجا - htaccess -httpd - robots.txt یا ...) دارید، زمانی هست که یکجا دسترسی عموم را به قسمتی بسته باشید و بخواهید یک استثنا قائل بشید. اون وقت هست که از Allow برای اون استثنا استفاده می کنید.
در غی این صورت استفاده از Allow بی مورد است.
در خصوص مسدود سازی ایندکس صفحات فهرست پست ها بر اساس تگ ها، بحث خیلی پیچده است و بستگی به ساختار وبلاگ شما دارد واقعا. آیا شما تگ پایه محتوا منتشر می کنید یا دسته بندی پایه و برخی مسائل دیگه در خصوصش مقالات سئو خوبی به زبان انگلیسی هست اول یک متد انتشار محتوای خوب داشته باشید بعد در خصوص اعمال محدودیت ایندکس اقدام کنید.
مثلا:
در سایت شخصی من "ورزش" تگ هست.
در سایت خبری "ورزش" دسته بندی است.
در سایت شخصی من "خاطرات" دسته بندی است.
در سایت خبری "خاطره" احتمالا یک تگ است.
توصیه بنده این است که اون سمتی که کلمات پر سرچ تر (داغ تری) هست را باز و سمت دیگر را مسدود کنید. یعنی برای مثال های فوق من در وبلاگ شخصی بهتره تگ ها رو ایندکس باز و دسته بندی ها را ببندم و در سایت خبری بالعکس.. چون کلماتی مثل ورزش / سیاست / اقتصاد پر جستجو تر هستند تا کلماتی مثل خاطرات و خانواده و ....
این صرفا یک مثال بود. بهتره خودتان مطالعه کنید و فرا بگیرید.