پاسخ : درخواست راهنمایی برای ویرایش کردن فایل Robots.txt
تنها زمانی که شما نیازمند استفاده از Allow در تعیین سطوح دسترسی (تفاوت نداره کجا - htaccess -httpd - robots.txt یا ...) دارید، زمانی هست که یکجا دسترسی عموم را به قسمتی بسته باشید و بخواهید یک استثنا قائل بشید. اون وقت هست که از Allow برای اون استثنا استفاده می کنید.
در غی این صورت استفاده از Allow بی مورد است.
در خصوص مسدود سازی ایندکس صفحات فهرست پست ها بر اساس تگ ها، بحث خیلی پیچده است و بستگی به ساختار وبلاگ شما دارد واقعا. آیا شما تگ پایه محتوا منتشر می کنید یا دسته بندی پایه و برخی مسائل دیگه در خصوصش مقالات سئو خوبی به زبان انگلیسی هست اول یک متد انتشار محتوای خوب داشته باشید بعد در خصوص اعمال محدودیت ایندکس اقدام کنید.
مثلا:
در سایت شخصی من "ورزش" تگ هست.
در سایت خبری "ورزش" دسته بندی است.
در سایت شخصی من "خاطرات" دسته بندی است.
در سایت خبری "خاطره" احتمالا یک تگ است.
توصیه بنده این است که اون سمتی که کلمات پر سرچ تر (داغ تری) هست را باز و سمت دیگر را مسدود کنید. یعنی برای مثال های فوق من در وبلاگ شخصی بهتره تگ ها رو ایندکس باز و دسته بندی ها را ببندم و در سایت خبری بالعکس.. چون کلماتی مثل ورزش / سیاست / اقتصاد پر جستجو تر هستند تا کلماتی مثل خاطرات و خانواده و ....
این صرفا یک مثال بود. بهتره خودتان مطالعه کنید و فرا بگیرید.
پاسخ با نقل قول