سلام
چطوری میشه فایل robots.txt را همچون اچ تی اکسس غیر قابل دسترس کرد و در عین حال دستوراتش هم اجرا بشه؟
باید User Agent رو چک کنید که اگر ربات یا ربات گوگل نبود، فایل رو نشون نده و دسترسی نده.اما اگر کاربر واقعی با دستکاری user agent وارد بشه، میتونه باز ببینه.اگرم کلا دسترسی رو ببندید که گوگل هم نمیتونه دسترسی داشته باشه.مثل نقشه سایت هم نیست که خودتون بتونید آدرسش رو عوض کنید.باید توی روت دامنه باشه.
به صورت کلی جواب شما اینه : برای عموم می تونید با روشی که گفتم ولی اگر کسی بخواد، میتونه ببینه مگر اینکه دسترسی رو کلا ببندید که گوگل هم نتونه.
این کار مثل همون غیر فعال کردن کپی و کلیک راست میمونه.کاربر اگر جاوااسکریپتشو غیر فعال کنه می تونه کپی کنه.ولی تغییر user agent سخت تر از غیر فعال کردن جاواسکریپته.اما جفتش در مجموع کار راحتیه.