چگونه ازدسترسی دیگران به فایلها جلوگیری کنیم؟

اگرصفحه یامطالبی داریدکه علاقمندنیستید درنتایج جستجوی گوگل ظاهرشود،به یکی ازروشهای زیرعمل کنید:

• اگربه فایلهای خود درسرورنیازدارید میتوانید باتنظیم رمزعبورازدسترسی دیگران به آنهاجلوگیری کنید.لذا روبوت گوگل و دیگر موتورهای جستجو نمی توانند به این مطالب دسترسی داشته باشند.این ساده ترین وموثرترین راه برای جلوگیری ازایندکس شدن مطالبتان توسط گوگل و…میباشد.اگرازسرور وب آپاچی استفاده میکنید،میتوانید.htaccess راباگذاشتن پسورد روی پوشه سرورخودتان ویرایش کنید.ابزارهای بسیاری در وب موجوداست که باکمک آنها میتوانیداینکار راانجام دهید.
• ازیک robots.txtبرای کنترل دسترسی به فایلها وپوشه های سرورخوداستفاده کنید.فایل robots.txtشبیه سیستم الکترونیکی هوشمند ورودبه سیستم میباشدکه به روبوت گوگل و … میگویدکه فایلها وپوشه های این سرورنبایدجستجو شوند.

برای استفاده ازفایل robots.txtشمابایستی به قسمت روت هاست خوددسترسی داشته باشید(اگرمطمئن نیستید،ازمیزبان وب سایت خودبپرسید).اگربه روت دامنه خوددسترسی ندارید،میتوانیدبااستفاده از روبوتهای meta tag درصفحات یکتای وب سایت ایجادمحدودیت نمایید.

مهم است توجه داشته باشیدکه حتی اگرازیک فایل robots.txtبرای بلاک کردن جستجوگرها استفاده نمایید،گوگل میتواندازراههای دیگری مطالب شماراپیداوآنها راایندکس نماید.بعنوان مثال ممکن است وب سایت های دیگر به مطالب شما ارجاع دهند.آدرس صفحه وبصورت بالقوه دیگراطلاعات عمومی مانندanchor text درلینکهای ارجاعی به وب سایت ویاعنوان درOpen Directory Projectمیتوانند درنتایج جستجوی گوگل ظاهرشوند.بعلاوه اگرهمه ی روبوت های معتبربه اطلاعات فایل robots.txtاستنادکنند،امکان داردتعدادی ازروبوت ها آنها رابه گونه ای دیگراستنتاج نمایند.بااینحال،یک robots.txtقابل اجرا نیست وممکن است بعضی ازاسپم کننده ها ودیگرمزاحمین آن رانادیده بگیرند.به این دلیل،پیشنهادمیکنیم ازپسوردامنیتی که دربالا آمداستفاده نمایید(مطلب بالا را ببینید).

• ازمتاتگnoindexبرای جلوگیری ازنمایش مطالب درنتایج جستجوی گوگل استفاده کنید.وقتیکه گوگل تگ متاnoindex رادرصفحه ای میبیند،بصورت کامل آن صفحه رانتایج جستجوکنارمی گذارد.حتی اگرسایروب سایت هابه آن لینک داده باشند.اگرمطلب درحال حاضر دردیتابیس گوگل باشد،گوگل آنرادرجستجوی بعدی وب سایت خارج میکند.(برای تسریع درفرایند خارج سازی،ازابزار خارج سازی آدرس دروبمسترگوگل استفاده کنید).سایرموتورهای جستجوگر ممکن است ازروشهای دیگری استفاده نمایند.یعنی امکان داردمطلب موردنظرشمادرنتایج جستجو آنهاظاهرشود.

چون ما وب سایت شمارابرای دیدن تگnoindexجستجو میکنیم لذااحتمال کمی وجود داردکه روبوت گوگل تگ متاnoindexرانبیند.