موتورهای جستجوگر گوگل از خزندهها برای پیداکردن صفحات مرتبط با نتایج جستجو گوگل استفاده میکنند. عنکبوت جستجوگر Spider و خزنده موتورهای جستجوگر Crawler هردو کارخزش وکاوش در صفحه های وب راانجام میدهند ؛ بااین تفاوت که خزنده مانند:رهبر، به عنکبوت دستور میدهدکه کدام صفحات دنبال وکدام یک اصلادنبال نشوند.
هدف فرآیندخزش، جمع آوری مفیدترین، مرتبطترین صفحات باسرعت بالا وبصورت بهینه است. هر خزنده موتورهای جستجوگر گوگل براساس الگوریتم خود، وب سایت ها رادراولویت قرار میدهد.
خزنده وب سایت ها راموردبازبینی وکاوش قرارداده وآنها رارتبهبندی مینمایند. خزندههای موتورهای جستجوگر گوگل به دنبال وب سایت هایی میگردندکه کلمه کلیدی موردجستجوی کاربران بیشترمورد استفاده قرارگرفته است، به عبارت سادهترداشتن یک خزندهی قوی یعنی داشتن یک موتور جستجوگر قوی است.
اگرشما مدیریت یک وب سایت رابرعهده دارید میتوانیدمیزان دسترسی موتورهای جستجوگر گوگل به صفحات وب سایت راتنظیم کنید وهم چنین میتوانیداجازه دسترسی به بعضی ازصفحات رابه موتورهای جستجوگر گوگل ندهید. هنریک بهینهسازی محتوا درشناسایی کلمات وعوامل کلیدی موردنظر خزندههای جستجوگر گوگل میباشد، بطوری که از خزندههابرای بهینهسازی وافزایش رتبه وب سایت خود استفاده برد.
وقتی شمامیشنوید که مردم درباره ی خزنده های موتورهای جستجوگر گوگل درزمینه ی سئو وب سایت صحبت میکنند، به برنامه هایی اشاره دارند که موتورهای جستجوگر گوگل ازآنهابرای اسکن وتحلیل وب سایت هابه منظورتعیین اهمیت آنها ودرنتیجه نتایج جستجوهای اینترنتی برای کلمات کلیدی مشخص استفاده میکنند. خزنده ها اغلب به عنوان ربات ها یاعنکبوت ها مراجعه میکنند.
خزنده هایی هستندکه به معنای حقیقی درسطح وب سایت ها میخزند! به این معنی که واردصفحات وب سایت میشوند و وقتی درصفحه ای ازیک وب سایت، لینکی رامشاهده میکنند واردآن میشوند (به آن لینک خزش میکنند) وممکن است درآن لینک نیز، لینک های دیگری رامشاهده کنندو وارد آن هاشوند وهمین خزیدن هاادامه پیدا میکند.
خزنده های موتورهای جستجوگر گوگل بسیارفعال هستند واغلب به عنوان یک معامله بزرگ ازبازدیدکنندگان سراسر اینترنت به حساب می آیند. به خصوص خزنده ی گوگل که باعنوان Googlebot شناخته شده بسیارفعال است واغلب یک وب سایت رادرطول روزچندین بار بازدیدمیکند وبرای آپدیت ها یااطلاعات جدید چک میکند. مطالعات نشان میدهد که Googlebot بسیارفعالتر از خزنده های موتورهای جستجوگر دیگر میباشد، بهترین خزنده ی فعال بعد از Googlebot ، خزنده ی یاهو است که حدودنیمی ازفعالیت Googlebot رادارد.
در واقع خزنده هابه دنبال وب سایت هایی هستندکه مملوء ازکلمات کلیدی باشدکه افرادبه دنبال آنهاهستند وپس از جستجو وپیداکردن این وب سایت هابه آن ها رتبه بندی بالایی راپاداش میدهند. البته خزنده های موتورهای جستجوگر گوگل اطلاعاتی دیگرشامل فراوانی لینک هاوساختار نام فایل هارا نیزجمع آوری میکنند. نکته قابل توجه این است که برخی ازانواع موتورهای جستجوگر گوگل وجوددارندکه به فریب دادن خزنده های موتورهای جستجوگر گوگل میپردازند تاکاری کنندکه خزنده ها فکرکنند وب سایت مدنظر مهمتر ازچیزی است که به نظرمی رسدبه این روش هااصطلاحا تکنیک های کلاه سیاه میگویند.
ابزارهای زیادی دررابطه با سئو وب سایت وفهم کارایی خزنده ها وجوددارد که می توانندبه شماکمک کنند که یکی ازآن ها Google Keyword Tools ( ابزار کلمه ی کلیدی گوگل ) میباشد.
هربارکه خزنده هادر صفحه ای با لینک، عکس، یابارگذاری فایلی مواجه میشوند، یک Hit اتفاق افتاده است. میتوان Hit رابه فارسی یک ضربه یابرخورد تعبیرکرد.
وقتی یک خزنده وارد صفحه میشودبه ازای هرلینک وتصویری که مرجع آن هاآدرس دیگری است، یک hit تلقی میشود. صفحه ای که دوعکس دارد و۳ لینک، ۲ hit آن مربوط به آن دوعکس است(زیرا خزنده واردصفحه دیگری میشودکه فقط عکس است) و۳ hit برای لینک های مقصداست که آدرس متفاوتی دارندویک hit هم به دلیل ورود خزنده به صفحه محسوب میشود.
ربات یاعنکبوت، همان خزنده است. ربات دردنیای وب، به معنی نرم افزاری است که بطورخودکار کارهایی رابه جای یک انسان انجام میدهد. وقتی این ربات ها نقش خزنده و موتورهای جستجوگر پیدامیکنند، خزنده یا عنکبوت نامیده میشوند.
موتور های جستجوگر گوگل ازاین خزنده ها استفاده میکنند (خزنده ایجاد میکنند) تابتوانند ازسطح وب، اطلاعات جمع کنند وبراساس داده هایی که خزنده ها، جمع آوری میکنند، وب سایت ها رارتبه بندی کنند.