جست و جوی گوگل چگونه کار می کند؟ راهنمای دقیق نحوه عملکرد جستجوی Google
گوگل یک موتور جست و جوی کاملا خودکار است که از نرم افزارهایی به نام خزنده های وب (Web Crawlers) استفاده می کند. این خزنده ها به طور منظم و بدون توقف تمام پهنه ی گسترده وب را برای یافتن صفحات جدید جست و جو می کنند تا صفحات جدید را یافته و آن ها را به فهرست بلند بالای گوگل اضافه کنند.
در واقع اکثر صفحات موجود وبسایت ها در گوگل از طریق همین خزنده ها پیدا شده و به نتایج گوگل اضافه شده اند.
در این مطلب به صورت ویژه به مراحل و نحوه عملکرد موتور جست و جوی گوگل خواهیم پرداخت. داشتن دانش پایه درباره نحوه عملکرد موتورهای جست و جو (در این مطلب به صورت به خصوص درباره موتور جست و جوی گوگل صحبت می کنیم)، می توانید مشکلات پیرامون خزیدن وبسایت و صفحات سایت خودتان را برطرف و از ایندکس شدن صفحات تان توسط خزند های گوگل مطمئن شوید. در نهایت این موضوع در بهینه سازی سئو وبسایت شما بسیار حائز اهمیت خواهد بود.
اگراحساس کردید این آموزش برای شما سنگین است، اموزش مبتدی نحوه عملکرد موتور جست و جو را مطالعه کنید.
چند نکته قبل از شروع
قبل از اینکه به جزئیات نحوه عملکرد موتور جست و جوی گوگل بپردازیم، توجه به این نکته مهم است که گوگل برای خزیدن بیشتر یک وبسایت یا رتبه بندی بهتر آن هزینه ای دریافت نمی کند. یعنی اینطور نیست که شما بتوانید با پرداخت هزینه به گوگل کاری کنید تا وبسایت های شما را بیشتر یا بهتر از دیگران کرول کند یا رتبه بهتری به ان اختصاص دهد. اگر چنین چیزی شنیده اید بدونید که کاملا در اشتباه هستید.
این متن را گوگل به طور صریح ذکر می کند که:
Google تضمین نمی‌کند که صفحه شما را بخزد، فهرست کند، یا به آن سرویس دهد، حتی اگر صفحه شما از اصول جستجوی Google پیروی کند.
گوگل
به عبارتی اینکه فکر کنید مطلبی منتشر می کنید و این مطلب صد در صد به نتایج گوگل اضافه می شود، کاملا در اشتباه هستید. باید دائما روند فهرست شدن صفحات سایت را زیر نظر داشته باشید.
معرفی سه مرحله جستجوی گوگل
در کل عملکرد جست و جوی گوگل در 3 مرحله رخ می دهید که البته ممکن است برای برخی وبسایت ها یا صفحات همه یا تعدادی از این مراحل انجام نشود:
- خزیدن: گوگل متن، تصاویر و ویدئوها ار از صفحاتی که در وب پیدا کرده دانلود می کند. این فرآیند توسط ربات ها یا اصطلاحا خزنده ها انجام می شود.
- فهرست کردن: فهرست کردن (indexing). گوگل متن، تصاویر و فایل های ویدئویی دانلود شده در مرحله قبل را آنالیز و تجزیه و تحلیل می کند و اطلاعات به دست آمده را در فهرست گوگل (که یک پایگاه داده بسیار بسیار بزرگ است) ذخیره می کند.
- ارائه نتایج جست و جو: وقتی کاربری در گوگل جست و جو می کند، گوگل متناسب با نتایج آنالیزهای مرحله قبلی، صفحاتی را لیست می کند و به کاربر نمایش می دهد که مرتبط ترین محتوا را متناسب با جست و جوی کاربر در خود دارند.
در ادامه به معرفی دقیق تر این 3 مرحله خواهیم پرداخت:
خزیدن Crawling
مرحله اول برای گوگل، اطلاع از وجود صفحات است. یعنی قبل از هر چیزی باید صفحات را پیدا کند تا بتواند محتوای آن را بررسی کند.
یک رجیستری مرکزی، واحد و متمرکز برای همه صفحات وب وجود ندارد، بنابراین گوگل باید به صورت دائمی و بدون توقف به دنبال صفحات جدید بوده و دائما لیست این صفحات را به روز کند. هر لحظه هزاران صفحه جدید در وب منتشر می شود و گوگل ثانیه به ثانیه در حال افزودن این صفحات به لیست عظیم خود است.
به این فرآیند “کشف URL” یا “URL discovery” گفته می شود.
برخی از این صفحات قبلا توسط گوگل بررسی شده و در لیست فهرست گوگل وجود دارند. به عبارتی اینطور نیست هر صفحه فقط یکبار خزیده شود، بلکه بارها و بارها در زمان های مختلف این URL ها بررسی می شوند.
تنها زمانی یک صفحه به نتایج اضافه می شود که برای اولین بار کشف شده باشد. در دفعات بعدی فقط محتوای تجزیه و تحلیل شده آن به روز می شود.
از طرفی هدف گوگل از خزیدن مجدد یک صفحه وب، کشف URL های جدید درون محتوای این صفحات است. به عبارتی تمام محتوای شما به امید یافتن URL های جدید بررسی می شود. URL هایی که شما درون محتوای خود به آن ها لینک داده اید.
این URL جدید ممکن است یکی از مطالب جدید وبسایت خودتان باشد، یا یک صفحه وب از یک وبسایت دیگر. تفاوتی ندارد، هر دوی آن ها باید به لیست گوگل اضافه شوند.
وقتی نقشه سایت (Sitemap) وبسایت خودتان را در ابزار جست و جوی گوگل (serach console)، ارسال می کنید، در واقع به صورت یکباره منبعی از تمام URL های وبسایت خودتان را به گوگل معرفی می کنید.
وقتی ربات گوگل صفحه ای را پیدا می کند، علاوه بر اینکه آن صفحه را به لیست خود اضافه می کند، بلکه محتوای آن صفحه را به دنبال URL های جدید می گردد و با رفتن به آن URLها آن ها را هم به لیست اضافه می کند و باز هم درون همان صفحات به دنبال URL جدید می گردد و این فرآیند دائما ادامه می یابد.
در نتیجه مجموعه ای از میلیاردها میلیاردها و میلیاردها صفحه وب در گذر زمان به لیست عظیم وبسایت های فهرست شده در گوگل اضافه می شود.
این نرم افزارهای خستگی ناپذیر که کار خزیدن را انجام می دهند، ربات گوگل یا GoogleBot نامیده می شوند. نام های دیگری هم برای این نرم افزار ها خواهید شنید. برای مثال خزنده (Crawler)، ربالت (Bot)، عنکبوت (Spider) و…
ربات های گوگل از یک الگوریتم پیشرفته برای تعیین این که کدام سایت ها یا صفحات وب هر چند وقت یکبار باید خزیده شوند، استفاده می کنند.
یعنی ممکن است یک وبسایت هر روز و وبسایتی دیگر هر دو هفته یکبار بررسی شوند. نکته اول اینکه این فاصله زمانی لزوما ثابت نیست و ممکن است کمتر یا بیشتر شود. نکته دوم آنکه این تصمیم توسط الگوریتم گرفته می شود و هدف آن این است که وبسایت هایی که تولید محتوای بیشتری دارند، به دفعات بیشتر و در فواصل زمانی کمتری بررسی شوند.
این خزنده ها طوری برنامه ریزی می شوند که در اثر خزیدن، مانع بارگذاری بیش از حد وبسایت ها نشوند. یعنی خیلی سریع . به دفعات بیش از حد وبسایت را نمی خزند تا باعث اضافه بار بر روی وبسایت شما نشوند.
نحوه تصمیم، بر اساس خطاهایی است که از سرور شما دریافت می کنند. یعنی فرض کنید گوگل در جایی متوجه می شود تا تناوب فعلی خزیدن سایت شما باعث خطاهای 500، در سرور شما و اضافه بار می شود. لذا این تناوب را کاهش می دهد تا اضافه بار بر روی سرور اتفاق نیوفتد.
پس می توان نتیجه گرفت که استفاده از وب سرور قدرتمند تر و البته طراحی یک وبسایت سریع تر، باعث بهبود سئو وبسایت شما می شود.
می توانید نرخ تناوبی خزیدن وبسایت را در سرچ کنسول تنظیم کنید.
با این توضیحات، ربات تمام صفحاتی را که کشف می کند، نمی خزد. برخی از صفحات ممکن است توسط مالک سایت مجاز به خزیدن نباشند یا برخی صفحات مانند صفحه پروفایل کاربر، بدون ورود به سایت، امکان مشاهده محتوای آن وجود نداشته و ربات هم امکان خزیدن ان را نداشته باشد.
در خزیدن ربات، گوگل صفحه را پردازش می کند و هر جا کدهای جاوااسکریپتی پیدا کند، آن را با موتور مرورگر Chrome، اجرا می کند. دقیقا مانند مرورگری که شما از آن استفاده می کنید.
پردازش کدهای جاوااسکریپت بسیار مهم است، زیرا در مواقع بسیاری، بخشی از محتوای سایت شما توسط همین کدها جاوااسکریپتی تولید می شوند یا نمایش آن ها متکی به این کدهاست و بدون اجرای آن ها، ممکن است گوگل نتواند آن محتوا را ببیند.
رندر مهم است زیرا وب سایت ها اغلب برای آوردن محتوا به صفحه به جاوا اسکریپت متکی هستند و بدون رندر ممکن است گوگل آن محتوا را نبیند.
نحوه خزیدن گوگل بستگی به دسترسی آن ها به وبسایت شما دارد. به عبارتی تنها زمانی می توانند محتوای شما را بخزند که اولا صفحات سایت شما در دسترس باشد، دوما ربات ها مجاز به خزیدن آن ها باشند. برخی از مشکلات رایجی که مانع خزیدن وبسایت ها توسط ربات ها می شوند عبارتند از:
- مشکلات سرور سایت
- مشکلات شبکه و اینترنت
- دستورات فایل robots.txt که مانع دسترسی ربات ها به صفحات شما می شود.
این مطلب ادامه دارد…
