شرکت طراحی سایت وب سازان مرصاد
بودجه خزش یا Crawl Budget چیست ؟

بودجه خزش یا Crawl Budget چیست ؟

بودجه خزش یا Crawl Budget در واقع به تعداد صفحاتی میتوان گفت که ربات های گوگل در بازه زماین مشخصی آن ها را ایندکس میکنند. بودجه سایت بر اساس اهمیت سایت شما از نظر بروزرسانی محتوا و لینک های ورودی به سایت شما مشخص میشود. با این بودجه خزنده های گوگل به سایت شما می آیند و مطابق با بودجه ای که دارید تعدادی از صفحات شما را ایندکس میکنند. هرچه نرخ خزش شما بیشتر باشد باعث میشود که صفحات بیشتری از سایت شما ایندکس شوند. به همین دلیل است که همه سایت ها در تلاش این هستند که توجه گوگل را به خود جلب کرده و نرخ خزش خود را بالاتر ببرند. تا جایگاه خود را هرروز بهتر سازند.

هدف اصلی ربات ها یا همان خزنده های گوگل این است که بهترین محتوا را به کاربر برسانند. بنابراین باید به هر سایت وارد شده محتواهای آن ها را بررسی نماید و نمره ای بدهد. که بر اساس نمراتی که داده است بهترین ها را در نتایج اولیه گوگل به کاربر نشان دهد. شما باید سعی کنید که بهترین نمره را از ربات های گوگل دریافت نمایید. شما میتوانید برای صفحات خود اولویت قراردهید که بودجه خزش شما در نیمه های جستجو ربات ها تمام نشود. در این صورت باید مدت ها منتظر بمانید تا دوباره به سایت شما سربزنند.

فهرست مطالب

نظر گوگل درباره بودجه خزش

در واقع سایت هایی که تعداد صفحات بسیار زیادی دارند بودجه خزش ی امر مهم و چالش برانگیز برای آن ها است. سایت هایی مانند سایت خبری باید مشخص کند که چه محتوایی در چه زمانی باید کروال شود. در این صورت میتوانند محتواهای مهم و جدید خود را زودتر در نتایج گوگل بیاورند.

بودجه هر سایت

گوگل با استفاده از دو فاکتور Crawl limit و Crawl demand بودجه خزش هر سایتی را مشخص میکند.

1) Crawl limit/ host load 

این مفهوم به این معنی است که منابع سرور ما چه تعداد خزش را تحمل میکند. سایت ها با توجه به ظرفیتی که دارند نرخ خزش مشخص میشود. گوگل با Crawl  کردن یک صفحه یک درخواست به سرور ارسال میکند. تا بتواند از منابع سایت ما استفاده کند. اگر این درخواست ها زیاد باشند سایت ما از کار می افتد. به همین دلیل گوگل نرخ خزش برای هر سایتی را تعیین میکند که سایت با مشکلی مواجه نشود.

ظرفیت نرخ خزش سایت ما با دو طریق محاسبه میشود:

  • باگ های سرور: درخواست ربات های گوگل با مشکل روبه رو شده است.
  • تعداد سایت های فعال : اگر از هاست های اشتراکی استفاده میکنید. و سایت های دیگری نیز وجود دارند. نرخ کروال شما محدودیت زیادی خواهد داشت. بنابراین توصیه میشود که از هاست های اختصاصی استفاده نمایید. تا نرخ خزش شما بیشتر شود. و سرعت سایت شما نیز به صورت کلی افزایش پیدا کند.

2) crawl demand/crawl scheduling

ارزش کروال شدن صفحات را محاسبه میکند. که کدام صفحات ارزش بیشتری برای کروال شدن دارند. که بر اساس سه فاکتور محاسبه میشود.

  • محبوبیت صفحه : چه تعداد لینک دالخلی و خارجی به این صفحه داده شده است. و کیفیت لینک هایی که داده شده است چگونه است.
  • تازگی محتوا : محتوای صفحه هر چند وفت یکبار بروز میشود ؟
  • نوع صفحه : احتمال تغییر محتوا در این صفحه هر چند مدت چقدر است ؟

اهمیت  Crawl Budget 

در مواردی پیش آمده است که شما چندین مقاله از ماه ها پیش منتشر کرده اید اما هنوز ایندکس نشده اند. یا بعضی از مقالات شما چند هفته بعد ایندکس میشوند. چرا بعضی از صفحات هیچگاه ایندکس نمیشوند. این ها مواردی است که از خود میپرسید.
بهترین بودجه خزش : وقتی صفحه ای منتشر میکنید انتظار دارید که گوگل هرچه زودتر آن را ایندکس کند. بدون اینکه بخواهید صفحه موردنظر را به گوگل با دستور Fetch معرفی کنید. و با ایندکس شدن متعدد صفحات تازه شما، میتوانید از نتایجی که میبینید لذت کامل را ببرید.
سناریوی بد بودجه خزش : اگر نرخ کراول سایت خود را هدر دهید. ربات های گوگل نمیتوانند به خوبی سایت شما را کروال کنند. و از این میان بخش هایی را ایندکس میکنند که برای شما اهمیت کمتری داشته است. و در این حالت گوگل صفحاتی که برا یشما مهم است را ممکن است هیچگاه ایندکس نکند. و هرچه برای تولید محتوای بهینه زحمت میکشید هدر خواهد

ادامه دارد …..

تیم تحریریه وب سازان مرصاد
تیم تحریریه وب سازان مرصاد

تیم تحریریه وب سازان مرصاد متشکل از محتوا نویسان است که به کوشش آن ها مقالاتی برای افزایش دانش شما در زمینه طراحی سایت ، سئو و دیجیتال مارکتینگ تولید میشود.

پست های مرتبط را مطالعه کنید ...