crawl budget چيست؟

چگالي خزش سايت ميانگين تعداد صفحاتي است كه روزانه پيمايش مي شوند. در واقع از طريق چگالي خزش تعيين مي كنيم كه گوگل چقدر براي پيمايش سايت شما زمان صرف مي كند.

هدف گوگل ارائه اطلاعات مفيد براي كاربراني است كه در وب جستجو مي كنند. براي رسيدن به اين هدف گوگل بايد محتوا را از منابع باكيفيت، ايندكس و ارزيابي كند.

پيمايش در وب فرآيندي هزينه بر است. گوگل مقدار زيادي انرژي براي خزيدن در وب سايت هاي تمام ايران در يك سال مصرف مي كند. ربات ها بايد الگوريتم هاي برنامه ريزي شده اي را كه تعيين مي كنند كدام وب سايت ها در چه زماني crawl شوند، به منظور ارزيابي تعداد هرچه بيشتر صفحات دنبال كنند. اهميت رتبه بندي صفحات گوگل از اين امر حكايت مي كند كه راه هايي قابل سنجش براي تعيين اين كه چه صفحاتي اولويت بندي شوند، وجود دارد.

شاخصي با معيارهاي ثابت براي پيمايش يك سايت وجود ندارد. پيمايش هاي موجود براساس آنچه كه گوگل فكر مي كند توسط سرور شما انجام مي شود و علائق كاربران به صفحات وب سايت شما، انجام مي شوند.

چرا بايد چگالي خزش خود را بهينه سازي كنيد؟

به كمك اطلاعات ارائه شده توسط شركت OnCrawl از ميليون ها صفحه به اين نتيجه رسيديم كه رابطه اي بين تعداد دفعات پيمايش شدن يك صفحه توسط گوگل و تعداد نمايش هايي كه آن صفحه دريافت مي كند، وجود دارد. صفحاتي كه بيشتر پيمايش مي شوند، اغلب در نتايج جستجو بيشتر ديده مي شوند.

اين ارتباط بيانگر اين است كه شما مي توانيد از بهينه سازي چگالي پيمايش وب سايت به عنوان يك استراتژي استفاده كنيد تا گروهي از صفحات را در نتايج جستجو ارتقاء دهيد. براي بالا آوردن اين صفحات در نتايج جستجو بايد آنها را در يك دوره زماني مناسب نسبت به صفحات ديگر وب سايتتان براي گوگل ارتقاء دهيد.

با به كارگيري استراتژي هاي بهينه سازي چگالي خزش مي توانيد توجه گوگل را از برخي صفحات منحرف و به برخي صفحات جلب كنيد و از اين طريق مقدار نمايش صفحاتي را كه در وب سايتتان ماهيت فصلي دارند، افزايش دهيد.

شما بايد:

• چگالي پيمايش كلي وب سايت خود را بهينه سازي كنيد.
• با استفاده از تكنيك هايي كه به آن ها از دسته بندي صفحات اصلي در ساختار سايت تان لينك داده شده است، عمق صفحات فصلي مهم را كاهش دهيد.
• محبوبيت داخلي صفحات مهم را، با ساخت بك لينك هايي از صفحاتي مرتبط افزايش دهيد.

1. نظارت بر crawl budget سايت

سرچ كنسول گوگل، تركيبي از مقادير crawl stat را براي بازديدكنندگان از همه رباتهاي گوگل ارائه مي دهد. در اطلاعات ارائه شده توسط OnCrawl مشاهده كرديم كه علاوه بر 12 ربات رسمي، يك ربات ديگر هم با نام Google AMP وجود دارد. اين ربات اطلاعات همه URL ها را نظير JavaScript، CSS و URL هاي فونت و عكس، براي همه ربات ها دربر مي گيرد.

به دليل متفاوت بودن رفتار ربات ها، مقادير داده شده به طور ميانگين ارائه مي شوند. براي مثال از آنجايي كه ربات هاي AdSense و موبايل برخلاف ربات Googlebot دسكتاپ، بايد هر صفحه را به طور كامل بخوانند، زمان ارائه شده براي بارگذاري صفحه، ميانگيني بين زمان هاي بارگذاري تقريبي و زمان هاي بارگذاري كامل هستند.

اين امر براي تحليل هاي سئو كافي نيست.

از اين رو مطمئن ترين روش براي سنجش چگالي خزش سايت شما، بررسي منظم log هاي سرور سايت تان مي باشد. وب سرورها هر فعاليتي را ضبط مي كنند؛ به اين اطلاعات log گفته مي شود. اين log ها براي عيب يابي مشكلات مربوط به عملكرد سايت مورد استفاده قرار مي گيرند.

هر فعاليتي كه در فايل log قرار ميگيرد، در واقع درخواستي براي يك URL است. هر خط فايل log شامل اطلاعاتي نظير آدرس IP كه درخواست را ارسال كرده، آدرس URL، تاريخ، ساعت و همچنين كد وضعيت نتيجه درخواست مي باشد. به عنوان مثال :

("www.mywebsite.com:443 66.249.73.156 [15/Aug/2018:00:02:59 +0000] "GET /news/my-article-URL HTTP/1.1" 200 44506 "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html

با شناسايي همه درخواست هاي ايجاد شده از ربات هاي گوگل، شما مي توانيد تعداد بازديد هاي ربات هاي گوگل را در يك دوره زماني معين دقيقا اندازه گيري كنيد. نتيجه اين سنجش، بهبود چگالي خزش شما است.

عدد به دست آمده در نتيجه اين بررسي نمي تواند به شما بگويد كه آيا گوگل به صفحات سايت شما به اندازه كافي توجه مي كند يا خير. خزنده هاي سئو با قابليت نظارت بر log ها مانند OnCrawl، معيارهاي ديگري را هم براي سنجش سلامت چگالي خزش وب سايتتان ارائه مي كنند.

از آنجايي كه چگالي خزش شاخص تعيين كننده ايندكس صفحات بروزرساني شده و جديد يك سايت است، بايد مشكلات و تغييرات ناگهاني را مد نظر قرار دهيد.

2. رفع كردن مشكلات سرور

اگر كه سايت شما سرعت بسيار كمي داشته باشد يا سرور سايتتان، خطاهاي سرور و يا تايم اوت سرور زيادي را نشان دهد، گوگل به اين نتيجه مي رسد كه سايت شما نمي تواند تقاضاي بيشتري را براي صفحاتش پشتيباني كند.

شما مي توانيد مشكلات مربوط به سرور را با رفع كدهاي وضعيت 400 و 500 و اصلاح عوامل مرتبط با سرور برطرف كنيد.

بررسي لاگ، كليدي براي عيب يابي و رفع مشكلات سرور است زيرا log ها كد وضعيت و تعداد بايت هاي دانلود شده را نشان مي دهند.

اگر سايت شما توسط يك سرور اشتراكي پشتيباني مي شود، باز هم مي توانيد به واسطه كش سرور (caching)، شبكه توزيع محتوا (CDN)، بهينه سازي اندازه عكس ها، بروزرساني نسخه PHP و استفاده از تكنيك هاي كند و ناهماهنگ بارگذاري براي منابع، كارايي سرور خود را بهبود بخشيد.

3. هدايت ربات هاي خزنده به سمت صفحات فصلي

خزنده گوگل را به طرف صفحاتي كه مي خواهيد در آنها رنك بگيريد، هدايت نماييد و از قسمت هاي نامناسب سايتتان دور كنيد. چگالي خزش شما به جاي پيمايش صفحات جديد يا به روز رساني شده، صرف كارهاي ديگري مي گردد.  

اطلاعات بدست آمده از بررسي لاگ، تصويري را از آنچه كه گوگل ارزيابي مي كند و چيزهايي كه توسط اين غول فناوري كشف نمي شود، ارائه مي سازد.

ادغام اطلاعات log با اطلاعات بدست آمده از ربات هاي خزنده سئو، به شما در پاسخ دادن به سوالات زير كمك مي كند:

• آيا صفحات پيمايش شدند با وجود اين كه غير قابل ايندكس (non-indexable) هستند؟ آيا اين صفحات در نقشه وب سايت هستند؟
• آيا صفحات پيمايش شده اي كه كد وضعيت 200 را بازگشت نداده باشند، وجود دارند؟
• آيا گوگل URL هاي شامل تصاوير، فايل هاي PDF و فايل هاي رسانه اي ديگر را پيمايش مي كند؟
• آيا گوگل صفحاتي از سايت شما را كه توسط هيچ كاربري بازديد نميشود، پيمايش مي كند؟
• آيا گوگل تعداد زيادي از صفحات ريدايركت شده را پيمايش مي كند؟

اگر به هر يك از اين سوالات پاسخ مثبت دهيد، مي توانيد چگالي خزش اين منابع را با عدم پيمايش توسط ربات ها آزاد كنيد. اهدافي را كه بيشترين بودجه را مصرف مي كنند در اولويت قرار دهيد.

تحليل هاي شركت OnCrawl، مي توانند روابط بين اين عوامل را هم نشان دهند:

• عمق صفحات در ساختار سايت شما و تعداد دفعات پيمايش صفحه
• كدهاي وضعيت و تعداد دفعات پيمايش صفحه
• محبوبيت صفحات بر حسب دفعات بازديد و تعداد دفعات پيمايش صفحه
• ساختار لينك هاي داخلي و تعداد دفعات پيمايش صفحه

اگر كه مي خواهيد صفحات فصلي بسازيد، اين روابط تاثير بالايي در كار شما خواهند داشت. روابط فوق بهترين نوع محتوا و ساختار را در وب سايت شما نمايش مي دهند. ساختار لينك صفحات فصلي سايت خود را طوري اصلاح كنيد كه اين صفحات نسبت به صفحات زيرين سايت، بالاتر قرار گيرند.

داده هاي پيمايش سايت و بررسي log، صفحاتي را كه لينك دريافت نكرده اند و صفحاتي را كه توسط خزنده گوگل پيمايش مي شوند، نيز به شما نشان مي دهند. اگر كه اين صفحات توسط خزنده گوگل بازديد ميشوند آنها را به ساختار سايت خود متصل كنيد تا از مزيت ترافيك جستجوي آن ها هم بهرمند شويد؛ در غير اينصورت توصيه مي شود كه آن صفحات را حذف كنيد يا رابطه بين ربات ها و آن را قطع كنيد.

4. بهينه سازي Googlebot

انسان ها مي توانند كارهايي را انجام دهند كه ربات ها قادر به انجام آن ها نيستند يا نبايد آن ها را انجام دهند. براي مثال ربات ها بايد بتوانند به صفحه ثبت نام شما دسترسي پيدا كنند اما آنها نبايد سعي كنند ثبت نام كرده و يا وارد سيستم شوند. ربات ها فرم هاي تماس را تكميل نمي كنند، به كامنت ها جواب نمي دهند، نظر و امتياز نمي دهند، در خبرنامه عضو نمي شوند، به فاكتورهاي خريد كالايي را اضافه نمي كنند و سبد خريد شما را نمي بينند.

تا زماني كه شما به ربات ها دستور توقف ندهيد، آن ها لينك هاي مورد نظر را دنبال مي كنند. از لينك هاي nofollow به خوبي استفاده كنيد و محدوديت هايي را در فايل robots.txt خود اعمال كنيد تا ربات ها را نسبت به محدوديت هايشان مطلع سازيد. انجام اين اقدامات تا حدي چگالي خزش شما را براي صفحات با اهميت سايت، آزاد مي كند.

5. بهبود كيفيت محتوا

بيانيه هاي رسمي منتشر شده توسط گوگل نشان مي دهند كه چگالي خزش، به ميزان زيادي تحت تاثير كيفيت محتواي شما قرار دارد.

شواهد بدست آمده از تركيب داده هاي log و تحليل هاي معنايي انجام شده توسط OnCrawl هم اين حقيقت را تاييد مي كنند. در بيشتر سايت ها بين عوامل زير رابطه وجود دارد:

• تعداد لغات و رفتار پيمايش
• محتواي تكراري و رفتار پيمايش
• پيج رنك داخلي و رفتار پيمايش

شما همچنين بايد از مزيت محتواي باكيفيت براي تقويت كردن صفحات ضعيف تر با به كارگيري موارد زير استفاده كنيد:

• لينك هاي خارجي
• ساختارهاي لينك داخلي
• بهينه سازي Canonical

اگر صفحات فصلي وب سايت خود را ارتقاء مي دهيد، ابتدا اين صفحات را بهينه سازي كنيد. گزارشات ارائه شده توسط چگالي خزش ها نشان مي دهند كه كدام صفحات سايت شما مزاياي بيشتري را از اين بهينه سازي ها دريافت مي كنند.

بهينه سازي چگالي خزش

يك چگالي خزش بهينه، كليد افزايش نرخ بازگشت سرمايه (ROI) در اقدامات صورت گرفته در رابطه با سئو است زيرا اين اطمينان را ايجاد مي كند كه گوگل صفحات بهينه شده شما مي بيند.

زماني كه بهينه سازي هاي مورد نظرتان را اعمال كرديد، باز هم چگالي خزش سايت خود را نظارت كنيد. اين نظارت شما را قادر مي سازد تا نتايج را بسنجيد و براي واكنش نشان دادن به تغييرات احتمالي آماده باشيد.