بودجه خزش مفهومي است كه حتما در حين يادگيري سئو سايت با آن روبرو شده ايد. يكي از مسائل نگران كننده براي مديران وب سايت ها اين است كه صفحه جديدي كه بر روي سايت خود ايجاد مي كنند حتي بعد از گذشت چند هفته همچنان توسط گوگل ايندكس نشده باشد. اين مساله يكي از اتفاق هاي ناخوشايندي است كه اگر با بودجه خزش و نحوه عملكرد خزنده هاي گوگل آشنايي نداشته باشيد ممكن است براي شما نيز رخ بدهد.

بنابراين اگر فكر مي كنيد هنوز اين مفاهيم را به خوبي درك نكرده ايد ادامه اين مطلب را از دست ندهيد. آشنايي با بودجه خزش شما را در بالا بردن رتبه سايت خود و ايندكس شدن صفحات آن توسط گوگل كمك مي كند.

بودجه خزش چيست؟

در ابتداي بحث لازم است اطلاعاتي در رابطه با خزنده هاي گوگل و ربات ها داشته باشيم تا به خوبي درك كنيم كه بودجه خزش چيست. روزانه تعدادي از صفحات سايت شما توسط خزنده هاي گوگل بررسي مي شوند و ممكن است اين خزنده ها برخي از صفحات را ايندكس كنند. به اين معنا كه اطلاعات آن صفحه در پايگاه داده موتور جستجو ذخيره شده و به كاربران نمايش داده مي شود.

بودجه خزش (Crawl Budget) به تعداد صفحاتي از سايت شما گفته مي شود كه در هر روز توسط خزنده ها بررسي مي شوند. اين ميزان مي تواند به طور روزانه تغيير كند، اما در كل به عنوان يك فاكتور نسبتا پايدار شناخته مي شود.

عوامل زيادي وجود دارند كه نرخ كراول يا خزيدن ربات ها را تعيين مي كنند. از جمله اين عوامل مي توان به موارد زير اشاره كرد:

1. نوع صفحه
2. جديد بودن صفحه
3. تعداد لينك هاي داخلي و خارجي

اگر اخيرا صفحه اي را در وب سايت خود ايجاد كرده ايد و دوست داريد هر چه سريعتر به كاربران نمايش داده شود و رتبه خوبي كسب كند، بايد كراولرها (خزنده هاي موتور جستجو) را به سمت آن بكشانيد. درواقع گاهي ممكن است مدت ها طول بكشد تا خزنده ها متوجه يك صفحه جديد شوند؛ بنابراين اگر مي خواهيد سئو سايت خود را با اتلاف وقت كمتري بهبود ببخشيد، بايد به درستي بدانيد بودجه خزش چيست و از چه راه هايي مي توان آن را ارتقا داد.

كراولرهاي گوگل چه فرآيندي را طي مي كنند؟

تا اينجا دريافتيم كه بودجه خزش يا Crawl Budget چيست اما شايد شما هم كنجكاو باشيد كه بدانيد خزنده ها و ربات ها دقيقا چطور كار مي كنند. همانطور كه گفتيم وظيفه خزنده ها، كراول كردن صفحات سايت و ايندكس كردن موارد مفيد است. براي اين كار يك ربات ليستي از URLهاي سايت را دريافت مي كند و مطابق آن عمل مي كند. اين خزنده ها با مشاهده نقشه سايت و بك لينك ها تصميم مي گيرند كه در گام بعدي چه صفحاتي را اسكن كنند.

اگر ربات گوگل متوجه خرابي يا تغيير در برخي از لينك ها شود، صفحه ايندكس شده خود را به روزرساني مي كند.به عبارت ديگر هدف خزنده هاي گوگل اين است كه محتواهاي مفيد سايت هاي مختلف را ايندكس كنند، تا زماني كه يك كاربر عبارتي را جستجو مي كند، به روزترين و مفيدترين صفحات را مشاهده كند؛ بنابراين خزنده هاي گوگل با دقت زيادي مراقب داده هاي ايندكس شده هستند.

خزنده هاي گوگل به طور مداوم فايل robots.txt در سايت شما را بررسي مي كنند تا مطمئن شوند كه اجازه دسترسي و اسكن كردن صفحات سايت را دارند.

چگونه متوجه شويم كه بودجه خزش سايتمان كم شده است؟

هزاران سايت در بستر اينترنت وجود دارند كه روزانه مطالب جديدي را منتشر مي كنند يا محتواهاي قبلي خود را به روزرساني مي كنند. براي اينكه تمام اين سايت ها بررسي شده و بهترين موارد براي نمايش به كاربران برگزيده شوند، گوگل نيازمند يك ساختار قدرتمند و عظيم است. خزنده هاي گوگل در هر روز تعداد زيادي از سايت ها را اسكن مي كنند؛ با اين حال هنوز هم نمي توانند زمان نامحدودي را براي اسكن يك سايت اختصاص دهند، بلكه براي هر سايت يك بودجه خزش معين وجود دارد.

پس در صورتي كه مي خواهيد صفحات مهم تري در سايت شما ايندكس شوند، بايد صفحات غيرضروري و اضافي را از دسترس ربات ها خارج كنيد تا وقت خود را براي مطالب مفيدتري صرف كنند. به اين ترتيب با بهينه سازي نرخ بودجه خزش، قادر خواهيد بود تعداد صفحات ايندكس شده خود را افزايش دهيد و رتبه خوبي در نتايج جستجوي گوگل به دست آوريد.

اما سوال اساسي اين است كه از كجا متوجه شويم بودجه خزش سايتمان كم شده است؟ سريع ترين راه براي كشف اين موضوع مشاهده گزارش هاي سرور سايت است. براي اينكار مراحل زير را طي كنيد:

1. با مراجعه به سرچ كنسول سايت خود و كليك روي Settings، گزينه Crawl stats را انتخاب كنيد.
2. در اين بخش شما به صفحاتي كه خزيده شده اند دسترسي خواهيد داشت.
3. ميانگين صفحات خزيده شده (Average crawled per day) در روز را محاسبه كنيد و آن را يادداشت كنيد.

حالا بايد تعداد كل صفحات سايتتان را بر عدد ميانگين تقسيم كنيد. اگر در انتها عددي كه به دست مي آوريد بيشتر از ۱۰ باشد، به اين معناست كه ربات هاي گوگل مي توانند روزانه تنها يك دهم از صفحات شما را اسكن كنند. پس به نظر مي رسد بهتر است بودجه خزيدن سايتتان را بهينه كنيد. اگر عددي كه به دست آورديد كمتر از ۳ باشد جاي نگراني نيست و بودجه خزش سايت شما نسبتا مطلوب است.

گوگل كدام url ها را كراول مي كند؟

اكنون به اجمال فهميديم كه بودجه خزش چيست و خزنده هاي گوگل چطور رفتار مي كنند. سوال بعدي كه بايد به آن پاسخ دهيم اين است كه ربات ها كدام URLها را كراول يا اسكن مي كنند؟ مهم ترين راهي كه خزنده هاي گوگل از طريق آن به صفحات يك سايت دسترسي پيدا مي كنند، نقشه xml سايت است. علاوه بر اين پيوندهاي داخلي يا خارجي نيز ربات ها را به سايت شما هدايت مي كنند؛ به همين خاطر همواره توصيه مي شود نقشه سايت را به طور مرتب چك كنيد تا از سالم بودن URLها مطمئن شويد.

روش هاي افزايش بودجه كراول

قطعا صرف اينكه بدانيم بودجه خزش چيست كمكي به بهبود سئو سايت ما نخواهد كرد. بنابراين بايد راهكارهاي عملي را براي بهينه كردن بودجه كراول يا خزش سايت به كار ببريم تا به هدف افزايش رتبه سايت دست پيدا كنيم.

در ادامه مهم ترين روش هاي افزايش بودجه خزش( Crawl Budget) را مطرح مي كنيم:

كاهش خطاها

وجود خطاها مانع كراول كردن خزنده ها مي شود و مي تواند به سئو سايت شما لطمه بزند. پس در گام اول براي افزايش بودجه خزش بايد خطاهاي سايت را شناسايي و برطرف كنيد. يك راه ساده براي كشف ايرادات ساختاري و سئو فني اين است كه گزارش هاي سرور خود را دريافت كنيد. همچنين كنسول جستجوي گوگل مي تواند در انجام اين كار به شما كمك كند. در اين مرحله لازم است ريدايركت ۳۰۱ و ۲۰۰ را پيدا كنيد و بقيه URLها را تعمير كنيد. شايد لازم باشد كدها را اصلاح نموده يا URL را به جاي ديگري هدايت كنيد.

مسدود كردن برخي از صفحات سايت

ممكن است در سايت شما صفحاتي وجود داشته باشند كه تمايلي نداريد توسط گوگل ديده شوند. اگر خزنده هاي گوگل وقت خود را براي اسكن كردن اين صفحات تلف كنند بودجه كراول شما كاهش پيدا مي كند و شانس ايندكس شدن صفحات مهم تر را از دست خواهيد داد.

بهترين كار اين است كه مشخص كنيد خزنده ها كدام صفحات را بايد كراول كنند. مي توانيد ساير بخش ها كه نيازي نيست توسط ربات ها اسكن شوند را از طريق robots.txt مسدود كنيد. با اين كار خزنده هاي موتور جستجو به اين صفحات دسترسي نخواهند داشت.

لينك بيلدينگ

از جمله عواملي كه مي تواند به بهبود نرخ كراول سايت شما كمك كند اين است كه لينك هاي خارجي بيشتري دريافت كنيد. لينك سازي بيشتر به معناي كسب اعتبار و افزايش تعداد بازديدهاي سايت است. به همين دليل لينك بيلدينگ هميشه به عنوان يك فاكتور بسيار قدرتمند براي بهبود سئو سايت شناخته مي شود. ايجاد لينك براي برطرف كردن مشكل ايندكس سايت شما موثر خواهد بود و احتمال خزيده شدن صفحات سايتتان را بالا مي برد.

نتيجه گيري

موتور جستجوي گوگل براي رتبه بندي سايت ها از زيرساخت پيشرفته اي به نام خزنده ها يا كراولرها استفاده مي كند. كراولرها ربات هايي هستند كه روزانه چندين سايت را اسكن كرده و محتواهاي مفيد آن ها را ايندكس مي كنند. از آنجا كه خزنده هاي موتور جستجو روزانه قادر به كراول كردن تعداد محدودي از صفحات سايت ها هستند، براي رسيدن به رتبه سايت بهتر بايد صفحاتي كه برايمان اهميت دارند را بيشتر در معرض خزيدن قرار دهيم.

بهبود نرخ بودجه خزش كار دشواري نيست و با شركت در دوره آموزش سئو مي توانيد تكنيك هاي آن را بياموزيد. با اين حال اگر زمان كافي براي انجام اين كار نداريد، پيشنهاد مي كنيم از يك كارشناس سئو كمك بگيريد؛ زيرا نرخ بودجه خزش در سئو سايت اهميت بسيار زيادي دارد و به هيچ وجه نبايد ناديده گرفته شود.