همانطور كه در قسمت قبل ياد گرفتيد، براي اين كه سايت شما در SERP ها نمايش داده شود، بايد مطمئن شويد كه محتواي آن قابل كراول و ايندكس شدن مي باشند. شما مي توانيد با استفاده از گوگل و جستجوي "site:yourdomain.com" و يا با استفاده از قسمت جستجوي پيشرفته، بررسي كنيد كه كدام صفحات و چند صفحه از وبسايت شما، توسط گوگل ايندكس شده است.

به گوگل برويد و در قسمت نوار جستجو "com.نام دامنه:site" را تايپ كنيد. با انجام اين كار گوگل نتايجي را نشان مي دهد كه ايندكس آن سايت را مشخص مي كنند.

تعداد نتايجي كه گوگل نشان داده است (قسمت "About __ results" در تصوير بالا)، دقيق نيست اما مي تواند به صورت كلي به شما نشان دهد كه كدام صفحات در وبسايت شما ايندكس شده است و نحوه نمايش كلي آن ها در موتور جستجو به چه صورت است.

براي نتايج دقيق تر، شما مي توانيد از گزارش Index Coverage در Google Search Console استفاده كنيد. اگر تا به حال از اين سرويس استفاده نكرده ايد، مي توانيد به صورت رايگان در حساب هاي Google Search Console ثبت نام كنيد. با اين ابزار، شما مي توانيد نقشه سايت براي سايت خودتان ارائه كنيد و بررسي كنيد كه كدام يك از صفحه هاي ارائه شده در نقشه سايت، به ايندكس گوگل اضافه شده اند.

اگر شما در هيچ كدام از نتايج جستجوي گوگل ديده نمي شويد، احتمالا چند دليل وجود دارد:

• سايت شما خيلي جديد است و گوگل هنوز آن را كراول نكرده است
• لينك سايت شما در هيچ وبسايت خارجي ديگري (وب سايتي جز وب سايت خودتان) قرار نگرفته است.
• مسير يابي در سايت شما به گونه اي است كه ربات هاي خزنده به صورت موثر نمي توانند آن را بررسي كنند.
• سايت شما داراي يك سري كد هاي اوليه با نام دستورالعمل هاي كراولر (crawler directives) مي باشد كه مانع دسترسي خزنده هاي موتور جستجو به سايت شما مي شود.
• سايت شما به دليل فعاليت هاي اسپمي، توسط گوگل جريمه شده است.

در صورتي هيچ سايت ديگري لينك هاي سايت شما را در محتوايش قرار نداده باشد، باز هم مي توانيد با ارائه نقشه سايت XML در Google Search Console و يا وارد كردن URL ها به صورت دستي در گوگل، ايندكس شويد. البته هيچ تضميني نيست كه URL هاي ارائه شده حتما ايندكس شوند اما باز هم ارزش امتحان كردن را دارد!

آموزش سئو با پاسخ به سوالاتي درباره كراول گوگل

• آيا موتورهاي جستجو مي توانند كل سايت شما را ببينند؟

گاهي اوقات موتور جستجو مي تواند بخش هايي از سايت شما را با كراول كردن ببيند، اما ممكن است بعضي از بخش هاي آن براي موتور جستجو به هر دليلي، در دسترس نباشد. شما بايد مطمئن شويد كه موتورهاي جستجو مي توانند تمام محتوايي كه مي خواهيد ايندكس شود را مشاهده كند، نه اين كه فقط صفحه اصلي سايت تان براي موتور جستجو قابل رويت باشد.

از خودتان بپرسيد : آيا ربات هاي خزنده مي توانند كل سايت شما را بررسي كنند؟

• آيا محتواي سايت شما پشت فرم هاي ورود اطلاعات پنهان شده است؟

اگر شما كاربران خودتان را ملزم مي كنيد كه قبل از دسترسي به محتواي خاصي، فرم پر كنند يا به نظر سنجي پاسخ دهند، در اين صورت موتور جستجو نمي تواند اين صفحه هاي محافظت شده را ببيند. قطعا يك خزنده هيچ اطلاعات يا نظر سنجي را تكميل نمي كند!

• آيا شما متكي بر فرم هاي جستجو كار مي كنيد؟

ربات ها نمي توانند از فرم هاي جستجو استفاده كنند. بعضي از افراد فكر مي كنند اگر يك جعبه جستجو در سايت خودشان قرار دهند، موتورهاي جستجو مي توانند هر چيزي كه كاربر مي خواهد را پيدا كنند.

• آيا متن داخل محتواي غير متني پنهان شده است؟

فرمت هاي غير متني (تصاوير، ويديو، GIF و غيره) را نبايد براي نمايش متوني استفاده كنيد كه مي خواهيد ايندكس شوند. در حالي كه موتورهاي جستجو از نظر شناسايي و درك تصاوير پيشرفت زيادي كرده اند، اما باز هم هيچ تضميني وجود ندارد كه آن ها بتوانند تصاوير را به صورت كامل بخوانند و آن ها را درك كنند. هميشه تلاش كنيد كه متون را با نشانه گذاري هاي در وب سايت خودتان قرار دهيد.

• آيا موتورهاي جستجو مي توانند مسير يابي سايت شما را دنبال كنند؟

همانطور كه يك خزنده بايد سايت شما را از طريق لينك هايي كه در سايت هاي ديگر وجود دارد پيدا كند، همچنين به مسيري از لينك ها در سايت خودتان نياز دارد تا از يك صفحه به صفحه ديگري برود. در صورتي كه شما صفحه اي داريد كه مي خواهيد موتور جستجو آن را پيدا كند اما در هيچ كدام از صفحه هاي ديگر سايت تان لينكي به اين صفحه وجود ندارد، در اين صورت آن صفحه براي موتور جستجو نامرئي خواهد بود. بسياري از سايت ها اين اشتباه كليدي را انجام مي دهند و مسير يابي (navigation) سايت خودشان را به صورتي طراحي مي كنند كه بسياري از صفحه ها براي موتورهاي جستجو، نامرئي مي شوند و در نتيجه سايت آن ها در نتايج جستجوي كاربران نشان داده نمي شود.

اشتباهات navigation سايت و عدم دسترسي خزنده موتور جستجو به سايت

• استفاده از مسيريابي هاي موبايل كه نتايج متفاوتي نسبت به مسير يابي هاي دسكتاپ را نمايش ميدهد
• مسيريابي آيتم هاي منوي سايت كه به زبان HTML نيستند، مانند مسيريابي هاي مبتني بر جاوا اسكريپت. گوگل در زمينه كراول كردن و درك كردن جاوا اسكريپت پيشرفت زيادي داشته است اما هنوز به فرآيند عالي در اين زمينه نرسيده است. براي اين كه مطمئن شويد محتواي خاصي توسط گوگل ايندكس مي شود، اين است كه آن محتوا را به زبان HTML در سايت قرار دهيد.
• شخصي سازي يا نشان دادن مسير يابي هاي خاص براي نوع خاصي از كاربران باعث مي شود كار بررسي سايت توسط خزنده ها دشوار شود.
• عدم قرار دادن لينك به صفحه هاي اصلي در وبسايت در فرايند مسيريابي سايت. به ياد داشته باشيد كه خزنده ها از لينك ها به عنوان مسير پيمايش سايت شما استفاده مي كنند!

به همين دليل، سايت شما بايد يك مسيريابي شفاف و ساختار دسته بندي URL مفيدي داشته باشد.

معماري اطلاعات

معماري اطلاعات (Information architecture) به منظور سازماندهي محتوايي است كه در وبسايت شما وجود دارد تا كارايي و قابليت رويت محتوا براي كاربران افزايش پيدا كند. بهترين معماري اطلاعات، به گونه اي است كه درك آن ساده باشد، يعني اين كه كاربر مجبور نباشد براي بررسي سايت شما و يافتن يك موضوع، خيلي تلاش كند.

سايت شما بايد يك صفحه 404 مفيد (صفحه اخطار page not found) داشته باشد تا وقتي كه كاربر بر روي يك لينك خراب يا URL اشتباه كليك مي كند، اين صفحه نشان داده شود. صفحه هاي خوب 404 به كاربر اين امكان را مي دهد تا با كليك بر روي لينك فراهم شده دوباره به صفحه اصلي سايت بروند تا به خاطر اين كه بر روي لينك اشتباه يا خراب كليك كرده اند، سايت شما را ترك نكنند.

آموزش سئو با نحوه فعاليت وب كراولرها

به علاوه تضمين اين كه خزنده ها مي توانند صفحات مهم شما را بررسي كنند، شما مي توانيد صفحه هايي را در سايت خودتان طراحي كنيد كه خزنده ها به آن ها دسترسي نداشته باشند. اين صفحه ها ممكن است شامل URL هاي قديمي با محتواي ضعيف، URL هاي تكراري (مانند پارامتر هاي دسته بندي و فيلتر براي سايت هاي فروشگاهي) و يا صفحه هاي پرومو كد خاص، صفحه هاي تست يا دسته بندي و غيره باشند.

مسدود كردن دسترسي موتور جستجو به صفحه هاي خاص در وبسايت باعث مي شود كه خزنده ها بتوانند مهم ترين صفحه هاي سايت شما را اولويت بندي كنند و در نتيجه بودجه خزش (crawl budget) سايت شما به بيشترين مقدار برسد (بودجه خزش به معني ميانگين تعداد صفحه هايي است كه ربات موتور جستجو بر روي سايت شما كراول مي كند).

دستورالعمل هاي خزنده (Crawler directive) به شما اين امكان را مي دهد تا خزنده Googlebot را كنترل كنيد تا صفحه هايي را كراول و ايندكس كند كه شما مي خواهيد. اين دستور ها با استفاده از فايل هاي robots.txt، متا تگ، فايل هاي sitemap.xml يا Google Search Console ايجاد مي شوند كه در ادامه اين مقاله، اين چهار مورد را بررسي ميكنيم:

1. Robots.txt

اين فايل هاي Robots.txt در مسير اصلي وبسايت قرار دارند (مثلا، yourdomain.com/robots.txt) و نشان مي دهند كه موتور جستجو بر اساس دستورات خاص Robots.txt، كدام صفحه ها را بايد كراول كند و به كدام صفحه ها دسترسي نداشته باشد. وقتي كه مي خواهيد صفحه هاي غير خصوصي را از دسترس موتورهاي جستجو خارج كنيد، اين روش يكي از بهترين روش ها مي باشد.

شما نبايد با استفاده از اين روش، صفحه هاي خصوصي و حساس را از دسترس موتور جستجو خارج كنيد زيرا اگر شما آدرس اين صفحه ها را در اين فايل قرار دهيد، ربات هاي موتور جستجو يا كاربران به راحتي به آن دسترسي خواهند داشت.

نكات حرفه اي :

• در صورتي كه گوگل نتواند يك فايل txt را براي سايت شما پيدا كند (كد وضعيت 40X HTTP)، كراول سايت شما را ادامه ميدهد.
• در صورتي كه ربات گوگل بتواند يك فايل txt را براي سايت شما پيدا كند (كد وضعيت 20X HTTP)، معمولا مطابق با پيشنهادات و دستور هاي اين فايل، سايت شما را كراول مي كند.
• در صورتي كه ربات گوگل نه كد وضعيت 20X و نه 40X HTTP را پيدا كند (مثلا، خطاي سرور 501)، در اين صورت نمي تواند تشخيص دهد كه آيا شما يك فايل txt داريد يا خير و در نتيجه سايت شما را كراول نمي كند.

2. متا تگ ها (دستور هاي متا)

دو نوع از دستورات متا وجود دارد كه با نام Meta robots tag (كه روش رايجي هستند) و X-robots-tag شناخته مي شوند. هر كدام از اين موارد، دستورات قوي تري را در رابطه با نحوه كراول كردن و ايندكس كردن محتواي URL، در اختيار ربات خزنده قرار مي دهند.

اگر شما مي خواهيد در مقياس بالا دسترسي موتور جستجو را به سايت خودتان محدود كنيد، مي توانيد از X-robots-tag استفاده كنيد زيرا اين دستور انعطاف و كاربرد بيشتري دارد به اين دليل كه با استفاده از اين دستور، شما مي توانيد از عبارات معمول استفاده كنيد، فايل هاي غير HTML را بلاك كنيد و تگ noindex را بر روي كل سايت خودتان قرار دهيد.

اين تگ ها، براي بلاك كردن URL هاي حساس يا خصوصي در سايت بهترين گزينه هستند.

براي هر URL حساس، بهتر است كه آن ها را از صفحات حذف كنيم و يا براي دسترسي به اين URL ها، يك فرآيند ورود امن (secure login) در نظر بگيريم.

در قسمت Dashboard > Settings > Reading، مطمئن شويد كه جعبه "قابليت رويت توسط موتور جستجو" تيك نخورده باشد. اين كار باعث مي شود كه موتور جستجويي كه به سايت شما مي آيد، بر اساس فايل robots.txt به صفحه مورد نظر دسترسي نداشته باشد.

اگر بتوانيد اين مشكلات را رفع كنيد، محتواي شما محتوايي شفاف و قابل كراول مي شود كه ربات ها مي توانند به راحتي به آنها دسترسي داشته باشند.

زماني كه مطمئن شديد كه سايت شما كراول شده است، كار بعدي اين است كه مطمئن شويد اين محتوا ايندكس مي شود.

3. نقشه سايت

ماهيت نقشه سايت بر اساس نامش كاملا مشخص است؛ ليستي از URL ها در سايت شما كه خزنده ها مي توانند از آن استفاده كنند تا محتواي سايت شما را كشف كرده و آن را ايندكس كنند. يكي از راحت ترين روش ها براي تضمين اين كه گوگل مهمترين صفحه هاي شما را پيدا مي كند، اين است كه فايلي را تهيه كنيد كه مطابق با استاندارد هاي گوگل باشد و از طريق Google Search Console، آن فايل را ارائه كنيد. در حالي كه ارائه يك نقشه سايت نياز شما به يك مسير يابي خوب براي سايت را رفع نمي كند، اما به خزنده ها كمك مي كند تا از يك مسير براي رسيدن به صفحه هاي مهم سايت شما استفاده كنند.

4. Google Search Console

بعضي سايت ها (بيشتر سايت هاي فروشگاهي) با قرار دادن پارامتر هاي خاص در URL ها، يك محتوا را بر روي چندين URL قرار مي دهند. در صورتي كه شما تا كنون خريد آنلاين انجام داده باشيد، احتمالا ديده ايد كه مي توانيد با استفاده از فيلتر هاي مختلف، حوزه جستجوي خودتان را محدودتر كنيد. به عنوان مثال، شما مي توانيد در سايت آمازون، قسمت "كفش ها" را جستجو كنيد و سپس بر اساس سايز، رنگ، و  مدل كفش، جستجوي خودتان را اصلاح كنيد. هر بار كه شما كار اصلاح جستجو را انجام مي دهيد، اين URL اندكي تغيير مي كند. گوگل از كجا بايد بفهمد كه كدام URL مطابق با جستجوي كاربر است؟ گوگل مي تواند به خوبي مشخص كند كه كدام URL اصلي است، اما شما مي توانيد از پارامتر هاي URL در Google Search Console استفاده كنيد و به گوگل دقيقا بگويد كه از كدام URL براي نمايش صفحه شما استفاده كند.