موتورهای جستجو با خزیدن در میلیاردها صفحه با استفاده از خزنده‌های وب (web crawlers) کار می‌کنند. این خزنده‌ها که به‌عنوان اسپایدر یا ربات نیز شناخته می‌شوند در وب حرکت کرده و پیوندها را برای یافتن صفحات جدید دنبال می‌کنند. در نهایت صفحات یافته شده را به فهرستی اضافه کرده که موتورهای جستجو نتایج را از آن استخراج می‌کنند. درک نحوه عملکرد موتورهای جستجو برای انجام سئو بسیار مهم است. زیرا بهینه‌سازی کاری سخت است مگر اینکه سیستم کار موتورها را بدانید! دقیقاً همان چیزی که ما در این راهنما به شما یاد خواهیم داد.
قسمت ۱: اصول اولیه موتورهای جستجو
بیایید با بررسی اینکه موتورهای جستجو چیست، چرا وجود دارند و چگونه کسب درآمد می‌کنند، شروع کنیم:
موتورهای جستجو چیست؟
موتورهای جستجو پایگاه‌داده‌های قابل‌جستجوی محتوای وب هستند. آنها از دو بخش اصلی تشکیل شده‌اند:
⦁ فهرست جستجو: یک کتابخانه دیجیتال اطلاعات در مورد صفحات وب
⦁ الگوریتم‌های جستجو: برنامه رایانه‌ای که نتایج پیدا شده از میان فهرست جستجو را بر اساس تطبیقشان رتبه‌بندی می‌کنند.
هدف موتورهای جستجو چیست؟
هدف هر موتور جستجو ارائه بهترین و مرتبط‌ترین نتایج به کاربران است. این تا حدودی راه به‌دست‌آوردن سهم بازار است.
موتورهای جستجو چگونه کسب درآمد می‌کنند؟
موتورهای جستجو دو نوع نتایج جستجو دارند:
- نتایج ارگانیک از فهرست جستجو: برای حضور در اینجا نمی‌توانید هزینه‌ای بپردازید.
- نتایج جستجوی پولی (از آگهی دهندگان): برای حضور در اینجا می‌توانید هزینه کنید.
هر بار که شخصی روی یک نتیجه جستجوی پولی کلیک می‌کند، تبلیغ‌کننده به موتور جستجو پول می‌پردازد. این حالت به‌عنوان تبلیغات پرداخت به‌ازای کلیک (PPC) شناخته می‌شود و نشان‌دهندهٔ اهمیت سهم بازار است. زیرا کاربران بیشتر به معنای کلیک بیشتر روی تبلیغات و درآمد بیشتر است..
قسمت ۲: چگونه موتورهای جستجو فهرست خود را ایجاد می‌کنند؟
هر موتور جستجو فرایند خاص خود را برای ایجاد فهرست جستجو دارد. در زیر نسخه ساده‌شده‌ای از فرایندی که Google برای ایجاد فهرست خود استفاده می‌کند را آورده‌ایم:
URLها
همه چیز با یک لیست شناخته شده از URLها شروع می‌شود که گوگل آن را به طرق مختلف کشف می‌کند، سه مورد از رایج‌ترین این راه‌ها عبارت‌اند از:
⦁ بک‌لینک‌ها: گوگل دارای فهرستی از صدها میلیارد صفحه وب است. اگر شخصی از یک صفحه شناخته شده به صفحه‌ای جدید پیوند دهد، Google می‌تواند آن را از طریق آن پیدا کند.
⦁ نقشه‌های سایت: نقشه‌های سایت به گوگل می‌گویند که کدام صفحات و فایل‌ها در سایت شما مهم هستند.
⦁ ارسال درخواست URL: گوگل به صاحبان سایت اجازه می‌دهد تا درخواست خزیدن URLهای فردی در کنسول جستجوی گوگل بدهند.
خزیدن (Crawling)
خزیدن وقتی است که یک ربات کامپیوتری به نام عنکبوت،URLهای شناخته شده را بازدید و دانلود می‌کند. خزندهٔ گوگل، Googlebot است.
پردازش و تفسیر
پردازش، مرحله‌ای است که گوگل روی درک و استخراج اطلاعات کلیدی از صفحات خزیده کار می‌کند. برای انجام این کار، باید صفحه را رندر کند، جایی که کد صفحه را اجرا می‌کند تا بفهمد برای چگونه کاربران به نظر می‌رسد. کسی خارج از گوگل از تمام جزئیات این فرایند اطلاعی ندارد، و این مسئلهٔ مهمی نیست. زیرا تنها چیزی که ما واقعاً باید دربارهٔ آن بدانیم، این است که شامل استخراج پیوندها و ذخیره محتوا برای فهرست‌سازی است.
نمایه‌سازی (فهرست‌سازی یا Indexing)
در این مرحله اطلاعات پردازش‌شدهٔ صفحات خزیده شده به فهرست جستجو اضافه می‌شوند. فهرست جستجو همان چیزی است که هنگام استفاده از موتور جستجو، سرچ می‌کنید. به همین دلیل نمایه‌سازی در موتورهای جستجوی اصلی مانند گوگل و بینگ بسیار مهم است؛ زیرا کاربران نمی‌توانند شما را پیدا کنند مگر اینکه در فهرست قرار داشته باشید.
قسمت ۳: موتورهای جستجو چگونه صفحات را رتبه‌بندی می‌کنند؟
کشف، خزیدن و نمایه‌سازی محتوا تنها بخش اول یک پازل است. موتورهای جستجو به روشی برای رتبه‌بندی نتایج منطبق در هنگام جستجوی کاربر نیز نیاز دارند. این کار برعهدهٔ الگوریتم‌های جستجو است.
الگوریتم‌های جستجو چیست؟
الگوریتم‌های جستجو فرمول‌هایی هستند که نتایج مرتبط را از بین فهرست تطبیق داده و رتبه‌بندی می‌کنند. گوگل از فاکتورهای زیادی در الگوریتم‌های خود استفاده می‌کند؛ اما هیچ‌کس تمام فاکتورهای رتبه‌بندی گوگل را نمی‌داند، زیرا گوگل آنها را فاش نکرده است. اما در زیر چند نکتهٔ کلیدی را برای شما آورده‌ایم:
بک‌لینک‌ها
بک‌لینک‌ها پیوندهایی از یک صفحهٔ وب‌سایت به وب‌سایتی دیگر و یکی از قوی‌ترین عوامل رتبه‌بندی گوگل هستند. احتمالاً به همین دلیل است که در مطالعهٔ بیش از یک میلیارد صفحه، همبستگی قوی بین دامنه‌های پیوند و ترافیک ارگانیک مشاهده کردیم. البته همه چیز به کمیت مربوط نمی‌شود و کیفیت هم مهم است. به‌عنوان‌مثال صفحاتی که تعداد کمی بک‌لینک با کیفیت بالا دارند، اغلب از صفحاتی که بک‌لینک‌هایی با کیفیت پایین زیادی دارند، بالاتر هستند.
ارتباط
ارتباط از لحاظ یافتن نتیجه‌ای معین برای جستجوگر بسیار سودمند است. گوگل راه‌های زیادی برای تعیین این موضوع دارد که در ابتدایی‌ترین سطح، به دنبال صفحاتی می‌گردد که حاوی کلمات کلیدی مشابه به عبارت جستجو شده هستند. همچنین به داده‌های تعاملشان نگاه می‌کند تا ببیند آیا دیگران نتیجهٔ یافت شده را مفید می‌دانند.
تازگی و به‌روز بودن
تازگی یک عامل رتبه‌بندی وابسته به پرسش است و این عامل برای جستجوهایی که نیازمند نتایج تازه هستند، اهمیت بیشتری دارد. به‌عنوان‌مثال هنگام سرچ “جدیدترین سریال نتفیلکس” نتایج تازه منتشر شده در بالای لیست قرار می‌گیرند، اما هنگام سرچ “راه‌حل مکعب روبیک” این عامل تفاوت زیادی در رتبه‌بندی سایت ندارد.
سرعت صفحه
سرعت صفحه یک عامل رتبه‌بندی در دسکتاپ و موبایل است. البته بیشتر عامل رتبه‌بندی منفی است تا مثبت. به این دلیل که به‌جای تأثیر مثبت بر صفحات پرسرعت، روی کندترین صفحات تأثیر منفی می‌گذارد.
سازگاری با موبایل
از زمانی که گوگل در سال ۲۰۱۹ به نمایه‌سازی موبایل روی آورد، سازگاری با موبایل یک عامل رتبه‌بندی سایت در موبایل و دسکتاپ بوده است.
قسمت ۴: چگونه موتورهای جستجو نتایج را شخصی‌سازی می‌کنند
گوگل نتایج جستجو را برای هر کاربر جداگانه تنظیم می‌کند. آنها از اطلاعاتی مانند مکان، زبان و سابقه جستجو برای این کار استفاده می‌کنند. بیایید نگاهی دقیق‌تر به این موارد بیندازیم.
محل
گوگل از موقعیت مکانی شما برای شخصی‌سازی نتایج برای یافتن جستجوهایی باهدف محلی استفاده می‌کند. به همین دلیل است که هنگامی که سرچ می‌کنید «رستوران ایتالیایی» نتایج یافت شده از میان رستوران‌های محلی خودتان یا درباره آنها است. گوگل می‌داند که بعید است برای خوردن ناهار نیمی از جهان را طی کنید.
زبان
گوگل می‌داند که نشان‌دادن نتایج انگلیسی به کاربران اسپانیایی فایده‌ای ندارد. به همین دلیل است که نسخه‌های بومی‌سازی شده محتوا (در صورت موجود بودن) را برای کاربرانی که به زبان‌های مختلف صحبت می‌کنند رتبه‌بندی می‌کند.
تاریخچه جستجو
گوگل کارهایی را که انجام می‌دهید و مکان‌هایی را که می‌روید ذخیره می‌کند تا تجربه جستجوی شخصی‌تری را به شما ارائه دهد. البته شما می‌توانید این گزینه رو غیرفعال کنید، اما اکثر مردم این کار را نمی‌کنند.
نکات کلیدی
⦁ موتورهای جستجو از دو بخش اصلی تشکیل شده‌اند: نمایه و الگوریتم.
⦁ برای ایجاد فهرست خود، صفحات شناخته شده را می‌خزند و پیوندها را دنبال می‌کنند تا صفحات جدید را پیدا کنند.
⦁ هدف الگوریتم‌های جستجو، ارائهٔ بهترین و مرتبط‌ترین نتایج است.
⦁ کیفیت نتایج جستجو برای ایجاد سهم بازار مهم است.
⦁ هیچ‌کس همه فاکتورهای رتبه‌بندی گوگل جهت نتایج ارگانیک را نمی‌داند.
⦁ فاکتورهای کلیدی رتبه‌بندی عبارت‌اند از: بک‌لینک، ارتباط و تازگی.
⦁ گوگل نتایج خود را بر اساس موقعیت مکانی، زبان و سابقه جستجوی شما شخصی‌سازی می‌کند.
