Основи Internal Linking для найменших від куратора Product SEO

Для користувача інтернет — це величезна кількість текстових веб-сторінок (для спрощення поки що забудемо про зображення, відео, css, js тощо), які ми назвемо документами. Уявимо, що ми взяли олівець і нанесли кожен цей документ на лист паперу у вигляді крапок. Далі ми знаємо, що ці документи зв'язані між собою посиланнями*, тож проведемо між крапками стрілки.

Таким чином ми отримали «граф» — математичний об'єкт, що складається з множини точок, які називають вершинами, та зв'язків між ними — ребрами. Оскільки посилання йде від однієї сторінки до іншої, тобто зв'язок спрямований, то такий вид графів називають орієнтованим.

Увесь інтернет можна уявити у вигляді такого графа, але в цій статті розглянемо лише частину графа (підграф) — наш сайт.

Пошукові системи у 90-х використовували алгоритми пошуку за ключовими словами. Це спричинило те, що якість відповідей була на низькому рівні, та ще й маніпулювати результатами пошуку таких систем було не складно, наприклад, якщо взяти будь-який текст і додати в нього тематичні фрази. Виходом з цієї ситуації були процеси:

а) подальшого розвитку існуючих підходів,
б) створення концептуально нових алгоритмів.

Виявилось, що ускладнення пошукових алгоритмів надали можливість використовувати нові параметри для оцінки сторінок, що значно підвищили якість результатів пошуку. Наприклад, при аналізі зв'язків усередині графа можна дізнатися з певною ймовірністю, які документи важливі, впливові, популярні, які є першоджерелами, а які ні.

Так у 1996 році засновники пошукової системи Google Ларрі Пейдж і Сергій Брін у рамках науково-дослідницького проекту створили сімейство алгоритмів оцінки важливості веб-сторінок під назвою PageRank (PR). Саме ці алгоритми стали основою для подальших успіхів Google на світовій арені інформаційно-пошукових систем, а головні ідеї наукової роботи і досі використовуються для ранжування документів*.

Основна концепція PR полягає в тому, що моделюються подорожі користувачів по інтернет графу, які починають свій шлях з випадкових веб-сторінок і переходять далі за посиланнями. PR має кількісну та якісні характеристики:

1. кількісна: чим більше користувачів дійде до конкретної сторінки, тим ця сторінка важливіша. Спрощено можна сказати, що кожна сторінка в інтернеті потенційно може бути відвідана користувачем, але чим більше посилань на сторінку – тим вищою є ймовірність її відвідування.
   
   
2. якісні характеристики: анкорний текст посилання, текст на сторінці, з якої йде посилання, місце розміщення посилання на сторінці тощо.
   
   

На цьому етапі потрібно самому собі поставити декілька запитань:

Пошукова система збирає дані щодо сторінок за допомогою краулерів*. Аналогічне програмне забезпечення є і в арсеналі SEO спеціалістів. Наприклад, Netpeak Spider (Desktop Windows Software) чи JetOctopus (SAAS) та інші.

Наше основне завдання – зімітувати поведінку бота і зібрати дані графа. Раджу проводити сканування з різними налаштуваннями і порівнювати результат:

Тепер ми можемо подивитися на PageRank і порівняти значення в залежності від налаштувань. Звісно, він порахований без урахування зовнішніх посилань і з використанням старої формули з відкритих патентів, що скоріше за все в саме такому вигляді давно не використовується в пошуковій системі. Але ці дані все одно можна використовувати через те, що підхід залишається той же.

Відсортуємо від більшого до меншого значення PR і звернемо особливу увагу на важливі, з точки зору бізнесу і конверсії, сторінки. Зазвичай, якщо є різкий спад між PR, то потрібно заглибитись у причини цього.

При кожному запиті від користувача чи бота до веб-сервера (якщо було налаштовано ;) ) йде запис у лог сервера (текстовий файл, журнал запитів).

Якщо ми проаналізуємо ці записи та порівняємо й об'єднаємо з краулінгом з Крок 1, то можемо дізнатися, які сторінки пошукова система повинна була знайти, але не знайшла. Чи навпаки: можливо, пошуковик якимось чином потрапив, наприклад, до адмінпанелі. Але про це — детальніше на курсах факультету Data Science у Проджекторі.

Або ж можна почати з звіту Crawl Stats у Google Search Console.

Змінюємо структуру сайту — перевіряємо реакцію пошуковика.

Важливо: не забувайте перевіряти IP адреси через Reverse DNS, що Googlebot справжній для чистоти рішень.

У великих проєктах використовують різне програмне забезпечення/бібліотеки для:

1. аналізу графів на кількість компоненту зв'язності;
2. для вилучення випадкових вершин і тестування стійкості;
3. для знаходження гігантської компоненти.

Але — це вже не матеріал для початківців, а цілий напрям для розвитку.