AI Web Directory — це платформа для пошуку корисних сайтів і власна система керування контентом (CMS), яку я розробив, щоб спростити пошук та додавання вебресурсів. Вона поєднує класичний каталог сайтів із ручною модерацією, метадані, створені штучним інтелектом, навігацію за доменними зонами, автоматичні скриншоти, Ahrefs Domain Rating і власну систему аналізу трафіку.
Головна ідея полягала в тому, щоб усунути рутинну роботу, традиційно пов’язану з вебкаталогами. Відвідувач не повинен самостійно писати назву, опис, SEO-метадані й теги лише для того, щоб запропонувати сайт. Водночас автоматизація не повинна означати публікацію всього без перевірки. AI Web Directory поєднує обидва підходи: штучний інтелект готує інформацію, а модерація визначає, що саме буде опубліковано.
Додавання сайту за одним доменним ім’ям
Найпомітніша особливість проєкту — процес додавання сайту. Не потрібно створювати обліковий запис, реєструвати профіль або заповнювати довгу форму. Відвідувач відкриває сторінку Submit website, вводить домен, наприклад example.com, і натискає Analyze with AI.
CMS нормалізує домен, перевіряє, чи немає його вже в каталозі, застосовує обмеження щодо доменів і вмісту та отримує інформацію із сайту. Система аналізує заголовок сторінки, метаопис, ключові слова, заголовки, заявлену мову та видимий текст головної сторінки. Потім штучний інтелект формує англомовний запис каталогу: інформативну назву, змістовний опис, відповідну категорію, тематичні теги, SEO-заголовок і метаопис.
Відвідувач бачить попередній перегляд із порівнянням відомостей, отриманих із сайту, і результатів генерації ШІ. На цьому етапі згенеровані поля навмисно заблоковані для редагування, щоб процес додавання залишався однаковим для всіх. Останнє натискання відправляє запис до черги модерації. Для подання заявки достатньо лише домену — усі редакційні метадані система готує автоматично. Сайт з’явиться в публічному каталозі лише після схвалення.
Такий двоетапний підхід працює і з ресурсами, створеними іншими мовами. Система визначає мову оригінального сайту, але публічний опис у каталозі формує англійською. Отже, вказана для сайту мова не означає наявності відповідної мовної версії інтерфейсу самого каталогу.
Структурований каталог замість випадкового набору посилань
AI Web Directory має навмисно простий інтерфейс. Головна сторінка знайомить із проєктом, показує доступні категорії, нещодавно додані сайти та популярні теги. У дизайні використано адаптивні картки, достатньо вільного простору, короткі фрагменти описів і нескладну структуру навігації.
На момент створення скриншотів каталог містив 20 категорій, зокрема AI Tools, Business, Development, E-commerce, Education, Design, Finance, Cybersecurity, Marketing, Media, Productivity, Real Estate, SEO, Software, Technology і Travel. Кожен сайт має власну сторінку з описом, доменом, категорією, тематичними тегами, фавіконкою, скриншотом, прямим посиланням і рекомендаціями схожих ресурсів.
Досліджувати каталог можна кількома способами. Категорії охоплюють широкі теми; теги пов’язують сайти за конкретною тематикою; сторінки TLD групують ресурси за доменними зонами; а мовні сторінки — за визначеною мовою оригінального ресурсу. Сторінки категорій, тегів, доменних зон і мов мають посторінкову навігацію та зрозумілі для пошукових систем URL. Окремі публічні сторінки тегів створюються лише для тих тегів, які використовуються щонайменше на п’яти схвалених сайтах. Це допомагає уникнути тисяч майже порожніх сторінок для індексації.
Ручна модерація та автоматична перевірка якості
Автоматизація не замінює редакційний контроль. Нові сайти спочатку отримують статус очікування й проходять перевірку в адміністративній панелі. Я можу схвалити, відхилити, відредагувати або видалити запис, змінити категорію та метадані, виправити мову сайту й керувати його скриншотом. Дублікати доменів система виявляє ще до прийняття нової заявки.
Система перевіряє домени за налаштовуваними обмеженнями та аналізує вміст сайтів на заборонені теми. Також реалізовано обмеження частоти запитів, тимчасове блокування після певних помилок аналізу й захист від звернень до приватних або зарезервованих мережевих адрес. Такі перевірки допомагають зменшити кількість неякісних і зловмисних заявок та зробити автоматичний аналіз сайтів безпечнішим.
Після схвалення CMS може запустити створення скриншота, отримати Ahrefs Domain Rating і надіслати адресу нової сторінки через IndexNow. За потреби ці завдання обробляються окремо, щоб повільна зовнішня служба не затримувала звичайний процес модерації.
Масовий імпорт і адміністрування за допомогою ШІ
Публічна форма призначена для додавання одного домену за раз. Однак підтримка каталогу з тисячами сайтів потребує іншого підходу. Тому для адміністратора я створив окрему систему масового імпорту з використанням ШІ.
Вона приймає списки доменів, нормалізує адреси, виявляє дублікати та домени з обмеженнями, збирає корисні дані з головних сторінок і створює окремі завдання для підготовки записів. За одну операцію можна підготувати до 50 доменів. Після перегляду підготовлених завдань адміністратор може надіслати вибрані записи до OpenAI Batch API, синхронізувати результати, перевірити згенеровані метадані та імпортувати успішно оброблені записи. Невдалі завдання можна повторити окремо, не запускаючи весь пакет заново.
Адміністративні інструменти також охоплюють керування категоріями, генерацію описів категорій і тегів за допомогою ШІ, створення та редагування статей, оновлення метаданих і пошук серед наявних записів каталогу. Редактор дає змогу відрізняти звичайні записи від рекламованих і налаштовувати відображення посилань у каталозі та рекомендаціях схожих сайтів. Усе це робить AI Web Directory не просто формою подання заявок, а спеціалізованою системою публікації та керування вебкаталогом.
Автоматичні скриншоти, фавіконки та Ahrefs Domain Rating
Окремий сервіс створює зображення сайтів за допомогою браузера на основі Chromium і перетворює їх у формат WebP. Скриншоти можуть генеруватися після схвалення сайту та оновлюватися з адміністративної панелі. Реалізація враховує також сторінки, які завантажуються повільно або захищені перевірками браузера, і передбачає резервні сценарії, якщо отримати придатне зображення не вдалося.
Фавіконки дають змогу швидко впізнавати сайти в різних розділах каталогу. На сторінці окремого запису більший скриншот допомагає відвідувачу попередньо оцінити ресурс, перш ніж переходити на зовнішній сайт.
Для доменів, щодо яких доступні дані, каталог також показує Ahrefs Domain Rating (DR). Адміністративна панель може отримувати DR під час схвалення сайту й пакетно оновлювати раніше збережені рейтинги — до 1000 доменів за один запуск. Дата перевірки зберігається, тому для кожного показника можна встановити час його оновлення. Це додаткова довідкова метрика, а не рейтинг, який обчислює сам каталог.
Вподобання відвідувачів, рейтинги та схожі сайти
Для кожного сайту передбачено механізм вподобань, який дає відвідувачам змогу підтримати корисні ресурси. Система обмежує повторне голосування, зокрема діє 24-годинне обмеження для того самого відвідувача та сайту. В окремому розділі Top websites сайти впорядковано за кількістю вподобань.
Рекомендації схожих сайтів — ще один спосіб навігації. Замість того щоб повертати відвідувача на головну сторінку після перегляду кожного запису, каталог пропонує інші ресурси зі спорідненими темами й категоріями. Завдяки цьому цікаві сайти можна знаходити через низку взаємопов’язаних сторінок, а не лише через єдиний список результатів пошуку.
Публічна статистика та різноманітність каталогу
Я також створив відкриту сторінку статистики, щоб кожен міг дослідити структуру каталогу без доступу до адміністративної панелі. На ній показано загальну кількість схвалених сайтів, заявки на модерації, кількість категорій і статей, використання тегів та активність уподобань. Дві повні інтерактивні хмари тегів відображають розподіл доменних зон і мов сайтів: що більший підпис, то більше ресурсів належить до відповідної групи.
На скриншотах від 25 жовтня 2026 року зафіксовано 4605 сайтів, 20 категорій, 14 972 унікальні теги, 43 682 використання тегів і 1484 теги, кожен з яких траплявся щонайменше на п’яти сайтах. Також у каталозі було представлено 203 доменні зони та 102 мови вебсайтів. Це історичні показники на конкретну дату, а не встановлені обмеження: актуальна статистика змінюється разом із розвитком каталогу.
Особливо цікавим є мовний розподіл. Хоча англомовні ресурси становлять найбільшу частину каталогу, у ньому представлені також німецька, українська, російська, французька, грузинська, турецька, литовська та багато інших мов. Статистика TLD теж не обмежується найпоширенішими доменами: вона охоплює національні, нові загальні та менш поширені доменні зони.
Власна аналітика трафіку без повної залежності від сторонніх сервісів
Окрім відкритої статистики каталогу, я розробив окрему адміністративну систему вебаналітики. Вона реєструє завантаження публічних сторінок і групує їх за назвами та URL. Звіт про статистику сторінок показує загальну кількість завантажень, а також окремо мобільний, десктопний і бот-трафік — у числах і відсотках. Результати можна сортувати в межах усього набору даних і переглядати посторінково.
Можливості аналітики не обмежуються лічильниками окремих сторінок. В адміністративній панелі є окремі звіти про сайти-джерела переходів, пошукові системи та розпізнані пошукові запити, активність пошукових роботів, невідомі User-Agent ботів, географію трафіку та класифікацію його джерел. Це особливо корисно для розуміння того, як вебкаталог знаходять люди, пошукові системи, ШІ-краулери й автоматизовані програми.
Я свідомо залишив цей аналітичний рівень усередині CMS. Так я безпосередньо отримую саме ті показники, які важливі для проєкту, замість того щоб пристосовувати універсальний зовнішній звіт до структури каталогу.
Архітектура, дружня до пошукових систем
Пошуковим системам буває складно обходити вебкаталоги, якщо тисячі сторінок генеруються без зрозумілої структури. В AI Web Directory для цього передбачено читабельні URL, індивідуальні SEO-метадані, канонічні адреси, навігаційні ланцюжки, теги Open Graph і Twitter Card та структуровані дані JSON-LD.
CMS формує індекс карт сайту з окремими XML-sitemap і посторінковим розбиттям для записів каталогу, статей, тегів, доменних зон і мов вебсайтів. До карт сайтів також можуть додаватися відповідні зображення скриншотів. Окрім того, доступні robots.txt і llms.txt. Інтеграція з IndexNow дає змогу повідомляти підтримувані пошукові системи про публікацію нових схвалених записів. Пороги видимості сторінок тегів і послідовні шаблони URL допомагають підтримувати порядок у каталозі зі зростанням кількості ресурсів.
Технологічний стек і власна архітектура
Я розробив AI Web Directory як власний PHP-застосунок, а не на основі WordPress чи готового плагіна вебкаталогу. Серверна частина використовує PHP 8.5+ і MySQL, а для роботи з базою даних застосовується PDO. Архітектура, подібна до MVC, містить єдину точку входу (front controller), легкий власний маршрутизатор, контролери, моделі, повторно використовувані сервіси та шаблони, що формуються на PHP.
Інтерфейс побудовано на HTML, CSS і JavaScript без залежності від великого клієнтського фреймворку. Адаптивна карткова верстка робить каталог зручним для використання на комп’ютерах і мобільних пристроях. Для керування залежностями використовується Composer, зокрема бібліотека HTML Purifier для очищення HTML-вмісту.
Основний застосунок підтримують кілька незалежних сервісів:
- Інтеграція ШІ: налаштовувані адаптери для OpenAI, Anthropic і Gemini та окремий процес масового імпорту через OpenAI Batch API.
- Отримання даних із сайтів: HTTP-запити, розбір HTML, виділення тексту, визначення мови й резервна обробка через браузер.
- Створення медіафайлів: скриншоти за допомогою Chromium, конвертація у WebP та отримання фавіконок.
- SEO та зовнішні дані: інтеграція Ahrefs DR, сповіщення IndexNow, XML-карти сайту, канонічні метадані та структуровані дані.
- Безпека застосунку: автентифікація адміністратора, CSRF-токени, екранування виводу, обмеження частоти запитів, перевірка дублікатів і заборонених доменів та захист від серверних запитів до приватних адрес.
- Внутрішня аналітика: лічильники сторінок, класифікація пристроїв і ботів, аналіз реферерів, звіти про пошукові запити та статистика за країнами.
Завдяки модульній структурі публічний каталог, адміністративна панель, обробка даних за допомогою ШІ, створення скриншотів та аналітика трафіку можуть розвиватися незалежно, не ускладнюючи інтерфейс для відвідувачів.
Що демонструє цей проєкт
AI Web Directory — приклад того, як штучний інтелект може принести практичну користь традиційному вебзастосунку. Йому не потрібно домінувати в інтерфейсі чи замінювати кожне редакційне рішення. Натомість ШІ бере на себе повторювані завдання — підготовку описів сайтів, генерацію тегів і метаданих, — тоді як остаточне рішення про публікацію залишається за людиною.
Для мене цей проєкт також є робочим середовищем для випробування архітектури вебкаталогів, керування великими масивами контенту, автоматизованої обробки доменів, індексації пошуковими системами та аналітики на власному сервері. Результат — каталог, що постійно зростає, із CMS, розробленою спеціально під його робочі процеси.
Сайт проєкту: https://aiwebdir.com/
Коментарі (0)