AI Web Directory ist eine Plattform zum Entdecken von Websites und ein eigens entwickeltes Content-Management-System, das ich geschaffen habe, um das Finden und Einreichen nützlicher Websites einfacher zu machen. Das Projekt verbindet einen klassischen, redaktionell moderierten Webkatalog mit KI-generierten Eintragsdaten, einer Navigation nach Domainmerkmalen, automatisierten Screenshots, dem Ahrefs Domain Rating und einer eigenen Besucherstatistik.
Mein Ziel war es, die wiederkehrende Arbeit zu reduzieren, die mit traditionellen Webverzeichnissen verbunden ist. Wer eine Website vorschlagen möchte, sollte dafür nicht selbst einen Titel, eine Beschreibung, SEO-Metadaten und Schlagwörter verfassen müssen. Gleichzeitig soll eine automatisierte Einreichung nicht bedeuten, dass alles ungeprüft veröffentlicht wird. AI Web Directory verbindet beide Anforderungen: Die KI bereitet die Informationen auf, die Moderation entscheidet über die Veröffentlichung.
Website einreichen – nur mit dem Domainnamen
Die auffälligste Funktion ist der Einreichungsprozess. Es ist weder nötig, ein Benutzerkonto anzulegen oder ein Profil zu registrieren, noch ein langes Formular auszufüllen. Besucher öffnen die Seite Submit website, geben eine Domain wie example.com ein und klicken auf Analyze with AI.
Das CMS normalisiert den Domainnamen, prüft, ob die Website bereits im Katalog vorhanden ist, berücksichtigt Domain- und Inhaltsbeschränkungen und ruft Informationen von der Website ab. Dabei werden Seitentitel, Meta-Beschreibung, Keywords, Überschriften, deklarierte Sprache und sichtbarer Text der Startseite ausgewertet. Anschliessend erstellt die KI einen englischsprachigen Katalogeintrag mit einem aussagekräftigen Titel, einer sachlichen Beschreibung, einer passenden Kategorie, thematischen Schlagwörtern, einem SEO-Titel und einer Meta-Beschreibung.
Die Besucher sehen eine Vorschau, in der die von der Website ausgelesenen Informationen den KI-generierten Ergebnissen gegenübergestellt werden. Die erzeugten Felder können in diesem Schritt bewusst nicht bearbeitet werden, damit der Einreichungsprozess einheitlich bleibt. Mit einem letzten Klick gelangt der Eintrag in die Moderationswarteschlange. Als Eingabe ist nur die Domain erforderlich; die redaktionellen Metadaten werden automatisch vorbereitet. Veröffentlicht wird eine eingereichte Website erst nach ihrer Freigabe.
Dieses zweistufige Verfahren funktioniert auch mit Websites, die ursprünglich in anderen Sprachen verfasst wurden. Das System erkennt die Sprache der Quellwebsite, erstellt den öffentlichen Eintragstext aber auf Englisch. Die für eine Website erfasste Sprache ist daher nicht mit einer übersetzten Sprachversion der Katalogoberfläche zu verwechseln.
Ein strukturierter Katalog statt einer zufälligen Linksammlung
AI Web Directory setzt bewusst auf eine einfache Benutzeroberfläche. Die Startseite stellt das Projekt vor, zeigt die verfügbaren Kategorien, präsentiert neu hinzugefügte Websites und verlinkt beliebte Schlagwörter. Das Design verwendet responsive Kacheln, grosszügige Abstände, kompakte Textvorschauen und eine schlanke Navigationsstruktur.
Zum Zeitpunkt der Screenshots war der Katalog in 20 Kategorien gegliedert, darunter KI-Tools, Unternehmen, Entwicklung, E-Commerce, Bildung, Design, Finanzen, Cybersicherheit, Marketing, Medien, Produktivität, Immobilien, SEO, Software, Technologie und Reisen. Jeder Eintrag besitzt eine eigene Seite mit Beschreibung, Domain, Kategorie, relevanten Schlagwörtern, Favicon, Screenshot, direktem Link und Vorschlägen für ähnliche Websites.
Die Sammlung lässt sich auf verschiedene Arten erkunden. Kategorien eignen sich für übergeordnete Themen, Schlagwörter verbinden Websites zu konkreten Sachgebieten, TLD-Seiten gruppieren Websites nach Domainendung und Sprachseiten nach der erkannten Sprache der ursprünglichen Ressource. Kategorie-, Schlagwort-, TLD- und Sprachansichten verwenden paginierte, suchmaschinenfreundliche URLs. Öffentliche Schlagwortseiten werden erst für Schlagwörter erstellt, die mindestens fünf freigegebenen Websites zugeordnet sind. So entstehen nicht Tausende nahezu leerer Indexseiten.
Manuelle Moderation und automatische Qualitätskontrollen
Automatisierung ersetzt nicht die redaktionelle Kontrolle. Neu eingereichte Websites erhalten zunächst den Status «ausstehend» und werden im Administrationsbereich geprüft. Ich kann Einträge freigeben, ablehnen, bearbeiten oder löschen, ihre Kategorie und Metadaten anpassen, die Websitesprache ändern und den Screenshot verwalten. Doppelte Domains werden erkannt, bevor ein weiterer Eintrag übernommen wird.
Das System prüft Domains anhand konfigurierbarer Einschränkungen und untersucht Website-Inhalte auf unzulässige Themen. Hinzu kommen eine Begrenzung der Anfragehäufigkeit, vorübergehende Sperren nach bestimmten Analysefehlern und Schutzmechanismen gegen den Abruf privater oder reservierter Netzwerkadressen. Diese Prüfungen helfen, minderwertige oder missbräuchliche Einreichungen zu reduzieren und die automatische Website-Analyse sicherer zu machen.
Nach der Freigabe kann das CMS die Erstellung eines Screenshots anstossen, das Ahrefs Domain Rating abrufen und die neue Eintrags-URL über IndexNow melden. Wo es sinnvoll ist, laufen diese Aufgaben getrennt ab, damit ein langsamer externer Dienst den normalen Moderationsablauf nicht blockiert.
Massenimport und KI-gestützte Administration
Das öffentliche Einreichungsformular ist für jeweils eine Domain ausgelegt. Um jedoch einen Katalog mit Tausenden Websites zu pflegen, braucht es einen anderen Arbeitsablauf. Deshalb habe ich für Administratoren ein separates KI-gestütztes Massenimport-System entwickelt.
Es nimmt Domainlisten entgegen, normalisiert Adressen, erkennt Duplikate und gesperrte Domains, liest nützliche Informationen von Startseiten aus und erstellt einzelne Vorbereitungsaufträge. In einem Durchgang können bis zu 50 Domains vorbereitet werden. Nach Prüfung dieser Aufträge kann der Administrator ausgewählte Einträge an die OpenAI Batch API senden, die Ergebnisse synchronisieren, generierte Metadaten kontrollieren und erfolgreiche Einträge importieren. Fehlgeschlagene Aufträge lassen sich einzeln wiederholen, ohne den gesamten Batch neu starten zu müssen.
Die Administrationswerkzeuge umfassen ausserdem die Verwaltung von Kategorien, KI-generierte Beschreibungen für Kategorien und Schlagwörter, das Erstellen und Bearbeiten von Artikeln, die Aktualisierung von Metadaten und die Suche in bestehenden Katalogeinträgen. Im Editor lassen sich reguläre von hervorgehobenen Einträgen unterscheiden und die Darstellung von Links im Verzeichnis sowie bei Empfehlungen ähnlicher Websites konfigurieren. Damit ist AI Web Directory weit mehr als ein öffentliches Einreichungsformular: Es ist ein speziell für diese Aufgabe entwickeltes Publikations- und Katalogverwaltungssystem.
Automatische Screenshots, Favicons und Ahrefs Domain Rating
Ein eigener Screenshot-Dienst erstellt Website-Vorschauen über einen Chromium-basierten Browserprozess und konvertiert die Aufnahmen ins WebP-Format. Screenshots können bei der Freigabe einer Website erzeugt und später im Administrationsbereich aktualisiert werden. Die Implementierung berücksichtigt auch langsam ladende Seiten und Websites mit Browser-Challenges. Falls sich keine brauchbare Aufnahme erstellen lässt, kommen entsprechende Ausweichmechanismen zum Einsatz.
Favicons ermöglichen im gesamten Katalog eine schnelle visuelle Wiedererkennung. Auf den einzelnen Eintragsseiten vermittelt der grössere Screenshot einen Eindruck der Website, bevor Besucher den externen Link öffnen.
Sofern Daten verfügbar sind, zeigt das Verzeichnis bei den Website-Informationen auch das Ahrefs Domain Rating (DR) an. Der Administrationsbereich kann den DR-Wert bei der Freigabe eines Eintrags abrufen und bereits gespeicherte Bewertungen stapelweise für bis zu 1'000 Domains aktualisieren. Das Datum der letzten Überprüfung bleibt gespeichert, sodass sich nachvollziehen lässt, wann der angezeigte Wert aktualisiert wurde. Es handelt sich um eine zusätzliche externe Kennzahl und nicht um eine vom Verzeichnis selbst berechnete Bewertung.
Likes, Ranglisten und ähnliche Websites
Jede Website besitzt eine Like-Funktion, mit der Besucher nützliche Ressourcen unterstützen können. Das System begrenzt wiederholte Abstimmungen, unter anderem durch eine 24-Stunden-Sperre für dieselbe Person und dieselbe Website. Im eigenen Bereich Top websites werden die Einträge nach der Anzahl der Likes sortiert.
Empfehlungen ähnlicher Websites bieten einen weiteren Weg durch den Katalog. Statt nach jedem Eintrag zur Startseite zurückkehren zu müssen, erhalten Besucher Vorschläge für andere Ressourcen mit verwandten Themen und Kategorien. So wird das Entdecken über mehrere kleine, miteinander verbundene Wege möglich – nicht nur über eine einzelne Suchergebnisseite.
Öffentliche Statistiken und ein aussergewöhnlich vielfältiger Katalog
Ich habe ausserdem eine öffentliche Statistikseite erstellt, auf der sich die Zusammensetzung des Katalogs ohne Zugang zum Administrationsbereich erkunden lässt. Sie zeigt die Gesamtzahl freigegebener Websites, auf Moderation wartende Einträge, die Anzahl Kategorien und Artikel, die Verwendung von Schlagwörtern und die Aktivität der Like-Funktion. Zwei vollständige interaktive Schlagwortwolken veranschaulichen die Verteilung von Domainendungen und Websitesprachen, wobei grössere Beschriftungen für häufigere Gruppen stehen.
Auf den Screenshots vom 25. Oktober 2026 waren 4'605 Websites, 20 Kategorien, 14'972 unterschiedliche Schlagwörter, 43'682 Schlagwortzuordnungen und 1'484 Schlagwörter mit mindestens fünf zugeordneten Websites zu sehen. Der Katalog umfasste ausserdem 203 Domainendungen und 102 Websitesprachen. Dies sind historische Momentaufnahmen und keine fest eingebauten Obergrenzen: Die aktuellen Zahlen ändern sich mit der Entwicklung des Verzeichnisses.
Besonders interessant ist die Sprachverteilung. Englischsprachige Ressourcen machen zwar den grössten Anteil aus, aber der Katalog enthält auch deutsch-, ukrainisch-, russisch-, französisch-, georgisch-, türkisch- und litauischsprachige Websites sowie viele weitere Sprachen. Auch bei den TLDs beschränkt sich die Sammlung keineswegs auf die grössten generischen Endungen. Vertreten sind länderspezifische, neuere generische und weniger verbreitete Domainendungen.
Integrierte Besucheranalyse statt ausschliesslich externer Dashboards
Zusätzlich zur öffentlichen Katalogstatistik habe ich ein separates Analysesystem für die Administration entwickelt. Es erfasst Aufrufe öffentlicher Seiten und gruppiert sie nach Seitentitel und URL. Der Bericht zur Seitenstatistik zeigt die Gesamtzahl der Aufrufe sowie mobile Zugriffe, Desktop-Zugriffe und Bot-Traffic mit absoluten Zahlen und Prozentwerten. Die Ergebnisse lassen sich über den gesamten Datenbestand sortieren und seitenweise anzeigen.
Die Analysewerkzeuge gehen über einfache Seitenzähler hinaus. Separate Verwaltungsansichten untersuchen verweisende Websites, Suchmaschinen und identifizierbare Suchanfragen, die Aktivität von Crawlern, nicht erkannte Bot-User-Agents, die geografische Herkunft des Traffics und die Klassifizierung von Zugriffsquellen. Das ist besonders nützlich, um zu verstehen, wie Menschen, Suchmaschinen, KI-Crawler und automatisierte Systeme auf einen Webkatalog aufmerksam werden.
Ich habe diese Analyseebene bewusst direkt in das CMS integriert. So habe ich unmittelbaren Zugriff auf die für dieses Projekt relevanten Kennzahlen, statt einen allgemeinen Statistikbericht erst an die Struktur des Verzeichnisses anpassen zu müssen.
Suchmaschinenfreundliche Architektur
Webverzeichnisse können für Suchmaschinen schwer zu erschliessen sein, wenn Tausende Seiten ohne klare Struktur generiert werden. AI Web Directory begegnet diesem Problem mit lesbaren URL-Pfaden, individuellen SEO-Metadaten, kanonischen URLs, Breadcrumb-Navigation, Open-Graph- und Twitter-Card-Tags sowie strukturierten Daten im JSON-LD-Format.
Das CMS stellt einen Sitemap-Index mit separaten, paginierten XML-Sitemaps für Verzeichniseinträge, Artikel, Schlagwörter, Domainendungen und Websitesprachen bereit. Website-Sitemaps können auch die zugehörigen Screenshot-Bilder enthalten. Ausserdem sind robots.txt und llms.txt verfügbar. Dank der IndexNow-Integration können unterstützte Suchmaschinen benachrichtigt werden, sobald neue freigegebene Eintragsseiten veröffentlicht werden. Mindestgrenzen für die Sichtbarkeit von Schlagwortseiten und einheitliche URL-Muster helfen, auch eine wachsende Sammlung übersichtlich zu halten.
Technologie-Stack und eigene Architektur
Ich habe AI Web Directory als eigenständige PHP-Anwendung entwickelt, statt WordPress einzusetzen oder ein fertiges Verzeichnis-Plugin anzupassen. Das Backend verwendet PHP 8.5+ und MySQL; der Datenbankzugriff erfolgt über PDO. Die MVC-ähnliche Struktur umfasst einen Front Controller, einen schlanken eigenen Router, Controller, Models, wiederverwendbare Services und mit PHP gerenderte Templates.
Die Benutzeroberfläche basiert auf HTML, CSS und JavaScript, ohne von einem grossen clientseitigen Anwendungsframework abhängig zu sein. Das responsive Kachellayout sorgt für eine übersichtliche Nutzung auf Desktop- und Mobilgeräten. Für Abhängigkeiten wird Composer eingesetzt, darunter HTML Purifier zur Bereinigung von HTML-Inhalten.
Mehrere voneinander unabhängige Dienste unterstützen die Hauptanwendung:
- KI-Integration: konfigurierbare Anbindungen an OpenAI, Anthropic und Gemini sowie ein separater Arbeitsablauf über die OpenAI Batch API für grosse Importe.
- Abruf von Websites: HTTP-Abrufe, HTML-Parsing, Textextraktion, Spracherkennung und browserbasierte Ausweichverfahren.
- Medienerstellung: Chromium-gesteuerte Screenshots, WebP-Konvertierung und Abruf von Favicons.
- SEO und externe Daten: Integration von Ahrefs DR, IndexNow-Benachrichtigungen, XML-Sitemaps, kanonische Metadaten und strukturierte Daten.
- Anwendungssicherheit: Administrator-Authentifizierung, CSRF-Tokens, sichere Ausgabe von Inhalten, Begrenzung der Anfragehäufigkeit, Duplikatkontrollen, Prüfungen gesperrter Domains und Schutz vor serverseitigen Anfragen an private Adressen.
- Interne Analyse: seitenbezogene Zähler, Geräte- und Bot-Klassifizierung, Referrer-Auswertung, Berichte zu Suchanfragen und Länderstatistiken.
Dank dieser modularen Struktur können sich der öffentliche Katalog, der Administrationsbereich, die KI-Verarbeitung, die Screenshot-Erstellung und die Traffic-Analyse unabhängig voneinander weiterentwickeln, ohne die Bedienung für Besucher komplizierter zu machen.
Was dieses Projekt zeigt
AI Web Directory zeigt, wo KI in einer klassischen Webanwendung einen praktischen Unterschied macht. Sie muss weder die Benutzeroberfläche dominieren noch jede redaktionelle Entscheidung ersetzen. Stattdessen übernimmt sie wiederkehrende Aufgaben wie das Zusammenfassen von Websites, das Erstellen von Schlagwörtern und die Vorbereitung von Metadaten, während die endgültige Veröffentlichung in menschlicher Hand bleibt.
Für mich ist das Projekt zugleich eine praktische Entwicklungsumgebung, in der ich die Architektur von Webverzeichnissen, die Verwaltung grosser Inhaltsbestände, die automatisierte Domainverarbeitung, die Auffindbarkeit durch Suchmaschinen und selbst gehostete Analysen erproben kann. Das Ergebnis ist ein wachsender, nutzbarer Katalog mit einem CMS, das gezielt für diesen Arbeitsablauf entwickelt wurde.
Live-Projekt: https://aiwebdir.com
Kommentare (0)