Comment j'ai recodé Google en 7 jours.

Summary

Ce script raconte l'évolution de l'indexation du web, de l'invention du World Wide Web par Tim Berners-Lee en 1989 à l'élaboration de moteurs de recherche comme Google. Il explique comment un crawler fonctionne pour explorer et indexer des pages web, en utilisant des techniques comme le TF-IDF et le PageRank pour classer les résultats. Le script aborde aussi la mise en place d'un moteur de recherche avec une API et un serveur VPS, avant de détailler la création d'un site web simple pour tester cette technologie. Une introduction à l'architecture d'un moteur de recherche moderne, avec un focus sur l'efficacité et le respect des normes légales.

Takeaways

• 😀 Tim Berners-Lee a inventé le web en 1989, en notant manuellement les sites existants dans un petit cahier.
• 😀 Le problème initial était l'incapacité de répertorier efficacement tous les sites web, ce qui a conduit à l'idée de créer un moteur de recherche.
• 😀 Le processus de crawling consiste à récupérer des données sur les pages web, y compris les titres, sous-titres, texte et liens, pour les ajouter à une base de données.
• 😀 Les crawlers suivent les liens cliquables sur une page et les ajoutent à une file d'attente pour être explorés, créant ainsi un effet exponentiel de découverte de sites.
• 😀 Le concept de crawling a été développé par Matthew Grey du MIT en 1993 avec son projet Wonderer, bien avant Google.
• 😀 Le crawlage à grande échelle nécessite une gestion de la charge serveur pour éviter les attaques de type DDoS et respecter les robots.txt pour respecter les préférences des sites.
• 😀 Un index inversé est utilisé pour améliorer les performances de recherche, en associant chaque mot à une liste de pages où il apparaît.
• 😀 Le classement des pages se base sur l'algorithme TF-IDF, qui mesure la fréquence d'un mot sur une page et son importance dans le corpus global.
• 😀 Le PageRank est un autre algorithme utilisé pour évaluer la pertinence d'une page en fonction des liens pointant vers elle, en tenant compte de la popularité des sites référents.
• 😀 Pour gérer l'infrastructure, un serveur VPS est utilisé pour exécuter les crawlers et héberger l'API de recherche, avec une attention particulière à la vitesse de connexion et la capacité CPU.
• 😀 La création d'un site de recherche implique l'utilisation de WordPress et l'intégration d'HTML/JavaScript pour afficher les résultats de recherche, avec une API FastAPI pour faciliter l'accès à la recherche.
• 😀 La gestion efficace de la mémoire et la distribution des requêtes sur plusieurs crawlers permettent d'optimiser la performance du moteur de recherche.

Q & A

Quel est le principal problème que Tim Berners-Lee a rencontré lorsqu'il a inventé le web ?

Le principal problème était que, à ses débuts, il n'existait qu'une liste manuelle des sites web. Il était difficile de maintenir cette liste et de naviguer efficacement sur le web, ce qui a rapidement montré la nécessité d'une solution plus automatisée pour indexer les sites.

Quelle est la méthode de référencement la plus courante utilisée par les moteurs de recherche aujourd'hui ?

La méthode la plus courante est le 'crawling'. Cela implique l'utilisation d'un programme appelé 'crawler', qui explore le web, récupère les pages web et les ajoute à une base de données pour les rendre indexables.

D'où vient l'idée de crawler les pages web ?

L'idée du 'crawling' provient de Matthew Grey, un étudiant du MIT, qui a développé un projet appelé 'Wanderer' en 1993. Ce projet visait à estimer le nombre de sites web existants à l'époque.

Quel problème se pose lorsqu'on fait tourner plusieurs crawlers en parallèle ?

Le problème est qu'envoyer trop de requêtes simultanées à un même serveur peut provoquer une surcharge et causer une 'attaque par déni de service' (DoS), ce qui est illégal. Il est donc nécessaire de limiter les requêtes à chaque serveur pour éviter cela.

Qu'est-ce que le Deep Web et le Dark Web, et comment les moteurs de recherche les gèrent-ils ?

Le Deep Web comprend des pages qui ne sont pas indexées par les moteurs de recherche, souvent protégées par des fichiers comme 'robots.txt'. Le Dark Web, une partie du Deep Web, contient des pages accessibles via des outils spécifiques comme Tor, et les moteurs de recherche doivent respecter les règles d'indexation définies par les sites.

Qu'est-ce qu'un 'index inversé' et pourquoi est-il important pour un moteur de recherche ?

Un index inversé est une structure de données qui associe chaque mot de la base de données à une liste d'URL contenant ce mot, et au nombre d'occurrences. Il est essentiel pour accélérer les recherches en permettant un accès direct aux documents pertinents plutôt que de devoir analyser chaque page de manière linéaire.

Pourquoi la méthode de recherche basée uniquement sur le nombre d'occurrences d'un mot peut être problématique ?

Cette méthode peut être biaisée par des mots très fréquents (comme 'le' ou 'de'), qui apparaissent partout, ce qui fausse les résultats. De plus, elle ne tient pas compte de la longueur de la page, ce qui pourrait privilégier des pages longues contenant beaucoup de mots sur des termes recherchés, même si ces pages ne sont pas réellement pertinentes.

Qu'est-ce que la méthode TF-IDF et comment aide-t-elle à améliorer la pertinence des résultats de recherche ?

La méthode TF-IDF (Term Frequency - Inverse Document Frequency) permet d'améliorer la pertinence des résultats en pondérant les termes selon leur fréquence dans un document et leur rareté dans l'ensemble de la base de données. Cela évite les biais liés aux mots trop fréquents et met en avant les termes plus significatifs et rares.

Comment le 'PageRank' de Google aide-t-il à classer les pages web ?

Le PageRank attribue une importance à une page web en fonction du nombre et de la qualité des liens qui pointent vers elle. Plus une page est citée par d'autres pages populaires, plus elle est considérée comme pertinente. Ce système aide à éviter la manipulation des résultats par la création de faux liens.

Quels sont les défis techniques pour faire tourner un moteur de recherche comme celui décrit dans la vidéo ?

Les défis techniques incluent la gestion de la mémoire pour stocker les données de manière efficace, le traitement rapide des requêtes avec de nombreux crawlers, la gestion de serveurs VPS pour le traitement parallèle, et la création d'une interface API pour l'accès aux résultats de recherche. Il faut aussi veiller à respecter les contraintes légales et techniques, comme la prévention des attaques DoS.