APIs and web scraping

requests : faire des requêtes HTTP

La bibliothèque requests est l'outil n°1 pour communiquer avec des API en Python :

import requests

# GET : récupérer des données
response = requests.get("https://jsonplaceholder.typicode.com/users/1")
print(response.status_code)  # 200

# Convertir la réponse en dictionnaire Python
user = response.json()
print(user["name"])    # Leanne Graham
print(user["email"])   # Sincere@april.biz

Les méthodes principales :

• requests.get(url) : récupérer des données
• requests.post(url, json=data) : envoyer des données
• requests.put(url, json=data) : mettre à jour
• requests.delete(url) : supprimer

API REST : les concepts

Une API REST utilise des URLs pour organiser les données. Chaque URL représente une ressource :

import requests

# Liste des articles
articles = requests.get("https://api.example.com/articles").json()

# Un article spécifique
article = requests.get("https://api.example.com/articles/42").json()

# Créer un article
nouveau = requests.post("https://api.example.com/articles", json={
    "titre": "Mon article",
    "contenu": "Le contenu ici..."
})
print(nouveau.status_code)  # 201 (créé)

# Avec authentification (token)
headers = {"Authorization": "Bearer mon_token_secret"}
data = requests.get("https://api.example.com/profil", headers=headers)
print(data.json())

Web scraping avec BeautifulSoup

Le web scraping consiste à extraire des données depuis des pages HTML. BeautifulSoup rend ça simple :

import requests
from bs4 import BeautifulSoup

# Télécharger la page
response = requests.get("https://example.com")
soup = BeautifulSoup(response.text, "html.parser")

# Extraire le titre
titre = soup.find("h1").text
print(titre)

# Tous les liens
for lien in soup.find_all("a"):
    href = lien.get("href")
    texte = lien.text.strip()
    print(f"{texte} → {href}")

# Sélecteurs CSS (comme JavaScript)
prix = soup.select(".product-price")
for p in prix:
    print(p.text)

Installation : pip install requests beautifulsoup4

Éthique et bonnes pratiques

Le web scraping est puissant, mais il faut le faire de manière responsable :

• robots.txt : vérifiez https://site.com/robots.txt avant de scraper. Ce fichier indique ce qui est autorisé.
• Rate limiting : attendez entre chaque requête pour ne pas surcharger le serveur :

import time

urls = ["https://example.com/page1", "https://example.com/page2"]
for url in urls:
    response = requests.get(url)
    # Traiter la réponse...
    time.sleep(1)  # attendre 1 seconde entre chaque requête

• Préférez les API : si un site offre une API, utilisez-la plutôt que le scraping.
• Conditions d'utilisation : certains sites interdisent le scraping. Lisez les CGU.

Pour aller plus loin

Vous maîtrisez maintenant les fondamentaux de Python. Voici les directions à explorer :

• Web : Django, Flask, FastAPI
• Data science : NumPy, Pandas, Matplotlib
• Machine Learning : scikit-learn, TensorFlow, PyTorch
• Automatisation : subprocess, schedule, Selenium

Références complètes : W3Schools Python · Python.org (docs FR)

Le couteau suisse est ouvert

Python ouvre des portes au-delà du web : data science, intelligence artificielle, automatisation système. C'est le couteau suisse du développeur moderne.

Avec HTML/CSS/JS pour le front, PHP pour le back web, et Python pour tout le reste, vous avez un arsenal complet. Chaque langage a sa spécialité, et vous savez maintenant lire, modifier et débugger dans chacun d'eux.

La suite ? Choisissez votre spécialisation (web, data, IA, automatisation) et creusez. Les fondations sont là. Construisez.

À vous d'essayer

Une API renvoie souvent du JSON. Voici comment le parser et l'exploiter, sans réseau, avec le seul module json de la bibliothèque standard :

import json

# Réponse JSON simulée (comme celle d'une API)
reponse = '{"name": "Leanne Graham", "email": "leanne@april.biz", "tags": ["dev", "python"]}'

# Parser le JSON en dictionnaire Python
user = json.loads(reponse)

print(user["name"])           # Leanne Graham
print(user["email"])          # leanne@april.biz
print(", ".join(user["tags"]))  # dev, python