← Retour au blog
Apache Kafka : Streaming en temps réel
20 novembre 2025•Temps de lecture : 10 min•Data
Apache Kafka est LA solution pour le streaming de données en temps réel. J'ai utilisé Kafka chez Enedis pour traiter des millions d'événements par jour. Voici mon guide complet.
Concepts Fondamentaux
Topics et Partitions
Un Topic est une catégorie de messages. Chaque topic est divisé en partitions pour la scalabilité.
Producers et Consumers
Les producers envoient les données, les consumers les reçoivent et les traitent.
Cas d'usage Real-time
- Logs d'application centralisés
- Event streaming (user actions, transactions)
- Intégration avec Airflow pour pipelines
- Alertes en temps réel
- Analytics temps réel
Avantages
- Très haute throughput (millions msg/sec)
- Faible latence
- Durabilité et réplication
- Excellente scalabilité horizontale
Conclusion
Kafka est complexe mais indispensable pour les applications real-time. Si vous n'avez pas besoin de vrai streaming, Airflow + polling suffit généralement.