Objectifs pédagogiques
-
Comprendre l’architecture en cluster de Kafka
-
Différencier ces différents cas d’utilisation
-
Utiliser les APIs Kafka de production/consommation de messages
-
Utiliser les APIs Kafka Connect/ Kafka Admin
-
Aborder les APIs Kafka Stream et le serveur kSQLDB
-
Configurer les topics en fonctions des contraintes de fiabilité et de débit de vos applications
Modalités et moyens pédagogiques
Formation délivrée en présentiel ou distanciel* (e-learning, classe virtuelle, présentiel à distance).
Le formateur alterne entre méthode** démonstrative, interrogative et active (via des travaux pratiques et/ou des mises en situation).
Variables suivant les formations, les moyens pédagogiques mis en oeuvre sont :
-
Ordinateurs Mac ou PC (sauf pour les cours de l'offre Management), connexion internet fibre, tableau blanc ou paperboard, vidéoprojecteur ou écran tactile interactif (pour le distanciel)
-
Environnements de formation installés sur les postes de travail ou en ligne
-
Supports de cours et exercices
En cas de formation intra sur site externe à ECI, le client s'assure et s'engage également à avoir toutes les ressources matérielles pédagogiques nécessaires (équipements informatique...) au bon déroulement de l'action de formation visée conformément aux prérequis indiqués dans le programme de formation communiqué.
* nous consulter pour la faisabilité en distanciel
** ratio variable selon le cours suivi
Niveau requis
Avoir connaissance d'un système d'exploitation de Linux et/ou Windows, des concepts SGBDR et maîtriser le langage SQL.
Public concerné
Ce cours PostgreSQL s’adresse aux administrateurs (système/bases de données) et développeurs en charge de l’administration, de la configuration, de la production ou de la maintenance d’un serveur de bases de de données de type PostgreSQL.
Programme de formation
Introduction
-
Historique et complexité des systèmes
-
Le traitement en temps réel : une importance business
-
Kafka : Une plateforme de données de flux
-
Les fondamentaux
-
Un aperçu de Kafka et efficacité
-
Producers
-
Brokers
-
Consumers
-
Utilisation de ZooKeeper
Installation & Administration
-
Installation et options avancés
-
Considération matérielle (Hardware)
-
Administrer Kafka
-
Architecture
-
Fichiers journaux de Kafka
-
Réplication et fiabilité
-
Chemins d'écriture et de lecture de Kafka
-
Partitions, Consumer Groups et Scalability
Développer avec Kafka
-
Utiliser Maven pour la gestion de projet
-
Accéder par programmation à Kafka
-
Écrire un Producer in Java
-
Utiliser REST API pour écrire un Producer
-
Écrire un Consumer en Java
-
Utiliser REST API pour écrire un Consumer
Développement avancé avec Kafka
-
Créer un Consumer Multi-Thread
-
Gestion des Offsets
-
Consumer Rebalancing (rééquilibrage)
-
Gestion manuelle des Offsets (Commits)
-
Partitionnement des données
-
Message Durability : gestion de la des messages
Nouveautés de la version Kafka 3.0
-
Nouvelles fonctionnalités de Kafka
-
Changement d'API
-
Amélioration de KRaft
-
Amélioration de métadonnées
-
Kafka Connect
-
Option de configuration MirrorMaker 2
-
Dépréciation de Java 8 et Scala 2.12 en Kafka
Schema Management
-
Introduction à Avro
-
Avro Schemas
-
Utilisation du Schema Registry
Kafka Connect : Data Movement
-
Cas d'utilisation de Kafka Connect
-
Les bases de Kafka Connect
-
Modes : Standalone and Distributed
-
Configuration du mode distribué
-
Tracking Offsets
-
Connector Configuration
-
Comparaison d'utilisation avec des options avancées
Kafka Streams
-
Cas d'utilisation de Kafka Streams
-
Kafka Streams : les fondamentaux
-
Étude d'une application et usage de Kafka Stream
Log Compaction Settings
Hardware and Capacity Planning
Traitement des Oversized Messages
Monitoring & Alerte
-
ZooKeeper and OS-Level Monitoring
-
Key Kafka Metrics
Cluster Administration
Key Cluster Administration Tasks
Replicating Clusters avec MirrorMaker
Kafka Security
-
SSL for Encryption and Authentication
-
SASL for Authentication
-
Authorization
Migration vers Secure Cluster
Demandez un devis pour cette formation.