Coursera Instructor Network
Spécialisation Building Smarter Data Pipelines: SQL, Spark, Kafka & GenAI
Coursera Instructor Network

Spécialisation Building Smarter Data Pipelines: SQL, Spark, Kafka & GenAI

Build Scalable Data Engineering Systems. Learn to design, implement, and optimize data pipelines using industry-standard tools and frameworks

Caio Avelino
Starweaver
Soheil Haddadi

Instructeurs : Caio Avelino

Inclus avec Coursera Plus

Approfondissez votre connaissance d’un sujet
4.6

(5 avis)

niveau Intermédiaire

Expérience recommandée

4 semaines à compléter
à 10 heures par semaine
Planning flexible
Apprenez à votre propre rythme
Approfondissez votre connaissance d’un sujet
4.6

(5 avis)

niveau Intermédiaire

Expérience recommandée

4 semaines à compléter
à 10 heures par semaine
Planning flexible
Apprenez à votre propre rythme

Ce que vous apprendrez

  • Design and implement scalable data ingestion, processing, and storage systems using Apache Kafka and Spark

  • Build high-performance data pipelines integrating cloud platforms, databases, and generative AI technologies

  • Apply data engineering best practices for enterprise-scale analytics, optimization, and real-time processing

Détails à connaître

Certificat partageable

Ajouter à votre profil LinkedIn

Enseigné en Anglais
Récemment mis à jour !

août 2025

26 exercices pratiques

Découvrez comment les employés des entreprises prestigieuses maîtrisent des compétences recherchées

 logos de Petrobras, TATA, Danone, Capgemini, P&G et L'Oreal

Améliorez votre expertise en la matière

  • Acquérez des compétences recherchées auprès d’universités et d’experts du secteur
  • Maîtrisez un sujet ou un outil avec des projets pratiques
  • Développez une compréhension approfondie de concepts clés
  • Obtenez un certificat professionnel auprès de Coursera Instructor Network

Spécialisation - série de 8 cours

Ce que vous apprendrez

  • Analyse the architecture and components of data pipelines to understand their impact on data flow and processing efficiency.

  • Implement robust ETL processes, for scalability and maintainability.

  • Analyze big data challenges and introduce Hadoop ecosystem tools (HDFS, MapReduce, Hive, Pig, and Spark) for data processing tasks.

Compétences que vous acquerrez

Data Pipelines, Apache Hadoop, Extract, Transform, Load, Big Data, Data Warehousing, Data Quality, Data Analysis, Data Migration, Business Analytics, Data Management, Data Processing, Apache Spark, Apache Hive, Data Integration, Strategic Decision-Making, Data Transformation, Data Strategy et Scalability

Ce que vous apprendrez

  • Identify and describe the components and importance of data ecosystems.

  • Understand the basic structure and function of data pipelines.

  • Recognize the steps involved in ETL workflows and their role in data handling.

  • Gain an introductory knowledge of big data and the application of Apache Spark.

Compétences que vous acquerrez

Data Pipelines, Extract, Transform, Load, Apache Spark, Data Infrastructure, Data Management, Data Processing, Data Integration, Scalability, Big Data, Data Architecture et Dataflow

Ce que vous apprendrez

  • Explain the importance of data warehousing in business intelligence.

  • Design and implement effective schema designs for data warehouses.

  • Implement ETL processes to load and transform data into a data warehouse.

  • Apply performance optimization techniques to enhance data warehouse efficiency.

Compétences que vous acquerrez

Snowflake Schema, Star Schema, Data Warehousing, Extract, Transform, Load, Scalability, Data Modeling, Databases, Business Intelligence, Database Design, Performance Tuning, Data Integration, Data Transformation et Data Management

Ce que vous apprendrez

  • Analyze and tune SQL queries to enhance SQL performance and reduce application latency.

  • Evaluate effective database index and maintenance task strategies to improve efficiency.

  • Monitor the performance of troubleshooting techniques used for resolving common SQL server issues.

  • Apply best practices for SQL Server performance to ensure consistent and reliable operations.

Compétences que vous acquerrez

Microsoft SQL Servers, Performance Tuning, Application Performance Management, Network Troubleshooting, Database Design, System Monitoring, SQL, Stored Procedure, Database Management et Scalability

Ce que vous apprendrez

  • Show understanding of the fundamentals of cloud architecture, including key components like virtual machines, storage, and networking.

  • Identify and implement core cloud design patterns such as Load Balancer, Circuit Breaker, and Auto-Scaling to ensure scalability and reliability.

  • Demonstrate advanced cloud design patterns, including Microservices Architecture, Event-Driven Architecture, and Serverless Computing.

Compétences que vous acquerrez

Serverless Computing, Microservices, Cloud Computing Architecture, Load Balancing, Cloud Computing, Scalability, Cloud Services, Cloud Applications, Software Design Patterns, Cloud Platforms, Cloud Security, Event-Driven Programming, Cloud Infrastructure, Infrastructure As A Service (IaaS) et Software Architecture

Ce que vous apprendrez

  • Identify the capabilities of GenAI for basic role specific, Data Engineer functions.

  • Examine real-world applications to leverage GenAI for streamlining work and fostering innovation in Data Engineering functions.

  • Deploy strategies and tactics to responsibly integrate GenAI into data engineering practices, while maintaining human oversight and accountability.

Compétences que vous acquerrez

Generative AI, Prompt Engineering, Data Ethics, Responsible AI, Data Quality, Database Management, SQL, Data Pipelines, Data Modeling, Data Transformation et AI Product Strategy

Ce que vous apprendrez

  • Describe Apache Kafka's architecture and its components, enhancing data pipeline efficiency.

  • Configure and manage Kafka clusters, ensuring high availability and fault tolerance.

  • Apply (Create and use) topics, publishers, and subscribers to facilitate real-time data exchange.

  • Implement basic stream processing applications using Kafka Streams, addressing real-world data challenges.

Compétences que vous acquerrez

Real Time Data, Scalability, Apache Kafka, System Monitoring, Operational Databases, Data Processing, Data Pipelines et Performance Tuning

Ce que vous apprendrez

Compétences que vous acquerrez

Data Quality, Data Cleansing, Generative AI, Automation, Artificial Intelligence, Responsible AI, Tensorflow, Data Processing, Alteryx, Data Validation, OpenAI et Data Transformation

Obtenez un certificat professionnel

Ajoutez ce titre à votre profil LinkedIn, à votre curriculum vitae ou à votre CV. Partagez-le sur les médias sociaux et dans votre évaluation des performances.

Instructeurs

Caio Avelino
6 Cours6 370 apprenants
Starweaver
Coursera Instructor Network
448 Cours845 372 apprenants
Soheil Haddadi
Coursera Instructor Network
5 Cours2 870 apprenants

Offert par

Comparer avec des produits similaires

Évaluation
Niveau
Compétences
Outils
Dernière mise à jour
Nombre d'exercices pratiques
Éligibilité au diplôme
Partie de Coursera Plus

Vous aimerez peut-être aussi

Pour quelles raisons les étudiants sur Coursera nous choisissent-ils pour leur carrière ?

Felipe M.
Étudiant(e) depuis 2018
’Pouvoir suivre des cours à mon rythme à été une expérience extraordinaire. Je peux apprendre chaque fois que mon emploi du temps me le permet et en fonction de mon humeur.’
Jennifer J.
Étudiant(e) depuis 2020
’J'ai directement appliqué les concepts et les compétences que j'ai appris de mes cours à un nouveau projet passionnant au travail.’
Larry W.
Étudiant(e) depuis 2021
’Lorsque j'ai besoin de cours sur des sujets que mon université ne propose pas, Coursera est l'un des meilleurs endroits où se rendre.’
Chaitanya A.
’Apprendre, ce n'est pas seulement s'améliorer dans son travail : c'est bien plus que cela. Coursera me permet d'apprendre sans limites.’
Coursera Plus

Ouvrez de nouvelles portes avec Coursera Plus

Accès illimité à 10,000+ cours de niveau international, projets pratiques et programmes de certification prêts à l'emploi - tous inclus dans votre abonnement.

Faites progresser votre carrière avec un diplôme en ligne

Obtenez un diplôme auprès d’universités de renommée mondiale - 100 % en ligne

Rejoignez plus de 3 400 entreprises mondiales qui ont choisi Coursera pour les affaires

Améliorez les compétences de vos employés pour exceller dans l’économie numérique

Foire Aux Questions