When will I receive my Course Certificate?

If you complete the course successfully, your electronic Course Certificate will be added to your Accomplishments page - from there, you can print your Course Certificate or add it to your LinkedIn profile.

Why can’t I audit this course?

This course is currently available only to learners who have paid or received financial aid, when available.

Is financial aid available?

Yes. In select learning programs, you can apply for financial aid or a scholarship if you can’t afford the enrollment fee. If fin aid or scholarship is available for your learning program selection, you’ll find a link to apply on the description page.

Como criar pipelines de dados em lote no Google Cloud

This course is part of Data Engineer, Big Data and ML on Google Cloud em Português Specialization

Instructor: Google Cloud Training

Included with

Learn more

4 modules

Gain insight into a topic and learn the fundamentals.

16 reviews

Intermediate level

Some related experience required

1 week to complete

at 10 hours a week

Flexible schedule

Learn at your own pace

4 modules

Gain insight into a topic and learn the fundamentals.

16 reviews

Intermediate level

Some related experience required

1 week to complete

at 10 hours a week

Flexible schedule

Learn at your own pace

What you'll learn

Determinar se os pipelines de dados em lote são a escolha correta para seu caso de uso comercial.
Projetar e criar pipelines de dados em lote escalonáveis para ingestões e transformações de alto volume.
Implementar controles de qualidade nos pipelines em lote para garantir a integridade dos dados.
Orquestrar, gerenciar e monitorar fluxos de trabalho de pipeline de dados em lote, implementando o tratamento de erros e a observabilidade.

Skills you'll gain

Tools you'll learn

Apache Spark

Details to know

Shareable certificate

Add to your LinkedIn profile

Assessments

5 assignments

Taught in Portuguese (Brazil)

See how employees at top companies are mastering in-demand skills

Learn more about Coursera for Business

logos of Petrobras, TATA, Danone, Capgemini, P&G and L'Oreal

Build your subject-matter expertise

This course is part of the Data Engineer, Big Data and ML on Google Cloud em Português Specialization

When you enroll in this course, you'll also be enrolled in this Specialization.

Learn new concepts from industry experts
Gain a foundational understanding of a subject or tool
Develop job-relevant skills with hands-on projects
Earn a shareable career certificate

There are 4 modules in this course

"Neste curso intermediário, você aprenderá a projetar, criar e otimizar pipelines de dados em lote robustos no Google Cloud. Além do tratamento básico de dados, você vai aprender sobre transformações em grande escala e orquestração eficiente de fluxos de trabalho, essenciais para a eficiência em Business Intelligence e relatórios importantes.

Você vai conhecer o papel fundamental de um engenheiro de dados no desenvolvimento e na manutenção de pipelines de dados em lote, entender os principais componentes e o ciclo de vida desses mecanismos e analisar os desafios mais comuns no processamento de dados em lote. Também vai identificar os principais serviços do Google Cloud que ajudam a resolver essas dificuldades.

What's included

1 assignment2 plugins

Você vai projetar pipelines de dados em lote escalonáveis para a ingestão e transformação de dados em grande volume. Também vai otimizar jobs em lote para ter economia e alta capacidade de processamento usando várias técnicas de gerenciamento de recursos e ajuste de desempenho.

What's included

1 assignment2 app items6 plugins

1 assignment Total 8 minutes

Teste do módulo 2: Design e transformações 8 minutes

2 app items Total 105 minutes

Laboratório: Criar um pipeline de dados em lote simples com o Serverless para Apache Spark 45 minutes
Laboratório: Criar um pipeline de dados em lote simples com a interface do job builder do Dataflow 60 minutes

6 plugins Total 90 minutes

Projetar pipelines em lote 15 minutes
Transformações de dados em grande escala 15 minutes
Dataflow e Serverless para Apache Spark 15 minutes
Orquestração e conexões de dados 15 minutes
Executar um pipeline do Apache Spark 15 minutes
Otimizar a performance do pipeline em lote 15 minutes

Você vai desenvolver regras de validação de dados e lógica de limpeza para garantir a qualidade deles nos pipelines em lote. Também vai implementar estratégias para gerenciar a evolução do esquema e eliminar duplicações em grandes conjuntos de dados.

What's included

1 assignment1 app item6 plugins

1 assignment Total 8 minutes

Teste do Módulo 3: Validação de dados e evolução do esquema 8 minutes

1 app item Total 90 minutes

Laboratório: Validar a qualidade dos dados em um pipeline em lote com o Serverless para Apache Spark 90 minutes

6 plugins Total 90 minutes

Validação e limpeza de dados em lote 15 minutes
Registrar e analisar erros 15 minutes
Evolução do esquema nos pipelines em lote 15 minutes
Integridade e duplicação de dados 15 minutes
Eliminação de duplicação com o Serverless para Apache Spark 15 minutes
Eliminação de duplicação com o Dataflow 15 minutes

Você vai orquestrar fluxos de trabalho complexos de pipeline de dados em lote para agendamento eficiente e rastreamento de linhagem. Também vai implementar tratamento de erros, monitoramento e observabilidade robustos nos pipelines de dados em lote.

What's included

2 assignments1 app item6 plugins

2 assignments Total 16 minutes

Teste do módulo 4: Orquestrações e DAGs 8 minutes
Teste do módulo 4: Observabilidade 8 minutes

1 app item Total 90 minutes

Laboratório: Como criar pipelines em lote no Cloud Data Fusion 90 minutes

6 plugins Total 90 minutes

Orquestração para processamento em lote 15 minutes
Cloud Composer 15 minutes
Observabilidade unificada 15 minutes
Alertas e solução de problemas 15 minutes
Gerenciamento visual de pipelines 15 minutes
Parabéns: resumo do curso 15 minutes

Earn a career certificate

Add this credential to your LinkedIn profile, resume, or CV. Share it on social media and in your performance review.

Instructor

Instructor ratings

(5 ratings)

Google Cloud Training

Google Cloud

2,113 Courses 4,017,584 learners

Offered by

Google Cloud

Explore more from Cloud Computing

Google Cloud
Build Batch Data Pipelines on Google Cloud
Course

Why people choose Coursera for their career

Felipe M.

Learner since 2018

"To be able to take courses at my own pace and rhythm has been an amazing experience. I can learn whenever it fits my schedule and mood."

Jennifer J.

Learner since 2020

"I directly applied the concepts and skills I learned from my courses to an exciting new project at work."

Larry W.

Learner since 2021

"When I need courses on topics that my university doesn't offer, Coursera is one of the best places to go."

Chaitanya A.

"Learning isn't just about being better at your job: it's so much more than that. Coursera allows me to learn without limits."

Open new doors with Coursera Plus

Unlimited access to 10,000+ world-class courses, hands-on projects, and job-ready certificate programs - all included in your subscription

Learn more

Advance your career with an online degree

Earn a degree from world-class universities - 100% online

Explore degrees

Join over 3,400 global companies that choose Coursera for Business

Upskill your employees to excel in the digital economy

Learn more

Frequently asked questions

Yes, you can preview the first video and view the syllabus before you enroll. You must purchase the course to access content not included in the preview.

If you decide to enroll in the course before the session start date, you will have access to all of the lecture videos and readings for the course. You’ll be able to submit assignments once the session starts.

Once you enroll and your session begins, you will have access to all videos and other resources, including reading items and the course discussion forum. You’ll be able to view and submit practice assessments, and complete required graded assignments to earn a grade and a Course Certificate.