14 de março de 2023 
4 min de leituraNão há como negar que já inauguramos a era do big data. Uma quantidade enorme de informações é gerada a cada segundo. Embora os tomadores de decisão possam obter insights valiosos com isso...
9 de fevereiro de 2023 3 min de leituraComo engenheiro de dados, você provavelmente já ouviu falar do Hadoop. É um dos frameworks mais populares para processamento distribuído de grandes conjuntos de dados. É menos caro e mais seguro do que outros...
30 de janeiro de 2023 4 min de leituraComo engenheiro de dados, você provavelmente já ouviu falar da metodologia de integração de dados chamada ETL (Extração-Transformação-Carga). Ela existe há algum tempo, e muitos engenheiros de dados usam essa metodologia...
5 de dezembro de 2022 4 min de leituraPoucos discordariam que a palavra "preguiçoso" tem uma conotação negativa. Geralmente descrevemos alguém que não está disposto a trabalhar duro como preguiçoso. No entanto, nem toda preguiça é indesejável, e às vezes nós...
29 de novembro de 2022 3 min de leituraSe você já está no mundo do big data há tempo suficiente, provavelmente já ouviu falar de arquivos Parquet. Você pode até ter usado enquanto pensava: "por que não podemos simplesmente usar arquivos CSV?" Hoje, eu...
21 de novembro de 2022 4 min de leituraOi! Meu nome é Ziyu Chen. Sou engenheira full-stack na Colorkrew. Adoro aprender e escrever sobre engenharia de dados. Hoje, gostaria de discutir transformações e ações no Spark. Claro,...
