2023年3月14日 
5分で読めますビッグデータの時代をすでに切り開いたことは否定できません。毎秒膨大な量の情報が生成されています。意思決定者はこの情報から貴重な洞察を得ることができますが...
2023年2月9日 4分で読めますデータエンジニアとして、おそらくHadoopについて聞いたことがあるでしょう。これは大規模なデータセットの分散処理に最も人気のあるフレームワークの一つです。他の...
2023年1月30日 4分で読めますデータエンジニアとして、おそらくETL(Extract-Transform-Load)と呼ばれるデータ統合手法を聞いたことがあるでしょう。これは以前から存在しており、多くのデータエンジニアがこの手法を使ってきました...
2022年12月5日 6分で読めます「怠け者」という言葉には否定的な意味合いがあることに異論を唱える人はほとんどいません。私たちは通常、一生懸命働く意欲のない人を怠け者と表現します。しかし、すべての怠惰が望ましくないわけではなく、時には...
2022年11月29日 4分で読めますビッグデータの世界に長くいるなら、Parquetファイルについて聞いたことがあるかもしれません。「なぜCSVファイルを使えないのか?」と考えながら使ったことがあるかもしれません。今日、私は...
2022年11月21日 5分で読めますこんにちは!私の名前は陳紫宇です。Colorkrewのフルスタックエンジニアです。データエンジニアリングについて学び、執筆するのが大好きです。今日はSparkにおける変革とアクションについて話したいと思います。もちろんです,...
