
データエンジニアリングのためのPySpark入門
Udemy · 日本語
この講座について
- 言語
- 日本語
- カテゴリ
- 提供元
- Udemy
- データ更新日
【本講座の概要】本講座は、データサイエンティストがAIシステムの前処理、ETLパイプラインを実装する上で必要不可欠となるPySparkの入門講座です。本講座を受講する事で、分散処理の基礎(MapReduce/Spark)を押さえたうえで、PySparkのスキルを実務レベルで習得します。実装パートでは、実データ(M5データセット)を取り扱う為、実践的な前処理、ETLパイプライン構築、ビッグデータ分析スキルを一気通貫で学べます。データサイエンティストの中には統計分析や機械学習によるモデリングに長けた人は多いと思います。一方でこんな悩みはありませんか?PySparkを使ってみたいが、教材が少なくどう始めればよいのか分からないビッグデータの分析は全てSQLベースの手法に依存しているパイプラインは全てデータエンジニア任せで自分でETLパイプラインを実装したことが無い本講座は、こうした課題を持つデータサイエンティストの「データエンジニアリング力」を短期間で底上げするために設計されています。【この講座で学べること】この講座は分散処理の理論とHandsOn形式のPySparkの実装を通じて、理論と実践をバランスよく学習します。また実践PySparkのパートではビッグデータ分析を想定した演習と課題を用意しています。これらの演習・課題に取り組むことで座学で学んだ知識の定着が図れます。
■ 分散処理とSparkの基礎分散処理の考え方/MapReduceの要点Sparkの基本コンポーネントと実行の流れ(DataFrame/SQLの位置づけ)
■ PySparkの基礎セッション:SparkSession列操作:select / withColumn / withColumnRenamed / drop / cast / when絞り込み・整列:filter / orderBy / unique(重複排除)結合:join(キー重複・列名衝突の扱い)欠測値処理:fillna / isnull / dropna集約:groupBy高度な集計:Window関数(順位付け、移動平均)ユーザー定義関数:UDFSpark SQLtoPandas
■ 実践PySpark講師と共にM5を用いたビッグデータ分析に挑戦(売上集計・Top Selling itemの分析など)課題:3つの課題に自身で取り組み、講座で学んだことを定着【対象者とゴール】対象者Python中級者でデータエンジニアリングについて学びたい方大規模データの集計・結合・欠測処理を学びたいデータ分析者ETLパイプラインをPySparkを使って実装していきたいデータサイエンティスト前提スキルPythonでの分析(pandas/NumPy など)の基本操作基本的なSQLの知識があると学習がスムーズです受講環境:Google Colab本コースのゴール分散処理の基礎知識(MapReduce / PySpark)を身に付けるPySparkの基礎を一通り
















