クラウドAI
Dataflowとは?
Dataflowとは、Google Cloudでバッチ処理やストリーム処理のデータパイプラインを実行するサービスです。
関連表記: Dataflow / データフロー / ストリーム処理 / バッチ処理
試験で問われるポイント
- データを収集、変換、集計してBigQueryなどへ流す用途で使われます。
- リアルタイム分析やETL/ELTと関係します。
- Cloud Digital Leaderではデータ分析基盤の構成要素として押さえたい用語です。
具体例
Pub/Subから流れるログを処理し、BigQueryに分析しやすい形で格納します。
混同しやすい点
- DataflowをBIダッシュボードの表示サービスと考える。
- データ変換とデータ保存を同じ役割として扱う。
関連問題で復習
複数の業務システムへイベントを配信します。送信側は各受信システムの処理完了を待たずに動き続け、受信側は自分のタイミングで処理したいと考えています。中心となるサービスはどれですか。
工場のイベントを受け取り、値を補正して一定時間ごとの集計結果を分析基盤へ送ります。過去のファイルにも同じ処理を行いたい場合、バッチとストリームの処理基盤として最も適切なものはどれですか。
事業部門が分析済みの指標をダッシュボードで確認し、自分で条件を変えてデータを探索したいと考えています。利用者向けのBI基盤として最も適切なものはどれですか。
SQLを使う分析チームが、BigQuery上のデータで予測モデルを作成したいと考えています。別の機械学習実行環境の構築を抑えられる機能はどれですか。
チームには既存のApache Sparkジョブと運用経験があり、コード資産を生かしながらクラスタ管理の負担を減らしたいと考えています。最も適したサービスはどれですか。
機器イベントを受け付け、異常値を除いて集計し、その結果をSQLで分析します。各段階を担うサービスの組み合わせとして最も適切なものはどれですか。
企業がBigQueryの分析データをパートナーへ共有します。受け手ごとにデータを複製して配布する管理を減らし、権限に基づく共有を行う機能はどれですか。
アップロードされた大きな資料をモデルで解析する処理に数分かかります。利用者は受付完了を先に受け取り、結果ができた後に取得できれば十分です。リクエスト単位で順次処理する方式として最も適切なのはどれですか。