データ・DX
データエンジニアリングとは？
データエンジニアリングとは、データを収集、加工、蓄積、提供するための基盤や処理を設計・運用する領域です。
関連表記: データエンジニアリング / Data Engineering / データ基盤
試験で問われるポイント
- 分析やAIの前提として、データ基盤とデータ加工が必要です。
- DB、DWH、ETL/ELT、SQLなどと結びつきます。
- DS検定ではデータサイエンスとは別領域として扱われます。
具体例
複数システムのデータをDWHへ集約し、分析しやすい形に整えます。
混同しやすい点
- データ分析者だけがデータ基盤を考えればよいと考える。
- データを集めれば自動的に活用できると考える。
関連問題で復習
全社データ基盤の要件は次のとおりである。 | 対象 | 変更頻度 | 責任 | 統一要否 | |---|---|---|---| | 売上・顧客の共通指標 | 四半期 | 全社データ室 | 高い | | 製造センサー特徴量 | 毎日 | 製造部 | 部門内で高い | | 広告接触データ | 毎週 | マーケ部 | 部門内で高い | 最も適切な設計方針はどれか。
顧客データ基盤では、分析者は匿名化済みビューの参照、品質担当は隔離領域の更新、基盤管理者は権限設定を行う。異動と退職も毎月発生する。アクセス制御として最も適切なものはどれか。
MLOpsが解決しようとしている課題の説明として、最も適切なものはどれか。
Google CloudのAI活用を支える基盤について、役割の説明が正しいものを二つ選んでください。
部署ごとに分かれたデータを使ってAIを導入します。Google CloudのAI-readyなデータ基盤が、モデルの高性能化とは別に生む価値として適切なものはどれですか。
受注表 `orders(order_id, ordered_at, region, amount, status)` から、2026年8月の地域別確定売上をExcelで作成する。抽出仕様として最も適切なものはどれか。
解約分析へ次のデータを使う案がある。 | データ | 対象 | 取得時の案内 | 加工 | |---|---|---|---| | 購買履歴 | 国内顧客 | 配送と請求 | 顧客IDあり | | 閲覧ログ | EU居住者を含む | サービス運用 | IDをハッシュ化 | 収集前の対応として最も適切なものはどれか。
問い合わせWebサービスで、応答遅延と有人転送の原因を分析できるログ仕様を設計する。最も適切なものはどれか。