Databricks 入門
Databricksとは：メダリオン・Unity Catalog・料金の考え方と基本原則
Databricks で分析と AI の基盤を作るとき、どんな判断を、どの考え方に沿って下せばよいのか
このシリーズのゴール
Databricks が示す6つの基本原則を手がかりに、データの層の分け方、権限の管理、テーブルの最適化、計算資源と料金、データの共有、ジョブと CI/CD、AI 機能について、公式の推奨と実務者の異論の両方を踏まえて自分で判断できる状態
扱わない話題
- 画面の操作手順と設定の手引き
- 他社製品との優劣の比較
- 料金の具体的な金額
- Databricksとは？できること・構成・料金の仕組みを公式資料から解説
Databricks は、オープンな形式の表を Spark を拡張したエンジンで処理し、Unity Catalog で管理するレイクハウスの基盤である。公式の文書をもとに、できること、アカウントからコンピュートプレーンまでの構成、DBU と仮想マシンの代金からなる料金の仕組み、6つの基本原則を説明する。
- メダリオンアーキテクチャとは？ブロンズ・シルバー・ゴールドの役割
メダリオンアーキテクチャは、データを品質の段階でブロンズ・シルバー・ゴールドの層に分ける設計の型である。Databricks の公式の文書をもとに、各層に何を置くか、Databricks で層を作る仕組み、先にあった考え方との関係、製品ごとの呼び方の違いと批判を説明する。
- Unity Catalogとは？階層・権限・リネージの仕組みを解説
Unity Catalog は、Databricks に組み込まれたデータと AI のガバナンスの層である。公式の文書をもとに、メタストアからテーブルまでの階層、マネージドテーブルと外部テーブル、権限の継承、行と列の制御、リネージと監査、権限が届かない経路を説明する。
- Delta Lakeとは？ファイルとトランザクションログの仕組み
Delta Lake は、Parquet のデータファイルと、どのファイルが表に属するかを記録したトランザクションログからなる表の形式である。表のディレクトリの中身を追いながら、書き込み、更新と削除、タイムトラベル、VACUUM が何を変えるかを、公式の文書と仕様、論文をもとに説明する。
- リキッドクラスタリングとは？Z-orderとの違いと仕組み
リキッドクラスタリングは、Delta Lake の表で値の近い行を同じファイルに集める配置の方法である。ファイルごとの最小値と最大値による読み飛ばしを軸に、パーティション、Z-order、リキッドクラスタリング、削除ベクトルがファイルとログをどう変えるかを、公式の文書と仕様をもとに説明する。
- Databricks料金はどう決まる？DBUの計算と請求の内訳
Databricks の料金は、使った DBU の量に、コンピュートの種類ごとの単価を掛けて決まる。毎晩の集計の処理を例に、DBU の量の出方、汎用とジョブの単価、アイドルの時間、Photon、サーバーレスで請求の行がどう変わるかを、公式の価格表と請求テーブルをもとに説明する。
- Delta Sharingとは？データをコピーせずに共有する仕組み
Delta Sharing は、受信者に表のファイルを提供者のストレージから直接読ませる、データ共有のオープンなプロトコルである。注文の表を取引先と共有する例で、受信者が何を受け取り、どこでコピーが生まれ、誰が何を払うかを説明し、Lakehouse Federation とも比べる。
- Databricks宣言型自動化バンドルとは？旧アセットバンドルの仕組み
Databricks の宣言型自動化バンドル（旧称アセットバンドル、Databricks Asset Bundles）は、ジョブの定義とコードを一つのプロジェクトにまとめ、開発と本番に同じ形でデプロイする仕組みである。毎晩の注文の集計を例に、何がどこに作られ、画面で直すと何が起き、本番には誰がデプロイするかを説明する。
- Databricks Genieとは？自然言語の質問をSQLにして答える仕組み
Databricks の Genie は、利用者が日本語などで尋ねた質問を SQL にして、Unity Catalog の表から答える AI の機能群である。店ごとの売上を尋ねる例で、誰の権限で読むのか、定義をどう与えるのか、正しさをどう確かめ、料金はどう決まるかを説明する。
