タグ: データ基盤
- Databricks Genieとは？自然言語の質問をSQLにして答える仕組み 2026/10/12
Databricks の Genie は、利用者が日本語などで尋ねた質問を SQL にして、Unity Catalog の表から答える AI の機能群である。店ごとの売上を尋ねる例で、誰の権限で読むのか、定義をどう与えるのか、正しさをどう確かめ、料金はどう決まるかを説明する。
- Databricks宣言型自動化バンドルとは？旧アセットバンドルの仕組み 2026/10/12
Databricks の宣言型自動化バンドル（旧称アセットバンドル、Databricks Asset Bundles）は、ジョブの定義とコードを一つのプロジェクトにまとめ、開発と本番に同じ形でデプロイする仕組みである。毎晩の注文の集計を例に、何がどこに作られ、画面で直すと何が起き、本番には誰がデプロイするかを説明する。
- Delta Sharingとは？データをコピーせずに共有する仕組み 2026/10/11
Delta Sharing は、受信者に表のファイルを提供者のストレージから直接読ませる、データ共有のオープンなプロトコルである。注文の表を取引先と共有する例で、受信者が何を受け取り、どこでコピーが生まれ、誰が何を払うかを説明し、Lakehouse Federation とも比べる。
- Databricks料金はどう決まる？DBUの計算と請求の内訳 2026/10/11
Databricks の料金は、使った DBU の量に、コンピュートの種類ごとの単価を掛けて決まる。毎晩の集計の処理を例に、DBU の量の出方、汎用とジョブの単価、アイドルの時間、Photon、サーバーレスで請求の行がどう変わるかを、公式の価格表と請求テーブルをもとに説明する。
- リキッドクラスタリングとは？Z-orderとの違いと仕組み 2026/10/11
リキッドクラスタリングは、Delta Lake の表で値の近い行を同じファイルに集める配置の方法である。ファイルごとの最小値と最大値による読み飛ばしを軸に、パーティション、Z-order、リキッドクラスタリング、削除ベクトルがファイルとログをどう変えるかを、公式の文書と仕様をもとに説明する。
- Delta Lakeとは？ファイルとトランザクションログの仕組み 2026/10/11
Delta Lake は、Parquet のデータファイルと、どのファイルが表に属するかを記録したトランザクションログからなる表の形式である。表のディレクトリの中身を追いながら、書き込み、更新と削除、タイムトラベル、VACUUM が何を変えるかを、公式の文書と仕様、論文をもとに説明する。
- Unity Catalogとは？階層・権限・リネージの仕組みを解説 2026/10/10
Unity Catalog は、Databricks に組み込まれたデータと AI のガバナンスの層である。公式の文書をもとに、メタストアからテーブルまでの階層、マネージドテーブルと外部テーブル、権限の継承、行と列の制御、リネージと監査、権限が届かない経路を説明する。
- メダリオンアーキテクチャとは？ブロンズ・シルバー・ゴールドの役割 2026/10/8
メダリオンアーキテクチャは、データを品質の段階でブロンズ・シルバー・ゴールドの層に分ける設計の型である。Databricks の公式の文書をもとに、各層に何を置くか、Databricks で層を作る仕組み、先にあった考え方との関係、製品ごとの呼び方の違いと批判を説明する。
- Databricksとは？できること・構成・料金の仕組みを公式資料から解説 2026/10/7
Databricks は、オープンな形式の表を Spark を拡張したエンジンで処理し、Unity Catalog で管理するレイクハウスの基盤である。公式の文書をもとに、できること、アカウントからコンピュートプレーンまでの構成、DBU と仮想マシンの代金からなる料金の仕組み、6つの基本原則を説明する。
- データガバナンスとは：データの信頼を決める仕組みと残る課題 2026/10/7
誰でも何でも保存して問い合わせられる基盤では、どのデータを信じてよいかを決める仕組みの必要がいっそう強まった。品質の検査をコードにし、来歴で写しをたどり、データオーナーに責任を持たせる。その仕組みをどこに置くかは割れており、バッチとストリーム、AI の処理をめぐる主張も並んだままである。
- オープンテーブルフォーマットとは：版をログで差し替える仕組み 2026/10/7
オブジェクトストレージ上のただのファイルは、更新の途中が見え、一覧の取得も遅い。Delta Lake・Iceberg・Hudi は、どのファイルがテーブルのどの版に属するかを記録して一回で差し替え、更新と過去の版を持たせた。ファイルの整理と、メタデータの在りかを握るカタログの課題は残った。
- ストレージとコンピュートの分離とは：得たものと、遅さ・料金の代償 2026/10/6
分析用のデータベースは、計算する機械のディスクにデータを置く形から、データを共有のオブジェクトストレージに置き、計算する機械を別に動かす形へ移った。保存と計算を別々に増減でき、止めれば払わずに済むようになったが、遠い保存先の遅さをキャッシュで補い、使った分の料金を自分で管理する負担が生じた。
- データレイクとは？仕組みと、データスワンプになる理由 2026/10/5
データレイクは、安い汎用の機械に生のデータを形を決めずに置き、読むときに解釈する。取り込みは速く安くなったが、データの意味と品質を確かめる作業は読む人ごとに先送りされた。それを管理しなければデータスワンプになる危険が、早くから指摘された。
- 列指向データベースとは：行指向との違い、速い理由と苦手な処理 2026/10/5
データウェアハウスの集計は、多数の行の少数の列を読む。分析用のデータベースは、データを列ごとに並べて圧縮し、多数の機械に分けて読むことで、読む量と一行ごとの処理の手間を減らした。その代わりに、一行ずつの書き込みと特定の行の取り出しは苦手になる。
- データウェアハウスとは？業務データベースとの違いとETL 2026/10/4
部門ごとに業務システムから抜き出すと、同じ問いに別々の数字が返る。データウェアハウスは、写すときに名前・コード・キーの食い違いをそろえ、過去の状態も行として残すことで、数字を一つにしようとした。そろえる場所で Inmon と Kimball は分かれ、データウェアハウスを作った後でも指標の定義が割れると数字は割れる。
- OLTPとOLAPの違い：分析を別コピーで動かす理由とHTAP 2026/10/3
注文の登録のような業務の処理と売上の集計のような分析は、一回に触るデータの量が桁で違い、同じ資源で動かすと分析が業務の処理を遅らせる。分けると業務は守れるが、分析は遅れたコピーを読む。両方を一つで扱う HTAP でも、干渉を小さく抑えた設計は分析用のコピーを別に持つ。
- Materials Projectのデータ一括取得：列形式の配布とmp-apiで読む 2026/10/3
Materials Projectは以前からデータをJSONファイルの束としても一括で配ってきた。2026年6月に本番化した版（v2026.04.13）では中核データの保存層をDeltaテーブルへ移し、配る形式を列形式の表に変えた。この変更を読み、複数のデータベースを束ねて配るLeMaterialと並べる。
