タグ: データベース
- データガバナンスとは：データの信頼を決める仕組みと残る課題 2026/10/7
誰でも何でも保存して問い合わせられる基盤では、どのデータを信じてよいかを決める仕組みの必要がいっそう強まった。品質の検査をコードにし、来歴で写しをたどり、データオーナーに責任を持たせる。その仕組みをどこに置くかは割れており、バッチとストリーム、AI の処理をめぐる主張も並んだままである。
- オープンテーブルフォーマットとは：版をログで差し替える仕組み 2026/10/7
オブジェクトストレージ上のただのファイルは、更新の途中が見え、一覧の取得も遅い。Delta Lake・Iceberg・Hudi は、どのファイルがテーブルのどの版に属するかを記録して一回で差し替え、更新と過去の版を持たせた。ファイルの整理と、メタデータの在りかを握るカタログの課題は残った。
- ストレージとコンピュートの分離とは：得たものと、遅さ・料金の代償 2026/10/6
分析用のデータベースは、計算する機械のディスクにデータを置く形から、データを共有のオブジェクトストレージに置き、計算する機械を別に動かす形へ移った。保存と計算を別々に増減でき、止めれば払わずに済むようになったが、遠い保存先の遅さをキャッシュで補い、使った分の料金を自分で管理する負担が生じた。
- データレイクとは？仕組みと、データスワンプになる理由 2026/10/5
データレイクは、安い汎用の機械に生のデータを形を決めずに置き、読むときに解釈する。取り込みは速く安くなったが、データの意味と品質を確かめる作業は読む人ごとに先送りされた。それを管理しなければデータスワンプになる危険が、早くから指摘された。
- 列指向データベースとは：行指向との違い、速い理由と苦手な処理 2026/10/5
データウェアハウスの集計は、多数の行の少数の列を読む。分析用のデータベースは、データを列ごとに並べて圧縮し、多数の機械に分けて読むことで、読む量と一行ごとの処理の手間を減らした。その代わりに、一行ずつの書き込みと特定の行の取り出しは苦手になる。
- データウェアハウスとは？業務データベースとの違いとETL 2026/10/4
部門ごとに業務システムから抜き出すと、同じ問いに別々の数字が返る。データウェアハウスは、写すときに名前・コード・キーの食い違いをそろえ、過去の状態も行として残すことで、数字を一つにしようとした。そろえる場所で Inmon と Kimball は分かれ、データウェアハウスを作った後でも指標の定義が割れると数字は割れる。
- OLTPとOLAPの違い：分析を別コピーで動かす理由とHTAP 2026/10/3
注文の登録のような業務の処理と売上の集計のような分析は、一回に触るデータの量が桁で違い、同じ資源で動かすと分析が業務の処理を遅らせる。分けると業務は守れるが、分析は遅れたコピーを読む。両方を一つで扱う HTAP でも、干渉を小さく抑えた設計は分析用のコピーを別に持つ。
- 材料データベースの横断検索：OPTIMADEの仕組みと値がずれる理由 2026/9/21
材料データベースを横断して検索する共通仕様OPTIMADEは、問い合わせの言語と応答の器だけを揃え、値の意味は各データベースに残す。設計理由を仕様と論文に読み、2026年9月に登録23件のうち応答した18件を実測する。代償は、過去の版の比較研究で生成エネルギーの中央絶対差が最大0.105 eV/atomだった点にある。
