データ構造とテーブル定義

1. 構造化データと非構造化データを見分ける

収集したデータを扱う最初の一歩は、そのデータが構造化データ^※1なのか非構造化データ^※2なのかを判断することです。構造化データとは、行と列が整った表形式で管理できるデータのことで、顧客データ・商品データ・在庫データなど、Excelやデータベースの表にそのまま収まる情報を指します。

一方、非構造化データとは、あらかじめ決まった形式を持たないデータのことです。雑多なテキスト(自由記述のアンケート回答など)、音声、画像、動画がこれにあたります。表の1マスに収まらない、あるいは表として整理すること自体が難しいデータだとイメージすると理解しやすいでしょう。両者の中間として、JSONやXMLのようにある程度の規則性は持つものの、行・列に固定できない半構造化データ^※3という区分もあります。

さえ

この「構造化か非構造化か」の判断は、DS検定でも頻出のテーマだよ。第7章で学んだ画像・音声・自然言語処理の話も、ぜんぶ「非構造化データ」の扱いの話だったんだよね。

2. ER図を読んでテーブル間のリレーションシップを理解する

構造化データは通常、1つの表(テーブル)だけで完結せず、複数のテーブルが互いに関連しあって1つのデータベースを構成します。たとえば「顧客テーブル」と「注文テーブル」は別々の表ですが、「どの顧客が、どの注文をしたか」という関係でつながっています。このテーブル同士のつながり方(関係性)を図で表したものがER図^※4(Entity-Relationship Diagram、実体関連図)です。

ER図では、テーブル(エンティティ)を四角形で、テーブル間の関係性(リレーションシップ)を線で表します。代表的な関係性には、1対多^※6(1人の顧客が複数の注文を持てる、など)や多対多^※7(1つの注文に複数の商品が含まれ、1つの商品が複数の注文に登場する、など)があります。ER図を正しく読めるようになると、「このデータはどのテーブルとどのテーブルを組み合わせれば取得できるか」がイメージできるようになります。

さえ

ER図は「家系図」みたいなものだと思うとわかりやすいよ。誰と誰がどうつながっているかを線で追いかけていく感覚で読んでみて！

3. テーブルを正規化する ― 第一正規化から第三正規化まで

テーブルを設計するとき、データの重複や更新時の矛盾を防ぐために行う整理の手順を正規化^※5と呼びます。正規化には段階があり、DS検定では第一正規化・第二正規化・第三正規化の考え方を理解しておく必要があります。

第一正規化は、1つのセルに複数の値を詰め込まないようにする整理です。たとえば「購入商品」の列に「りんご、みかん、バナナ」とまとめて書いてしまうと、集計や検索がとても面倒になります。これを1商品1行になるよう分割するのが第一正規化です。

第二正規化は、複数の項目を組み合わせて主キーにしているテーブルで、主キー(その行を一意に特定する項目)の一部だけに依存する項目を、別テーブルに切り出す整理です。たとえば「注文明細テーブル」の主キーが「注文ID+商品ID」の組み合わせだとして、そこに「商品名」を持たせていると、商品名は主キーのうち「商品ID」だけで決まってしまいます。この状態で同じ商品が何度も登場するたびに商品名を書く必要があり、商品名を変更したいときにすべての行を直す羽目になります。商品に関する情報は「商品テーブル」に切り出し、注文明細には「商品ID」だけを持たせるようにします。

第三正規化は、主キーに直接関係のない項目同士の依存関係(間接的な依存)を取り除く整理です。たとえば「顧客テーブル」に「郵便番号」と「都道府県」を両方持たせていると、郵便番号が決まれば都道府県も決まるという間接的な依存が生まれます。この場合、都道府県の情報は別テーブルに切り出すか、参照する形にして重複を避けます。

さえ

正規化は「1セル1値→部分的な依存を分離→間接的な依存も分離」の3段階、って覚えておくと試験でも整理しやすいよ！

まとめ

このレッスンでは、データを整理するための基本的な考え方を見てきました。最後に振り返っておきましょう。

1. 構造化/非構造化データの判断 ― 表形式に収まるかどうかで、構造化・半構造化・非構造化データを判断できる
2. ER図の読み方 ― ER図を読んでテーブル間のリレーションシップ(1対多・多対多など)を理解できる
3. 正規化 ― 第一正規化〜第三正規化を用いて、データの重複や更新時の矛盾を防ぐテーブル設計ができる

次のレッスンでは、こうして整理したデータをどこに、どのように蓄積するか、DWHやクラウドストレージ、分散処理技術といった「データ蓄積とクラウド」を扱います。