技縁クラウド工房技縁クラウド工房

はじめてのBigQuery データ基盤・データ分析の第一歩

本書は、Google Cloudが提供しているデータウェアハウスサービス「BigQuery」をメイントピックとして扱います。BigQueryやデータ基盤について知らない方でも最初の一歩として手にとっていただけるように執筆しました。 データ基盤と聞くと、データエンジニアやデータサイエンティスト、機械学習エンジニア、会社によってはITインフラエンジニア・SREが関わることが多いと思いますが、Webエンジニアはクエリ実行することはあれどデータ基盤の構築まで踏み込むことは少ないと思います。 本書は本格的なデータ基盤の構築までは踏み込みませんが、BigQueryへのデータの投入からクエリ実行、ダッシュボードによる可視化をひととおり学べるという本です。50ページ程度のボリュームなのでサクッと読めるはずです。読みながらぜひ手を動かしてBigQueryとその周辺ツールの便利さを体験してもらえればと思っています。 ■ 本の構成 第1章 BigQueryをつかってみよう  1-1 BigQueryの料金体系  1-2 クエリを実行する  1-3 クエリを保存する 第2章 データを取り込んでみよう  2-1 BigQueryへのデータ取り込み方法  2-2 オープンデータを取り込む  2-3 効率的なクエリの書き方 第3章 ログを集計・可視化しよう  3-1 サンプルアプリケーションの構築  3-2 BigQueryデータセットの作成  3-3 Cloud Loggingシンクの設定  3-4 ログを集計する  3-5 DBデータを取り込む 第4章 可視化しよう  4-1 データポータルとは  4-2 COVID-19の感染者数を可視化する  4-3 Geo Vizで地理空間データを可視化する  4-4 商品カタログ別のアクセス数を可視化する  4-5 商品カタログ別の注文数を可視化する  4-6 ダッシュボードをブラッシュアップする  4-7 料金について  4-8 BigQuery BI Engine 第5章 GCPのコストを可視化しよう  5-1 Cloud Billingとは  5-2 エクスポートできるコストデータの種類  5-3 請求データをBigQueryにエクスポートする  5-4 よく使うカラム  5-5 クエリ例  5-6 GCPサービス別に前月比を可視化する ■ 本書で得られること ・BigQueryの料金体系、クエリ実行、テーブル作成に関する基礎知識 ・CSVなどのデータファイルの取り込み ・デモアプリをGKEクラスタで構築、アプリケーションログの取り込み ・ダッシュボード作成、データの可視化 ・GCPコストの集計・コスト分析について ■ 本書で得られないこと 本書では、次の内容について取り扱っていません。 ・ETL処理 ・データパイプライン、ワークフロー管理 ・リアルタイム分析 ・BigQuery、データ基盤のセキュリティ ・機械学習(BigQuery ML) ■ 対象読者 ・BigQueryについて聞いたことがある程度の人、初心者 ・データ基盤、ログ基盤の構築を任されたけど何をすればいいのかわからない人 ■ 前提とする知識 ・SQLについての基礎知識 ■ ファイル構成 zipファイルを解凍するとPDF版とEPUB版のファイルが入っています。 ・bigquery-nyumon.pdf:A5サイズのPDFファイル ・bigquery-nyumon.epub:EPUB版 【サンプル版】をダウンロードされた場合は以下のファイルのみとなります。 ・sample-bigquery-nyumon.pdf:A5サイズのPDFファイル(サンプル版)

本書は、Google Cloudが提供しているデータウェアハウスサービス「BigQuery」をメイントピックとして扱います。BigQueryやデータ基盤について知らない方でも最初の一歩として手にとっていただけるように執筆しました。 データ基盤と聞くと、データエンジニアやデータサイエンティスト、機械学習エンジニア、会社によってはITインフラエンジニア・SREが関わることが多いと思いますが、Webエンジニアはクエリ実行することはあれどデータ基盤の構築まで踏み込むことは少ないと思います。 本書は本格的なデータ基盤の構築までは踏み込みませんが、BigQueryへのデータの投入からクエリ実行、ダッシュボードによる可視化をひととおり学べるという本です。50ページ程度のボリュームなのでサクッと読めるはずです。読みながらぜひ手を動かしてBigQueryとその周辺ツールの便利さを体験してもらえればと思っています。 ■ 本の構成 第1章 BigQueryをつかってみよう  1-1 BigQueryの料金体系  1-2 クエリを実行する  1-3 クエリを保存する 第2章 データを取り込んでみよう  2-1 BigQueryへのデータ取り込み方法  2-2 オープンデータを取り込む  2-3 効率的なクエリの書き方 第3章 ログを集計・可視化しよう  3-1 サンプルアプリケーションの構築  3-2 BigQueryデータセットの作成  3-3 Cloud Loggingシンクの設定  3-4 ログを集計する  3-5 DBデータを取り込む 第4章 可視化しよう  4-1 データポータルとは  4-2 COVID-19の感染者数を可視化する  4-3 Geo Vizで地理空間データを可視化する  4-4 商品カタログ別のアクセス数を可視化する  4-5 商品カタログ別の注文数を可視化する  4-6 ダッシュボードをブラッシュアップする  4-7 料金について  4-8 BigQuery BI Engine 第5章 GCPのコストを可視化しよう  5-1 Cloud Billingとは  5-2 エクスポートできるコストデータの種類  5-3 請求データをBigQueryにエクスポートする  5-4 よく使うカラム  5-5 クエリ例  5-6 GCPサービス別に前月比を可視化する ■ 本書で得られること ・BigQueryの料金体系、クエリ実行、テーブル作成に関する基礎知識 ・CSVなどのデータファイルの取り込み ・デモアプリをGKEクラスタで構築、アプリケーションログの取り込み ・ダッシュボード作成、データの可視化 ・GCPコストの集計・コスト分析について ■ 本書で得られないこと 本書では、次の内容について取り扱っていません。 ・ETL処理 ・データパイプライン、ワークフロー管理 ・リアルタイム分析 ・BigQuery、データ基盤のセキュリティ ・機械学習(BigQuery ML) ■ 対象読者 ・BigQueryについて聞いたことがある程度の人、初心者 ・データ基盤、ログ基盤の構築を任されたけど何をすればいいのかわからない人 ■ 前提とする知識 ・SQLについての基礎知識 ■ ファイル構成 zipファイルを解凍するとPDF版とEPUB版のファイルが入っています。 ・bigquery-nyumon.pdf:A5サイズのPDFファイル ・bigquery-nyumon.epub:EPUB版 【サンプル版】をダウンロードされた場合は以下のファイルのみとなります。 ・sample-bigquery-nyumon.pdf:A5サイズのPDFファイル(サンプル版)