pandas.read_gbqでBigQueryのデータをDataframeに出力

はじめに

  BigQueryに保存されているデータをpandasで弄りたい時に、pandasのread_gbqという関数を使うだけでBigQueryのデータをDataframeに出力することができます。今回はread_gbqについて紹介していきたいと思います。  

事前準備

  ①https://cloud.google.com/sdk/ でSDKパッケージをダウンロードしてCLOUD SDKをインストールします。
 
②ターミナルで、pip install google-api-python-clientと入力し、clientをインストールします。
 
③ターミナルで、pip install pandas-gbqと入力し、pandas-gbqをインストールします。
 

read_gbqの例

import pandas as pd
 
#project_id : 使用しているBigQueryのプロジェクト名  
project_id = 'xxxx'
 
#query : SQLを文字列として入力します。  
query = "SELECT * FROM `xxxx_dataset.xxxxx_table`;"
 
#dialect='standard'
#スタンダードSQL(レガシーSQLではなく)を指定しています
df = pd.read_gbq(query, project_id, dialect='standard')

実行すると"Enter the authorization codeという提示が出てきますので、提示にあるリンクをクリックし、許可コードをコピペするとBQのselect結果がDataframeに出力されるはずです。そして、2回目以降は許可コードは要らないです。