dbt で BigQuery tables for Apache Iceberg を作成し Snowflake から読む

Google Apps Script で IDトークンを取得し AWS の Role を Assume して S3 を読み書きする

BigQuery から Cloud Run functions を呼び出して任意のライブラリやサービスを用いた処理を行う

GCP の Workload Identity Federation を Terraform で設定してサービスアカウントのキーを作成せずに AWS から API を呼ぶ

Airflow から Secrets Manager に格納されている Slack の認証情報を用いて通知を飛ばす

BigQuery の INFORMATION_SCHEMA でコストが高いクエリを特定する

astronomer-cosmos で dbt を Airflow の TaskGroup として実行する

BigQueryのタイムトラベルやスナップショットでデータを復元する

GCP の マネージド Airflow サービスCloud Composer を Terraform で立ち上げてワークフローを動かす

dbt で BigQuery のデータを SQL で加工して新しいテーブルを作る

Apache Beam による ETL のマネージドサービス Dataflow のサンプルコード Word Count を読んで実行する

カーディナリティを確率的に推定する HyperLogLog++ で膨大なデータに対する count-distinct での OOM を回避する

GlueのカスタムコネクタでBigQueryに接続する

ウェブアプリとしてデプロイしたGASをブラウザからAPIとして呼ぶ際のCORSエラー

claspでGoogle Apps Scriptをローカルで開発しデプロイする

GoのSheets API v4クライアントでSpreadsheetを読み書きする

IstioをHelmでインストールしてRoutingとTelemetryを行いJaeger/Kialiで確認する

CircleCI 2.0でDocker imageをbuildしてタグを付けてContainer Registryに上げる

KubernetesのCustom Resource Definition(CRD)とCustom Controller

KubernetesのNetworkPolicy Resource

GCPのCloud Pub/Sub

GAEのTaskQueue

GKEでのService(ClusterIP/NodePort/LoadBalancer)とIngress

TerraformでGKEクラスタとBigQueryを立てる

Macでの開発環境構築メモ

KubernetesにHelmでLocustによる分散負荷試験環境を立てる

RBACが有効なGKEでHelmを使う

Kubernetesの1PodでAppとfluentdコンテナを動かしてBigQueryに送る

fluentdのmonitor_agentのデータをGoでGoogle Stackdriverに送って監視する

gcloudのアカウント切り替えとkubectlのcontext変更

GKEで複数コンテナのアプリケーションを動かす

Google Container Engine(GKE)で単一コンテナのアプリケーションを動かす