DuckDB で Glue Data Catalog に Iceberg on S3 テーブルを作成する

ECS Fargate を Tailscale につないでスマホから Termius で SSH 接続する

PyAthena で struct を含む array カラムをクエリすると NULL になる

Cognito Identity Pool のタスク/ルールベースマッピングで User Pool のグループに対応するロールの一時クレデンシャルを発行する

CDK で Glue Data Catalog 上のテーブルに Lake Formation による行やカラムレベルでのアクセス制限をかける

Aurora PostgreSQL のトリガーを Lambda でハンドリングする

同じリポジトリにある複数の SAM プロジェクトで Python のパッケージを共有する

AWS Backup で各種リソースのバックアップをまとめて取る

M5Stack を AWS IoT Core に登録し超音波距離センサーの値を MQTT で送信し SNS に流してメールで受信する

dbt-athena で Iceberg テーブルの作成とスキーマの更新のみを行う

Kinesis Data Firehose で Iceberg テーブルにストリーミング書き込みを行う

FireLens で ECS の FluentBit サイドカーに設定を配置しログが転送されるようにする

EMR Serverless から S3 Tables に Iceberg テーブルを作成しデータを書き込んで Athena からクエリする

EMR Studio の Jupyter Notebook から EMR Serverless で Spark の MLlib を動かす

Google Apps Script で IDトークンを取得し AWS の Role を Assume して S3 を読み書きする

Iceberg テーブルを Glue Data Catalog に登録して Athena や Snowflake からクエリする

GCP の Workload Identity Federation を Terraform で設定してサービスアカウントのキーを作成せずに AWS から API を呼ぶ

Snowflake に S3 のデータをコピーしてクエリする

Tableau Desktop を Athena に接続して年月日に分かれた日時やstructを含むテーブルを扱う

Agents for Bedrock で時間がかかったり重すぎたりする Actions を RETURN_CONTROL して Go クライアントでハンドリングする

CDK で Agents for Bedrock を作成し入力に基づいて Lambda 関数が呼び出されることを確認する

Kubecost の Prometheus メトリクスから Pod のラベルごとのコストを算出する

Prometheus を CDK でインストールして Recording rules で集計したデータを New Relic に Remote write することでデータ量を節約する

Livy を EMR on EKS にインストールしSparkmagic でローカルの Jupyter Notebook から Spark のジョブを実行する

NewRelicのアラートをEventBridgeを通してLambdaで受ける

CDKでEKSクラスタにExternalDNSをインストールしてServiceやIngressで指定したホストをRoute53に登録する

CDKでALBとS3をOriginとするCloudFrontのDistributionを作成する

EKSクラスタにAWS Load Balancer ControllerをインストールしてALBのIngressを立てる

CDKのAwsCustomResourceでAWSのAPIを呼ぶ

SGやネットワークACLによって拒否されたトラフィックをVPCフローログとCloudWatch Logs Insightで確認する

CDKでEKSクラスタにnewrelic-bundleをインストールしてモニタリングする

CDK で External Secrets Operator をインストールし Secrets Manager のデータを Kubernetes の Secret として読めるようにする

EKSクラスタによるIPアドレスの枯渇とIPv6への移行

CDKで作成したEKSクラスタのノードにセキュリティグループを設定する

SageMaker Canvas の Custom models で AutoML のジョブをノーコードで実行する

パブリックIPv4アドレスを持たないEC2インスタンスがIPv6で外部と通信するために必要なリソースをCDKで作成する

CDK で EKS クラスタに Karpenter をインストールし柔軟で高速なオートスケールを行う

SageMakerのHuggingFaceModelでOpenCALM-7BやELYZA-japanese-Llama-2-7bをTGIコンテナでデプロイし日本語の文章を生成する

SageMakerのBatch Transformのパラメータの挙動をentrypointの関数の呼び出しと引数から確認する

ssh-over-ssm を ProxyCommand に設定して libssh の ssh_connect() するとタイムアウトしてしまう原因と解決法

ssh-over-ssm で Session Manager を通して EC2 インスタンスに SSH 接続する

SageMaker Inference Recommender でコスト最適なインスタンスタイプの推論エンドポイントを立てる

SageMaker Processing で前処理を行って Training で学習したモデルのパラメータや精度を Experiments で記録する

Task nodes で EMR クラスタのスケールインを高速化する

S3のバージョニングを有効にして誤って上書きや削除してしまったオブジェクトを復旧できるようにする

Athena for Apache Spark の Notebook で DataFrame.toPandas().plot() した際の日本語が文字化けしないようにする

CDK で EKS クラスタを立ち上げ EMR on EKS に登録し Spark のジョブを動かす

CloudTrail で AWS 上のリソースの操作記録を確認する

GuardDuty, Inspector, Macie などによって検出されたセキュリティ上の問題を AWS Security Hub で確認する

CDK で Amazon Managed Workflow for Apache Airflow (MWAA) の環境を作成しワークフローを実行する

Docker Compose の service に AWS のクレデンシャルを渡す

New RelicでAWSのコストをモニタリングする

AWS Cost Management でコストをモニタリングし最適化する

GitHub ActionsからOIDCでassumeできるRoleをCDKで作成する

ScalaでSparkのアプリケーションを開発してGitHub ActionsでデプロイしEMRでリモートデバッグする

Spark SQLのJOIN時に余分なパーティションが読まれる例とDynamic Partition Pruning (DPP)

EMRクラスタで動かしたSparkのログをFluent BitでNew Relicに集約する

Athena v2でparquetをソースとしmapフィールドを持つテーブルのクエリが成功したり失敗したりする原因

EMRでSparkを動かす際の設定

AWS CopilotでECS on Fargate上にコンテナをデプロイしECS Execによるコマンドの実行やSession Managerによるポートフォワーディングを行う

AWS CLIでEMRクラスタを立ち上げSparkのアプリケーションを実行する

Athenaで他アカウントのテーブルを参照するために必要な設定

Athenaのデータソースコネクタとユーザー定義関数(UDF)を実装する

CloudWatch Logsを介さずにLambdaのテレメトリを行うnewrelic-lambda-extensionとその仕組み

New Relicでインフラやアプリケーションをモニタリングする

Redshift ServerlessとAthenaの性能をTPC-DSのクエリで比較する

GlueのTPC-DS Connectorでデータを生成する

Redshift Serverlessと他のサーバーレス集計サービス、Glue Data Catalogのテーブルへのクエリ実行

AthenaのFederated QueryでTPC-DS Connectorを用いてデータを生成する

SparkのWeb UIでJobのStageとExecutorによるTask分散、SQLのplanを確認する

Glue DataBrewでデータを可視化して分析するProjectと機械学習の前処理を行うJobをCDKで作成する

GoでAmazon Forecastに時系列データをimportしPredictorを作成して予測結果をS3にexportする

CDKでCloudWatch Dashboardsを作成しコンソール上からAWSアカウントを持たない外部ユーザーに公開する

CDKでECS(EC2)上にLocust masterとworkerのServiceをデプロイしCloud Mapで名前解決させる

CDKでALBとECS(EC2)クラスタを作成し、ecs-cliでDocker Composeの構成をデプロイする

AWS X-rayでアプリケーションのリクエストをトレースし可視化する

SageMaker Studioの使っていないKernelを自動でシャットダウンするsagemaker-studio-auto-shutdown-extension

GlueのカスタムコネクタでBigQueryに接続する

Athena(Presto)とGlue(Spark)で同じクエリを実行した際に異なる値が返る原因

AWS SDK for Java 2.x のUnable to load an HTTP implementationとクライアント変更によるlambda実行高速化

AWS App Runnerの特徴と料金、CloudFormationのResource

CDKでGlue Data CatalogのDatabase,Table,Partition,Crawlerを作成する

CDKでKinesis Data Analytics上にPyFlinkのコードをデプロイして動かす

AWS GlueのJobのBookmarkを有効にして前回の続きから処理を行う

CDKでStep Functionsによるワークフローを構築する

Application Auto Scalingのcustom-resourceによるKinesis Data Streamsのオートスケール設定

Goのio packageのReader/Writer/Closer/Seeker interfaceとストリーム処理

Athena(Presto)でWindow関数を用いた集計を行う

Amazon Forecastで時系列データの予測を行う

Kinesis Data Analyticsによる集計遅延箇所の特定

CDKでCognito UserPoolとClientを作成しトリガーやFederationを設定する

EKSにKubeflowをインストールする

GoでAthenaのクエリを実行する

VSCodeのdevcontainerにSAM CLIをインストールしlocal invokeする

ElastiCacheでRedisクラスタを作成する際の設定

Kinesis Data AnalyticsのSQL, Lambdaへの出力とCDKによるリソースの作成

EKS上のLocustから負荷をかける際のリソースの割り当てやインスタンスタイプの調整

CloudWatch Container InsightsでEKSのメトリクスを取得する

CDKでEKSクラスタの作成からHelm ChartでのLocustのインストールまでを一気に行う

AWS Organizaionsで複数のアカウントを一元管理する