dehio3’s diary

仕事、生活、趣味のメモ

Athena

athenaでcreate table のサポート型で対応してない形式の日付データを扱う

はじめに 対応 TIMESTAMP型で定義 STRING型で定義し、date_parse関数を使用 from_iso8601_timestamp関数を使用 (追記)表示形式を指定 (追記)各関数利用時のtype はじめに athenaにてS3に保存したJSONファイルの以下の項目を日付形式で扱う方法 "queued_at": …

athenaでS3のJSONデータを参照する

はじめに JSONデータ データ参照するまでの流れ テーブル作成 テーブル作成段階でのデータの参照 配列をフラット化したデータの参照 参照 月毎にデータを集計 期間を指定してデータを集計 はじめに athenaにてJSON形式のデータを参照する時に理解に苦しんだ…

AthenaにてJSONデータを操作時に、ファイル数が多くなるとクエリが失敗する

事象 JSONファイル athena 原因 対応 メモ athena SQLクエリ TRY_CAST関数 事象 athenaにてJSONファイルを共にしたテーブルを作成したところ、データ数が増えると以下のエラーが発生する HIVE_BAD_DATA: Error parsing field value '2019-03-12' for field 0…