dehio3’s diary

仕事、生活、趣味のメモ

docker-composeの拡張フィールドについて

はじめに docker-compose.yml x-で始まる定義がある サービス定義でアスタリスクで始まる定義がある 調査結果 はじめに redashのdocker-compose.ymlを見てたら、知らない形式があったので確認 docker-compose.yml https://github.com/getredash/redash/blob/…

redashにdatadogを実行したらredashが起動しなくなった

事象 環境 調査 ポート5000がすでに使われている 5000番を使ってるのだれ? 対応 事象 datadog-agentのインストール後、redashを起動しようとしたら以下のエラーが発生 root@redash:/opt/redash# docker-compose up -d Creating network "redash_default" wi…

redashの設定を別のサーバへリストアする

はじめに 環境 対応 バックアップ(検証環境) リストア(本番環境) redash停止 postgresサービスの設定を確認 postgresのみを起動 コンテナの IPアドレスを取得 postgresに接続 database確認 database再作成 バックアップデータをコンテナ内にコピー リスト…

redashのamiにssh-ldap-pubkey-wrapperをインストールする

はじめに OSの認証方法をLDAPで、公開鍵認証にするため、LDAPクライアントを設定にsshd_configを設定しようとしたけど、ssh-ldap-pubkey-wrapperがないのでインストールする 環境 ami : "ami-0c7d9b740e997aa69" #redash-5.0.2-b5486-build2-ap-northeast-1 …

athenaでS3のJSONデータを参照する

はじめに JSONデータ データ参照するまでの流れ テーブル作成 テーブル作成段階でのデータの参照 配列をフラット化したデータの参照 参照 月毎にデータを集計 期間を指定してデータを集計 はじめに athenaにてJSON形式のデータを参照する時に理解に苦しんだ…

redashの日付の表示形式を変更する

内容 変更前 変更後 対応 参考 内容 コンテナで起動してるredashで、日付の表示形式を「DD/MM/YY」から「YYYY/MM/DD」に変更する 変更前 対応前 変更後 対応後 対応 $ ssh ubuntu@redash $ sudo su - # cd /opt/redash/ # docker-compose down # vim env ###…

AthenaにてJSONデータを操作時に、ファイル数が多くなるとクエリが失敗する

事象 JSONファイル athena 原因 対応 メモ athena SQLクエリ TRY_CAST関数 事象 athenaにてJSONファイルを共にしたテーブルを作成したところ、データ数が増えると以下のエラーが発生する HIVE_BAD_DATA: Error parsing field value '2019-03-12' for field 0…