dehio3’s diary

仕事、生活、趣味のメモ

redashのamiにssh-ldap-pubkey-wrapperをインストールする

はじめに OSの認証方法をLDAPで、公開鍵認証にするため、LDAPクライアントを設定にsshd_configを設定しようとしたけど、ssh-ldap-pubkey-wrapperがないのでインストールする 環境 ami : "ami-0c7d9b740e997aa69" #redash-5.0.2-b5486-build2-ap-northeast-1 …

athenaでS3のJSONデータを参照する

はじめに JSONデータ データ参照するまでの流れ テーブル作成 テーブル作成段階でのデータの参照 配列をフラット化したデータの参照 参照 月毎にデータを集計 期間を指定してデータを集計 はじめに athenaにてJSON形式のデータを参照する時に理解に苦しんだ…

redashの日付の表示形式を変更する

内容 変更前 変更後 対応 参考 内容 コンテナで起動してるredashで、日付の表示形式を「DD/MM/YY」から「YYYY/MM/DD」に変更する 変更前 対応前 変更後 対応後 対応 $ ssh ubuntu@redash $ sudo su - # cd /opt/redash/ # docker-compose down # vim env ###…

AthenaにてJSONデータを操作時に、ファイル数が多くなるとクエリが失敗する

事象 JSONファイル athena 原因 対応 メモ athena SQLクエリ TRY_CAST関数 事象 athenaにてJSONファイルを共にしたテーブルを作成したところ、データ数が増えると以下のエラーが発生する HIVE_BAD_DATA: Error parsing field value '2019-03-12' for field 0…

amazonlinux2でssh認証をLDAPに変更したがログインに失敗する

事象 ami 調査 sshのデバックログ sshd_configに設定したAuthorizedKeysCommandを確認 /opt/aws/bin/curl_authorized_keysは何? 対応 メモ インスタンス作成直後のsshd_config 事象 LDAP認証を設定してログインを実施したが「Permission denied (publickey,…

pythonでslackに画像をアップロードする

機能 pythonでslackに画像をアップロー時のる時のコード アップロードが失敗した時は、レスポンスのJSONの内容を返す チャンネル名が誤っていた例 slack {'ok': False, 'error': 'invalid_channel', 'channel': 'CD4CRBB'} コード

AWSでの運用歴3年のエンジニアがEC2について再度勉強した

AWS

はじめに EC2とは EC2システム基盤 選択できるプロセッサとアーキテクチャ インスタンスの種類 ネーミングポリシー インスタンスファミリー インスタンス世代 追加機能の表記 バースト可能パフォーマンスインスタンス クレジットメトリクスの動作 T2とT3の比…