dehio3’s diary

仕事、生活、趣味のメモ

redashの日付の表示形式を変更する

内容 変更前 変更後 対応 参考 内容 コンテナで起動してるredashで、日付の表示形式を「DD/MM/YY」から「YYYY/MM/DD」に変更する 変更前 対応前 変更後 対応後 対応 $ ssh ubuntu@redash $ sudo su - # cd /opt/redash/ # docker-compose down # vim env ###…

AthenaにてJSONデータを操作時に、ファイル数が多くなるとクエリが失敗する

事象 JSONファイル athena 原因 対応 メモ athena SQLクエリ TRY_CAST関数 事象 athenaにてJSONファイルを共にしたテーブルを作成したところ、データ数が増えると以下のエラーが発生する HIVE_BAD_DATA: Error parsing field value '2019-03-12' for field 0…

amazonlinux2でssh認証をLDAPに変更したがログインに失敗する

事象 ami 調査 sshのデバックログ sshd_configに設定したAuthorizedKeysCommandを確認 /opt/aws/bin/curl_authorized_keysは何? 対応 メモ インスタンス作成直後のsshd_config 事象 LDAP認証を設定してログインを実施したが「Permission denied (publickey,…

pythonでslackに画像をアップロードする

機能 pythonでslackに画像をアップロー時のる時のコード アップロードが失敗した時は、レスポンスのJSONの内容を返す チャンネル名が誤っていた例 slack {'ok': False, 'error': 'invalid_channel', 'channel': 'CD4CRBB'} コード

AWSでの運用歴3年のエンジニアがEC2について再度勉強した

AWS

はじめに EC2とは EC2システム基盤 選択できるプロセッサとアーキテクチャ インスタンスの種類 ネーミングポリシー インスタンスファミリー インスタンス世代 追加機能の表記 バースト可能パフォーマンスインスタンス クレジットメトリクスの動作 T2とT3の比…

terraformでELBを作ろうとすると「Error creating network Load Balancer: AccessDenied」が出力される

事象 原因 対応 事象 一度もELBを作成したことないAWSアカウントで、terraformでELBを作成しようとすると以下のエラーが発生 Error: Error applying plan: 2 error(s) occurred: * aws_lb.ldap: 1 error(s) occurred: * aws_lb.ldap: Error creating network…

terraformでuser_dataに差分が出てもEC2を再作成させない方法

はじめに 対応 参考 はじめに EC2をterraformで作成するときに、user_dataにてsshの認証方法をldapに変更してる ldapサーバのURL変更など、user_dataで実行しているシェルに変更が入るとEC2が再作成されてしまうので対処したい 対応 aws_instanceにて以下を…

備え付けの食洗機が壊れたので修理した

はじめに 機器情報 事象 対応 止水栓をしめる 販売店へ連絡 メーカーへ問い合わせ 原因 費用 おわり はじめに 先日自宅に備え付けの食洗機が突然壊れてしまい、マニュアルを参照したところメーカーに問い合わせるしか対応がなかったので、修理してもらいまし…

terraformでインラインポリシーとAWS管理ポリシーを適用したIAMロールを作成する

内容 iam.tf 内容 terraformでインラインポリシーとAWS管理ポリシーを適用したIAMロールを作成する場合のtfファイルの記述方法 例としてredashのathena接続用のIAMロールを記載 iam.tf インラインポリシーはaws_iam_role_policyでアタッチ AWS管理ポリシーは…

terraformでIAMインスタンスプロファイルのリソース変更したらOS上で権限情報がうまく反映されない??

環境 事象 原因 対応 環境 AWS環境は全てterraformで構築 docker-composeでloggingにawslogsを使用 CloudWatchへのアクセスはインスタンに設定するIAMロールで許可 事象 terraformでaws_iam_instance_profileのリソース名とnameを変更(権限の内容は何も変更…

lego(Let’s Encryptクライアント)利用時に、他のAWSアカウントのRoute53を自動更新させるためのIAMロールの作成方法

はじめに 前提条件 terraform アカウントAで作成するIAMロール aws_iam_role aws_iam_policy_document aws_iam_role_policy アカウントBで作成するIAMロール aws_iam_role aws_iam_policy_document aws_iam_role_policy 動作確認 参考 追記 はじめに AWS環境…

terraform実行したら「Error: Apply cancelled.」が出力されapplyが失敗した

事象 原因 対応 事象 terraformのバージョンを0.10.8から最新の0.11.11に変更したところ以下のエラーが出力 Do you want to perform these actions? Terraform will perform the actions described above. Only 'yes' will be accepted to approve. Enter a …

Amazon Linux2のログインメッセージをansibleで追加する

はじめに 調査 対応 ansible role handlers/main.yml tasks/main.yml templates/99-login-message.j2 ansible-playbook 参考 はじめに サーバにログインした際にプロンプトに表示される情報をカスタマイズする方法です Last login: Tue Feb 19 16:46:18 2019…

dockerでlogging driversにawslogsを使う時の定義方法について

はじめに コンテナのログをClowdWatchLogsで管理する時に、各パラメータをどのような値にするかの悩んだのでメモ docker-compose.yml(logging部分を抜粋) logging: driver: "awslogs" options: awslogs-region: "ap-northeast-1" awslogs-group: "${HOSTNAME…

datadog-agentでdockerの情報が採取できない

環境 datadog-agent # /opt/datadog-agent/bin/agent/agent version Agent 6.9.0 - Commit: 4bbd2c9 - Serialization version: 4.7.1 datadog-agentはansibleで以下のroleでインストール github.com $ ansible-galaxy info Datadog.datadog Role: Datadog.da…

terraformでDBサブネットグループを作ろうとすると「Error creating DB Subnet Group: InvalidParameterValue: Missing necessary credentials. 」が出力される

事象 原因 対応 事象 新規のAWSアカウントとで、初めてDBサブネットグループをterraform経由で作成しようとしたところ以下のエラーが発生 * aws_db_subnet_group.db_subnet_group: 1 error(s) occurred: * aws_db_subnet_group.db_subnet_group: Error creat…

S3のバケットにポリシーを設定しようとするとアクセス拒否される

事象 terraformでS3にバケットポリシーを設定しようとしたら以下のメッセージが出た aws_s3_bucket_policy.test: Error putting S3 policy: AccessDenied: Access Denied AWSコンソールから作業しても「アクセス拒否」のメッセーが表示されて、ポリシーが保…

CircleCIからterraformを実行する時の事前チェックで「terraform plan」と「tflint」を実行する方法

はじめに 対応 最後に はじめに CircleCIにてAWS環境を構築しているのですが、事前のチェックでtflintも実行させたいと思い対応しました。 tflint知らない方はこちらを参照ください。 sil.hatenablog.com 対応 CIrcleCIのconfig.ymlのplanを実行してたjobに…

ciscoスイッチで対象の機器が接続しているポート番号を調査する方法

手順 ping Switch#ping 192.168.9.91 Type escape sequence to abort. Sending 5, 100-byte ICMP Echos to 192.168.9.91, timeout is 2 seconds: !!!!! Success rate is 100 percent (5/5), round-trip min/avg/max = 1/2/8 ms arpテーブルからmacアドレスを…

jq1.5をインストールして、Route53で特定の文字列を含むレコードを抽出する。

AWS

はじめに 環境の調査で特定の文字列を含むレコードを全て取得したかったのでaws_cliとjqを使って実現した。 とりあえず特定のzoneのレコードを全て一行ずつ表示 aws route53 list-resource-record-sets --hosted-zone-id /hostedzone/xxxxxxxxxx | jq -c -r …

EFSを試してみた

はじめに やったこと 参考 環境 作業 NFS クライアントのインストール NFS用ディレクトリの作成 マウント コンテンツのコピー 転送速度 メトリック ClientConnections DataReadIOBytes / DataWriteIOBytes MetadataIOBytes TotalIOBytes PercentIOLimit Burs…

puppetで「Provider useradd does not support features manages_passwords; not managing attribute password」

事象 puppetでアカウント作成したらアカウントがロックされた状態で作成された。 アカウントを作成するモジュールでパスワードは設定してる。 対応 以下のサイトを参照 www.puppetcookbook.com This means the ruby language support that puppet needs to m…

puppetで「Warning: SSL_connect returned=1 errno=0 state=SSLv3 read server certificate B: certificate verify failed: [certificate revoked for /CN=********* ]」

事象 疎通コマンド実行したら以下のエラーが出た。 Warning: SSL_connect returned=1 errno=0 state=SSLv3 read server certificate B: certificate verify failed: [certificate revoked for /CN=********* ] agent からのテスト疎通コマンド puppet agent …

4Kビデオカメラ(FDR-AX40)をレンタルしてみた。

はじめに レンタルした製品 梱包品 自分で用意したもの 実際の録画可能時間 データの保存 最後に はじめに 前回のレビュー記事にて、運動会に4Kをレンタルするぞ!!と意気込んでいたのですが、レンタルするのを忘れてました・・・ なので今回 娘の卒園式…

FTP接続専用アカウントでWinSCPでつないだら「Service not available.」がでたので対応した。

やろうとしてること EC2インスタンスでkusanagiを立てた。 コンテンツ管理するメンバーにFTPでログインだけさせたい。 事象 WinSCPでFTP専用アカウントでつないだら以下のエラーが表示。 (FTP専用アカウントは/sbin/nologinでアカウント作成) サーバから切…

RentioでHDR-CX670とECM-XYST1Mとレンタルしました。

またまた前回に引き続…って書こうとしたら前回のレンタル記事にする忘れてた。。 気を取り直して!! 子供が今年で年長のため、保育園最後の夏祭りが先月にあったので、またまたビデオカメラをレンタルしました!! うちの保育園では毎年夏祭りで子供たちが…

ELB経由のアクセスでapacheのアクセスログの最初に表示されるIPを元のIPに変える

環境 やりたいこと 対応 環境 $ sudo /usr/sbin/httpd -V Server version: Apache/2.4.6 (CentOS) Server built: Nov 19 2015 21:43:13 Server's Module Magic Number: 20120211:24 Server loaded: APR 1.4.8, APR-UTIL 1.5.2 Compiled using: APR 1.4.8, AP…

EUC環境でpyenvでpythonインストールしたらエラーでた

環境 事象 調査 LookupError: unknown encoding: EUC-JP PYTHONIOENCODING 対処 環境 $ cat /etc/redhat-release CentOS release 5.11 (Final) $ pyenv -v pyenv 1.1.2-2-g5ab088c 事象 -bash-3.2$ pyenv install 3.4.3 Downloading Python-3.4.3.tgz... -> …

pyenv + virtualenv で 複数パターンのansible環境を作る

要件 社員が共有で使うansible 環境を作る pythonとansibleのバージョンアップに柔軟に対応できる環境を作る 参考 qiita.com 環境 $ cat /etc/redhat-release CentOS release 6.9 (Final) $ python --version Python 2.6.9 pyenv install # cd /usr/local/sr…

メール送信時の文字コードについて

目的 メール送信処理してるperlスクリプトについて、perlのバージョンアップ&OSの文字コード変更に伴い改修する。 環境 変更前 $ cat /etc/sysconfig/i18n LANG="ja_JP.eucJP" SUPPORTED="ja_JP.eucJP:ja_JP:ja" SYSFONT="latarcyrheb-sun16" $ perl -versi…