[AWS]30個のエイリアスレコードをawscliでRoute53に追加する
さすがに手動で30個のエイリアスレコードをペアで 「確認お願いします!」 「はいOKです」 更新 x 30 というのはなんともエンジニアらしくないので、awscliを使って一気に追加してみました。 ■AWS CLI を使用して Route 53 でエイリアスリソースレコードセットを作成する方法を教えてください。...
View Article[mackerel-client-go]オープンアラートの一覧をGoでSlackに通知させてみた
Goのお勉強がてら、mackerel-client-goを使ってオープンアラートの一覧をGoでSlackに通知させるよう作ってみました。公式のslack通知の機能とはどう違うの!?と思いますがツッコまないでくださいな!バッチとかにでも使ってください!! ■必要なドキュメントら mackerel-client-go...
View Article[Mackerel]半日経ってもホストに登録されない!?
個人で使っているMackerelのオーガニゼーションを整理しようと思い、 新規にオーガニゼーションを作成して、移行してみました。 APIキーを変更からのmackerel-agentを再起動すると… 上記のようにまったくHostsに追加されず、半日経っても登録されない悲劇が起こりました。 出落ちか!!と言いたいところですが、この対処法をまとめます。 ■FAQ・エージェントが起動しない...
View ArticleRedashで書いたクエリを他のメンバーも編集したい場合
Redashはデフォルトの権限でadminとdefaultがあります。 基本アカウント権限でみなさんグループ権限に頭を抱えると思いますが、個人的にData Sourceごとにグループ名を作成し、FullAccessで必要なメンツを入れ、View-only用に分けるのが良さそうです。...
View Article[AWS]Windows Server 2019に弥生会計をインストールしてハマったお話
このブログでWindows Serverについて書くのは初めてですな ちょうど弥生会計をAWSにリプレイスする機会があり、 なかなかハマったので、この記事読んで参考にしてみてください! ■EC2 x Windows Server 2019 最近AWSでもWindows Server 2019が使えるようになりました。 しかし!...
View ArticleDockerでCakePHP3.7 + Nginx + MySQLの環境を構築してみた!
意外とDockerでCakePHPの開発環境について調べても、 なかなかうまく動かなかったり、公式とやり方違ったり、 結構ハマったので、この際作ってみました。 が!手動でやる部分が多すぎなので、あとで直します(ツッコまないで!!! ■RVIRUS0817/cakephp3.7 https://github.com/RVIRUS0817/cakephp3.7 構成...
View ArticleVulsでついにWordPressの脆弱性検知ができるようになったので試してみた!
始まりはIssueHunt https://issuehunt.io/r/future-architect/vuls/issues/689 #Vuls...
View Article[Linux][login.defs]ログインパスワードの定期変更を無効化する
You are required to change your password immediately (password aged) Changing password for adachin. (current) UNIX password:...
View Article[Fluentd]各サーバログをLogサーバへ収集して定期的にS3に飛ばす
以前ランサーズエンジニアブログ (https://engineer.blog.lancers.jp/2018/12/lancers-capybara/) にて分析基盤について書きましたが、各サーバ(App)ログをLogサーバへ収集、S3にシンクする方法があまりにも画期的だったのでブログします ■構成図 プラグイン fluent-plugin-s3 fluent-plugin-forest...
View Article[BigQuery]すべてのviewテーブルのクエリをバックアップしてみた!
BigQueryのテーブルを間違えて消しても復元できるの知ってた!? BigQueryのテーブルは謝って削除しても復元可能です。しかし、重要なのはviewテーブルのクエリら定期的に全バックアップをしないと死亡するため、頑張ってシェル芸してみました。 ■bq show...
View ArticleBigQueryのテーブルを間違えて消しても復元できるの知ってた!?
間違えてBigQueryのテーブルを消しても復元できるというのを皆さん知ってましたか!? バックアップというよりも、1秒単位でスナップショットを自動で取ってくれています。 (ちなみに2日以内であれば復元できます) 今回本当に復元できるのかテストしてみたので、間違えても皆さんビビらないよう対応できたらと思います。 ■削除されたテーブルの復元...
View Article[Google Cloud SDK]self.__sections = {section.name: section for section in...
BigQueryをcliで使うのに対象のサーバにGoogle Cloud SDKをインストールしたら以下のようにエラー出た。あまりにもハマったのでブログします $ ./install.sh Welcome to the Google Cloud SDK! Traceback (most recent call last): File...
View Article[シェルスクリプト]CSVを読み込んで1行ずつループ処理とif文で特定の文字列を条件分岐する
シェル芸マスターには程遠いですが digdagの設定ファイルを自動化する時(以下ブログより)にCSVファイルからループ処理をして、特定の文字列に対して条件分岐をしてみました。かなりググりましたが、参考になる記事がなかったので、参考にしてみてください!! [embulk]SalesforceのデータをBigQueryに同期できるか試してみた! ■while while read ブロック変数; do...
View Article[H2O]リバースプロキシのtimeoutを設定する
お久しぶりのH2Oネタですが、Nginxでいわゆるリバースプロキシのタイムアウト対策をH2Oで設定してみましたのでブログしやす ちなみにNginxだと… proxy_connect_timeout 1500; #バックエンドサーバとのコネクションタイムアウト時間 proxy_send_timeout 1500; #バックエンドサーバへのデータ送出のタイムアウト時間...
View Article[IFTTT]Twitterで自分のブログがシェアされているかSlackで通知したい!
今まで自分のブログがシェアされているのか、毎回Twitterで検索して、この人シェアしてくれてる!イイネからのリツイート!というなんともエンジニアらしくない手動で行っていました。。 知らずにはてぶめちゃくちゃされてるとかないようにしたいので!(下記のように) AWS Client VPNはTokyoリージョンにきてないけどオレゴン経由でVPC Peeringすればok。それほど遅くない。なるほど。...
View Article[embulk]SalesforceのデータをBigQueryに同期できるか試してみた!
前回は抽出のみだったので、今回はBigQueyにぶち込めるのか試してみました! しかもSalesforceにあるカラムが鬼のようにあるのでシェル芸もかましてやりました。 [embulk]Salesforceのデータを抽出できるかやってみた ■create-salesforce-config.sh...
View ArticleAWS Client VPNでオレゴンから東京リージョンにSSHできるか試してみた!
AWS Client VPN AWSがマネージドするClient向けのVPN接続サービスです。VPCに対して、Client VPNのEndpointをアタッチすると、Open VPN...
View Article[embulk]Salesforceのデータを抽出できるかやってみた
Salesforce(SFDC)上に登録されているクライアントや売上情報などをembulkで抽出できるか試してみました。まずはembulk側で標準出力できればOK!これが可能ならDigdagでBigQueryに同期できるはず ■mikoto2000/embulk-input-salesforce_bulk...
View Article[2019/01/26]PHPカンファレンス仙台2019に行ってきた!
https://engineer.blog.lancers.jp/2019/01/phpconferencesendai2019/ 上記のランサーズエンジニアブログにてイベントレポートを書きましたが、 他の登壇者についてメモしてたのでブログしていきます ■Webサービスを支えるモニタリング by オミカレCTO そーだいさん...
View Article[Nginx]JSをgzipで圧縮をかける
html、cssはgzip圧縮されており、jsのみがなぜか圧縮されていないという現象が起きたので、改めてサーバからクライアントへのデータ通信量を減らす方法であるgzipについてブログします ■そもそも圧縮通信のメリット/デメリット ネットワークの通信量を削減できる ブラウザのレンダリングの開始を早く行える 圧縮アルゴリズムをサポート必須 処理負荷が高くなる...
View Article