インフラ・SRE

日々変化するゆるふわフォーマットをBigQueryでおいしく料理する方法。Athenaユーザも必見だよ!

3行まとめ 背景 データの流れ そのままコピーするだけのLambda 外部テーブルを使おう ゆるふわをゆるふわのまま扱う JSON Linesを1カラムのレコードとして取り込む 定期的に外部テーブルにクエリして結果を保存する まとめ 3行まとめ BigQueryはいいぞ 外部…

BigQuery定額料金モデルの導入と権限分離 - CTOが聞く Vol.2

VOYAGE GROUPのエンジニアにCTOが「最近は何やってるの?」と聞いていく連載の第2弾です。今回はVOYAGE GROUP全体のインフラを担当しているともかつさんに話を聞いてみました。 目次 定額料金モデルとは 最初は苦戦した 管理の一部を権限移譲した 今後やって…

Zoomでオンラインイベントをテレビ番組っぽく配信するためにやったこと(機材編)

こんにちは。社内でWebアプリケーションエンジニアをしつつ、社内の音響サポートしている @brtriver です。 VOYAGE GROUPのAJITOでZoomを使ったオンラインイベントを何度か開催しましたが、その中の1つの日本CTO協会( https://cto-a.org/ )が主催する会員限…

SRE NEXT 2020 参加レポート

はじめに こんにちは。fluct でSREをしている村田です。 2020/1/25 (土) に豊洲フロントで開催された SRE NEXT 2020 に参加してきましたので、皆様にご報告していきたいと思います! sre-next.dev SRE NEXTは日本で初めてのSREをテーマとしたカンファレンス…

システムの複雑性と戦う方法

こんにちは。Zucksでエンジニアをやっています@karahiyo_nです。 先日社内向けに「Zucksで働き学んだ成果に繋がるプラクティス」という発表を行いました。今回はその一部を紹介したいと思います。 発表では6年間でシステム構成がどう変わってきたのかと実際…

Sunrise 振り返りを公開します! #voyage_intern

こんにちはこんにちは!fluct で広告配信のお手伝いをしている @jewel_x12 です。 この記事はSunrise Advent Calendar 2019の 6 日目の記事です。今年の 11 月初旬に Sunrise というインターンシップを実施したのですが、その参加者がアドベントカレンダーを…

sltd, AWS Athenaを使ってLDAPサーバの監査体制を強化した話

こんにちは、VOYAGE GROUP システム本部の @s-tajima です。 今回はVOYAGE GROUPが提供する多くのサービスをより安全に運用するために、LDAPサーバの監査体制を強化したお話です。 VOYAGE GROUPでは、 サーバにログインするためのシェルアカウントや、各種管…

大量データの転送にEmbulkを使ってみたら本当に楽だった

はじめまして。Zucks Affiliateでエンジニアをしている宗岡です。 今回は、リアルタイム性は求めないけど、簡単に大量のデータをどこか別の場所に転送したい。 という要望に答えてくれるEmbulkを紹介したいと思います。 実際に導入に至ったきっかけや、運用…

Jupyter Notebook でとりあえず Redash へクエリを投げておけばデータソースはなんでも良い状態にする

こんにちはこんにちは!株式会社 fluct で Web 広告配信のお手伝いをしている @jewel_x12 です! 本記事は Redash が便利という内容です。 Redash とは redash.io Redash とは Web ブラウザから様々なデータソースに対するクエリを投げて、結果を可視化する …

ECナビがAWS導入事例に掲載されました!

こんにちは、VOYAGE GROUP システム本部の @s-tajima です。 先日AWSに移転したECナビが、導入事例の1つとしてAWSのWebサイトに掲載されました。 https://aws.amazon.com/jp/solutions/case-studies/voyage-group/ なぜAWSに移転することを決めたのか AWSへ…

インフラチームと開発チームの垣根をなくすためにAWSのCI環境を構築した話

こんにちは、VOYAGE GROUP システム本部の @s-tajima です。 PHPカンファレンス2016 の「老舗メディアが改善に取り組んでいる話」でもお話した通り、長年オンプレミス環境で稼働してきたECナビを、AWSに移転しようというプロジェクトが進行しています。 そし…

GitHubにおけるPull RequestのAssign/Mergeを自動化して開発を加速させる

GitHubにassign/merge botを入れて自由になる話

社内向けニュース提供APIをS3+API Gatewayでサーバーレスにサクっと構築してみた

こんにちは!VOYAGE MARKETINGシステム本部の@gomachan46です。 普段はRuby on Railsを用いてPeXというポイント交換サイトの開発を主に行っています。 さて、PeXにはポイントを貯められるコンテンツがたくさんあります。その中のひとつ「YOUの気持ち聞かせて…

モバイルファーストなサービス開発におけるDockerの活用術

こんにちは!ポイント交換サイト「PeX」の開発を行っていますVOYAGE MARKETINGの加藤です。 Crewからはちゃむと呼ばれています。 少し長くなりますので先に本エントリーの概略を3行でまとめると Docker成分多め 作ってみた 後半でテーマ深掘り です。 最後ま…

バッチ処理の通知・アラート管理

こんにちは、nekoyaです。 システムを日々運用していく中で、その処理結果の記録や異常検知の仕組みは地味ながらも大切な存在です。 各種監視ツールからの通知や、ブラウザから利用可能なWebインタフェースなど、その形態も様々です。 今回はその中から、バ…

毎週のように依存パッケージを上げ続ける努力

皆さんこんにちは。fluctにてfluct SSPという広告配信システムの管理画面を中心にクライアントサイドの開発を行っております、大関です。 依存パッケージの更新、どうしてますか? 今や数多くの言語でパッケージマネージャが提供されており、みなさんも日常…

「そんなself-updateで大丈夫か?」 Composer編

こんにちはこんにちは、 VOYAGE GROUPでBuild prayer*1として活動している@_nishigoriです。 pip, bundler, rebar 等 各プログラミング言語のビルドツールないしパッケージマネージャ等と呼ばれているツールを弊社でも利用していますが、 PHPでは依存管理ツ…

AWS SDK for PHPを使用したAmazon CloudSearchの設定及び検索方法

こんにちは。コンテンツメディア事業本部の鈴木です。 最近、Amazon CloudSearchについて調べています。 Amazon CloudSearchとは、AWS クラウドにおけるマネージド型サービスであり、ウェブサイトまたはアプリケーション向けの検索ソリューションを容易かつ…