Hadoop

スキルウェンズデー 2017/02/08開催分まとめ

みなさまいかがお過ごしでしょうか。 あっという間に2月に突入してしまい、時間経過の早さに戦々恐々としているOPENREC事業部の石田です。 スキルウェンズデーのまとめをお送りいたします。 とその前に。。 僕が携わっている OPENREC Messenger についてちょ…

スキルウェンズデー2016/12/21 開催分まとめ

拝啓、皆様 カレンダーも最後の一枚となり、お正月の準備に何かとお忙しいことかと存じますが、いかがお過ごしでしょうか。 今年も最後となったスキルウェンズデーのまとめを2016年度新卒エンジニアの副島よりお送りいたします! さて、今回の発表内容は以下…

ClouderaDirectorを使ったクラウドマルチHadoopクラスタの設計

はじめに F.O.X事業で、ビッグデータ、インフラ全般、SRE的な事をやってる茂木(@tkmoteki)です。 CyberAgent Developers Advent Calendar 2016 21日目の記事です。昨日は @matsuokah さんのImeFragmentというライブラリを公開しました!キーボード開発でもFr…

ClouderaとTableau特別共同セミナー(2016-11-16)に登壇しました

こんにちは、CyberZのエンジニアの遠藤です。 もうすっかり冬ですね。皆様年末年始の予定は決まりましたでしょうか? さて、去る11/16にCloudera様とTableau様の共同セミナー「CyberZの顧客事例を元に、社内の全てのデータを全ての社員がフル活用する方法」…

スキルウェンズデー2016/9/29 開催分まとめ

急に肌寒くなってきましたね! 毎日の気温が読めなくて着る服が悩ましい、F.O.X事業部UI・UXチームの速水がお送りします。 今回の発表内容は以下のとおりです。(敬称略) 自己紹介LT (2018年卒 諏訪) Device Fingerprinting: オンライン広告効果計測への応…

HiveとImpalaにワークフロースケジューラーを入れてみた(後編)

こんにちは、CyberZのエンジニアの遠藤です。 もうすっかり年末になってしまいました。1年経つのは早いですね。 そういえばCDH5.5でImpala 2.3がリリースされました。待望(ようやく)のnested type対応です。 先日、CDHのバージョン上げたばかりなのですが…

1ヶ月で本番Hadoopクラスタ2つのメジャーアップグレード ~検証と実施まで~

インフラエンジニアの茂木(@tkmoteki)です。CyberZエンジニアブログ初投稿です。 私が最近業務で行った、本番Hadoopクラスタ2つのメジャーアップグレード検証と実施について記載していきます。 Hadoopクラスタのメジャーアップグレードはかなりクリティカル…

HiveとImpalaにワークフロースケジューラーを入れてみた(前編)

こんにちは、CyberZのエンジニアの遠藤です。 もうすっかり秋めいてきたので、温泉に行きたい今日このごろです。 さて、今回は社内にあるデータ分析用基盤のHadoop環境にワークフロースケジューラーを導入したので、前編と後編に分けてCyberZでの導入事例を…