株式会社カカクコム
■仕事内容
アドバンストテクノロジー部では、Hadoopによるデータ処理基盤を構築し、
各サービスの企画者・エンジニアに公開してきました。2020年後半からはクラウド（GCP）へ基盤を移し、
社内のデータレイクとしての活用を目指しています。新しく配属される方には、
データ基盤の構築運用とデータフローの維持管理に加えて、事業課題を解決するための提案と検証、
リリースまでの活動をお願いします。
【具体的な業務内容】
これまでの主な業務は以下のとおりです。
・GCP上のデータ基盤の設計/構築、オンプレ基盤からの移行
・RDBのデータやログファイルなどをデータ基盤にインポートする仕組みの開発/運用
・セミリアルタイムデータ投入APIの開発/運用
・他ツール（Analytics, BI, DMP等）とのデータ連携処理の設計/構築
・アドホック分析エンジンとしてPrestoやBigQueryの導入検証
今後は以下のような業務が予定されています。
・クラウドの機能を活用した運用能力向上/機能追加/コスト低減
・社内（他のクラウド環境/SaaS）に分散したデータ処理環境の統合に向けた計画
・BigQueryの検証/導入
・データ基盤を用いた事業課題解決の支援
【業務の進め方】
データパイプラインの追加や維持など定形作業の他、事業部から依頼を受けて解決方法を調査提案したり、
他社の動向や技術トレンドをもとにした検証や提案を行います。
単純作業をこなすのではなく、どのようにすれば会社や事業が良くなるかを考え行動することが求められます。
■仕事のやりがい、成長できるポイント
・企画段階から開発に関わることができ、ユーザ本位の価値あるサービスを作りだす一体感や
成果への喜びを感じることができます。
・月間数千万人規模のユーザが利用しているサービスに携わるため、仕事のインパクトが大きく、
これまでの経験とスキルが試されます。
・当社の保有するデータベース、ログは大規模であり、これらをどのように扱うかという
技術的な課題と直接向き合うことができます。また大規模なデータから知見を発掘するという面白みがあります。
・新しい技術や仕組みが必然として必要になる環境で働くことができます。
■キャリアパス
会社としてはマネジメント職と技術専門職の2通りのキャリアパスがあります。
部内では、たとえば以下のようなポジションを目指すと活躍の幅が広がります。
・データ基盤の運営を行うリーダーとしての立場を目指す
・検索技術やデータ活用技術も習得し、事業課題を解決するエンジニアとなる
■入社後のイメージ
仕事や環境に慣れていただくため、最初はチーム内の小さめのお仕事からお願いします。
既存メンバーがトレーナーとしてサポートします。
(例) ユーザー追加やデータ追加などデータ基盤の定形運用
慣れてきたら、スキルや経験に合わせてまとまった単位の仕事や、
他事業部とのコミュニケーションが発生するお仕事をお願いすることが一般的です。
【主な開発環境】
■ 開発言語
Python / Golang / Shell / Java
■ データ基盤関連ソフトウェア（他部署管理含む）
GCP / Dataproc / Hive / Spark / BigQuery / Treasuredata /
Adobe Analytics / Digdag / Embulk / fluentd
■ その他ソフトウェア
Terraform / Docker / Chef / Jenkins / Grafana / Prometheus / Nagios
■ プロジェクト管理ツール
GitHub Enterprise / Confluence / Jira / Microsoft Teams / Redmine
■ 端末
Macbook Pro