Data Infrastructure Engineer データ基盤エンジニア

業務内容

• データ構造設計
  • IoTデバイス/AIコアが解析するデータから、新機能実装のために必要な各種テーブル（Rawテーブル、中間テーブル、集計後テーブル等）のデータ構造を設計する
• アーキテクチャ設計
  • MLエンジニアやデータサイエンティストと連携し、発展し続けるロジックの継続的改善ができる土台をつくる
  • 運用フェーズを意識し、冪等性と結果整合性を担保した全体設計を行う
• インフラ構築
  • GCPが提供するマネージドサービスを基軸に、分析パイプライン実装を行う
• 分析ロジック実装
  • 顧客価値につながるロジックをパイプラインに実装する
• 開発環境の構築
  • CloudBuild等のサービスを用いてCI/CD構築し、チームの生産性を最大化する

開発環境

• 言語: Python3 / Scala
• 開発環境：Linux / Docker / GCP (BigQuery,PubSub,Dataflowなど)

Requirements

必須要件

• データ分析基盤の設計・開発・運用経験
  • 2年以上の実務経験
  • データサイエンティストと協働して、データ分析基盤の設計・開発をした経験
• データ基盤系チームにおけるテックリードあるいはチームリーダーの経験
• アーキテクチャ設計、データ構造設計、基盤運用設計の経験
• AWSもしくはGCPのクラウド開発経験

歓迎要件

• Cloud DataflowやCloudComposerをProdで利用した経験
• Scio x Scalaでデータ処理パイプラインを記述した経験
• Python x データ分析フレームワークを用いてデータ分析ロジックを構築した経験

活躍できる人物像

• 異なる専門分野のメンバーとも積極的にコミュニケーションを取り、周囲と協力しながらプロジェクトを進めるのが好きな方
• ビジネス視点で考え研究・開発するのが好きな方
• 新しい技術への興味関心が高い方