某大手転職サイトの情報集積システム

転職サイトのユーザー様が、ログインや検索、履歴書作成等の動作を実施した際に、その情報を受信し、クラウドサーバ上でデータベース上にて格納し集積するシステム。

また、外部システムやスマートフォンアプリ用のサーバから日時で実行されるバッチより連携されたデータも、同様に受信しデータベースに格納する。

弊社が開発した範囲は以下の通り。

・データ取込API
システムから送信されたデータを読み込み、必須項目等の条件を満たしていることを判定したのち、Parquet状にデータ化してクラウドサーバ上に格納する。

・データ取込バッチ
システムから連携されたCSVファイルの内容を読み込み、必須項目やデータ型等の条件を満たしていることを確認したのち、Parquet上にデータ化してクラウドサーバに格納する。
読み込んだCSVファイルは圧縮してバックアップ管理する。