NEW ジョブNo.855885 AI Agent Evaluation Lead(AI精度向上リード)

  • 正社員
  • ベンチャー企業
  • 年間休日120日以上
  • 女性が活躍
  • 産休育休取得実績あり
  • フレックスタイム
  • 転勤なし
  • 完全在宅勤務
  • 一部在宅勤務

非公開

【事業内容】
「すべてのユーザーがシステムとAIを使いこなせる世界に」
テックタッチは、あらゆるWebシステムやサービスの画面上に操作ガイドやナビゲーション・を表示し、ユーザーが迷わずにシステムやAI使いこなせる体験を提供するAI型Digital Adoption Platform(DAP)「テックタッチ」を開発しています。

マニュアル不要の直感的な操作を実現し、企業のDX推進や生産性向上に貢献。システムを使う人すべての「わからない」をなくし、テクノロジーの恩恵を社会全体に広げることを目指しています。

【プロダクト】
テックタッチ(既存プロダクト × 生成AI組み込み)

システム導入だけで終わらせない、利活用のためのDXを推進するAI型デジタルアダプションプラットフォーム(DAP)「テックタッチ」。
あらゆるWebシステムの画面上に、操作ガイドやナビゲーションを表示させることで、すべてのユーザーが迷わず・間違わずにシステムを使いこなすことができる世界を目指すプロダクトです。

すでに多くの企業で利用されている本プロダクトに、生成AI機能を組み込む開発が進行中です。

既存プロダクトへのAI組み込みには、新規開発とは異なる難しさがあります
- 既存ユーザーの業務に影響を与えないよう、AIの出力品質を担保する必要がある
- 確立された品質基準に、AI特有の「確率的・非決定論的な振る舞い」の評価観点を追加していく
- 予測困難なAIの出力が、既存機能やユーザー体験と整合するかを検証する

こうした課題に対応するため、AI精度評価の仕組みを構築していくフェーズにあります。

★テックタッチの技術力と信頼
- 操作ガイドやナビゲーションをノーコードで作成することができる(開発部門を介さないユーザーの体験改善を実現)
- システムの特性やクライアントごとのルールに応じた設定/メンテナンスを簡単にした技術力
- エンタープライズ企業を中心に、SaaS企業や自治体など、幅広い顧客への導入実績

新規プロダクト・その他
上記以外にも、立ち上げ初期の新規プロダクトや、AI/生成AIを活用した機能開発が複数進行中です。詳細は選考時にお伝えします。

【主な業務内容】
プロダクト横断で、全社のAI精度評価の基準・プロセスを整備していきます。
1. プロンプト・設定の最適化(AI Accuracy)
「AIが賢く、期待通りの回答をすること」を追求します。全社共通の評価フレームワークを構築し、各プロダクトに適用します。
- 評価基準の策定
- プロンプトエンジニアリング
- 評価データセットの構築

2. 品質保証プロセスの構築(Process & Strategy)
開発ライフサイクル全体におけるAI品質保証の「仕組み」と「ロードマップ」を策定し、各プロダクトチームへ展開します。

- シフトレフト/シフトライトの実践
- フィードバックループの構築
- ロードマップ策定

3. 全社横断での標準化推進
- 評価ガイドラインの策定
- ナレッジ共有
- 評価基盤の整備

【ポジションの魅力】
- AIエージェント時代に不可欠な、より高度なAI品質評価スキルを実務で身につけられる
- 特定プロダクトに閉じず、全社横断でAI品質評価の標準化・仕組み化を推進できる
- 既存の安定稼働プロダクト〜新規プロダクトまで幅広く関わり、品質保証の経験領域を広げられる
- 大きな裁量を持って、評価基準・プロセス設計から運用定着までをリードできる
- 0→1で仕組みを作り、成果を残すことができる

◎エンドユーザの価値を一番に考えた開発ができる
◎アジャイル開発
◎ペアプロ・モブプロ推奨
◎成長中のサービスに携われる

コンサルタント 福田 有紀

募集要項

職種 IT系/PM/PL(Web系・オープン系・パッケージ開発)、IT系/システムエンジニア(Web系・オープン系・パッケージ開発)、IT系/品質管理・QA、IT系/社内SE(アプリ担当)
年収 700万円~1000万円
勤務地 東京都
応募資格 【必須スキル】
- LLM/RAGの技術的特性への深い理解と実践経験
- ChatGPT、Claude等のLLMを業務で活用した経験
- RAG(Retrieval-Augmented Generation)の仕組みの理解
- 評価フレームワークの使用経験
- Langfuse、Weights & Biases、MLflow等のツールを用いたAI/LLMの評価・モニタリング経験
-データドリブンな改善スキル
- データに基づいて課題を特定し、改善提案ができる
- 定量的な評価指標の設計・運用経験
- スタートアップでの0→1フェーズへの意欲
- 未整備な環境でプロセスを構築することへの前向きな姿勢
- 変化を楽しみながら柔軟に対応できるマインド

【歓迎スキル】
LLM/AI関連
- LangChain、Dify、Flowise等のLLMフレームワーク使用経験
- プロンプトエンジニアリングの知識・実践経験

開発・分析関連
- Python / TypeScript等を用いた簡単なスクリプト作成による業務効率化経験
- SQLでのデータ抽出・分析経験
- モニタリングツール/可観測性(Observability)ツールの導入経験

ドメイン知識
- 経費精算、ワークフロー系システムの知見
- BtoB SaaSプロダクトの知見
学歴
雇用形態 正社員(期間の定めなし)
勤務時間 <勤務時間> 10:00~19:00 ・フレックスタイム制、コアタイム 10:00〜17:00 ・固定残業時間は45時間/月、超過分については別途支給
※フレックスタイム制、コアタイム 10:00〜17:00
休日・休暇土、日、祝日
年末年始休暇、育児休暇、介護休暇、慶弔休暇
<休日、休暇> ■年間休日 120日以上(完全週休二日制(土・日)、祝日、年末年始) ■入社日に有給休暇付与(初年度10日) ■慶弔休暇 ■産育休、介護休暇制度完備(男女共に育休取得実績あり)
待遇・福利厚生研修制度
■業務PCや周辺機器を自身で選択可能 ■モニター購入支援(上限額あり) ■書籍購入制度 ■備品購入制度 ■SaaS系ツールの積極的な利用 ■セミナー/勉強会の参加費負担 ■年一回健康診断(3万円(税込)までオプション追加可能) ■予防接種費用負担 ■ワクチン接種後特別休暇 ■週1回のフリーランチ(上限額あり) ■オフィス環境 ・ワイドモニター設置 ・オフィス利用を前提としたヘッドセット支給
健康保険、厚生年金、労災、雇用保険
通勤交通費(全額)
受動喫煙防止措置屋内原則禁煙(喫煙施設有)

企業情報

企業名非公開
業種・資本 IT・通信系(インターネット関連)

AI Agent Evaluation Lead(AI精度向上リード)

  • IT系/PM/PL(Web系・オープン系・パッケージ開発)、IT系/システムエンジニア(Web系・オープン系・パッケージ開発)、IT系/品質管理・QA、IT系/社内SE(アプリ担当)
  • 700万円~1000万円
  • 東京都