LLMOps & Observability Engineer (F/H) – CDI – Annecy

Vous êtes passionné par l'industrialisation de l'IA générative et les problématiques d'observabilité des LLM ? Vous aimez construire des plateformes robustes, mesurer la qualité des modèles et mettre en place les bonnes pratiques LLMOps ? Ce poste est fait pour vous

Votre profil :

Vous disposez d'une solide expérience dans l'observabilité et le monitoring de systèmes distribués ou de plateformes d'IA,

Vous avez déjà travaillé sur des problématiques d'évaluation continue, de qualité des modèles ou de supervision d'applications basées sur les LLM,

Les outils tels que Langfuse, LangSmith, Braintrust (ou équivalents) vous sont familiers, et vous êtes capable d'évaluer les solutions les plus adaptées aux besoins d'une plateforme IA,

Vous êtes à l'aise avec la mise en place de pipelines d'évaluation, le versioning des prompts, la gestion des jeux de données de test et le suivi des performances des modèles,

Vous maîtrisez le développement en TypeScript / Node.js et évoluez naturellement dans des environnements AWS,

Vous appréciez construire des plateformes réutilisables permettant aux équipes de développer et déployer leurs cas d'usage IA en toute autonomie,

Vous êtes sensible aux enjeux de qualité, de performance, de coût, de sécurité et de scalabilité des solutions d'IA générative,

Vous aimez travailler en collaboration avec des équipes IA, plateforme, produit et développement afin de mettre en place les meilleures pratiques d'industrialisation.

On vous décrit comme une personne autonome, rigoureuse et curieuse, capable de concevoir une plateforme fiable tout en gardant une vision globale des enjeux techniques et métiers.

Les mots-clés :

• LLMOps
• Observability
• Langfuse
• LangSmith
• Braintrust
• TypeScript
• Node.js
• AWS
• Prompt Versioning
• Evaluation Pipelines
• Monitoring
• Tracing
• AI Platform
• Generative AI
• Claude
• Anthropic
• Bedrock
• Metrics
• Alerting
• Platform Engineering

Vous vous reconnaissez dans cette description ? N'hésitez plus, nous serions ravis d'échanger avec vous