La recherche d'informations dans les fiches techniques des produits du e-commerce est un défi complexe et peut entraîner des coûts élevés si elle est effectuée manuellement. Pour réaliser cette tâche, Mirakl a développé une solution innovante qui exploite la puissance des LLMs "fine-tunés". 

Bien que les LLM se soient révélés très performants pour diverses tâches, ils sont loin d'être parfaits. Entraînés principalement sur la génération de next-token en utilisant une large gamme de données, les LLMs peuvent souffrir d'une génération incorrecte causée parfois par un manque de contexte dans les prompts (par exemple, l'absence de CoT) ou la ressemblance avec des séquences très communes. 

Dans cette session, nous couvrirons :

• L'évaluation qualitative : Mesures de la qualité du modèle de langage et détection des hallucinations
• L'utilisation de MLflow pour automatiser l'évaluation et le suivi des LLMs
• Amélioration itérative de la qualité grâce à des stratégies d'ingénierie rapide et à l'affinement de l'ensemble de données par la curation.

Ces méthodes nous ont permis d'itérer rapidement sur le fine-tuning et d'affiner les modèles afin de les rendre fiables pour la production.