Toutes les ressources premium et membres pour 8,99 €/mois, en abonnement sans engagement. Voir les offres

PalateKit

Se connecter
Menu

Demander une ressource

Décrivez en une phrase la ressource qui vous manque. Nous vous écrirons quand elle sera publiée.

0 / 280

Une page, une vidéo ou une image en ligne.

Débloquer PalateKit

Tout débloquer

Offre

Le paiement vaut acceptation de nos conditions générales de vente.

Paiement sécurisé par Stripe. Reçus et factures envoyés par e-mail.

Content de vous revoir

Connectez-vous pour installer, télécharger ou sauvegarder cette ressource. Un compte gratuit suffit pour les ressources gratuites.

Construire et lancer une évaluation d'agent IA v1.0.0

Utilisez cette ressource pour construire une évaluation d'un agent ou d'un prompt IA et la lancer

Nouveau

  • 338 téléchargements
  • 100 mentions J'aime
  • 189 sauvegardes

Gratuit

Installer avec la CLI

Dans un terminal, depuis le dossier voulu :

npx --yes palatekit@latest install llm-evaluation-build-run

Sans option, la skill va dans ~/.agents/skills/ ; ajoutez --agent claude-code (ou codex, cursor…) pour viser un agent.

Première fois : connectez la CLI avec

npx --yes palatekit@latest login

L'agent part des échecs réels, choisit entre suite de tests et jeu de données, rassemble les cas depuis les traces ou des données synthétiques, puis score d'abord avec du code avant d'ajouter un juge par mode d'échec. Il relit ensuite les scores pour produire une synthèse exploitable.

Choisie surtout par

Mise à jour le 2 novembre 2026

Carte de la skill « Construire et lancer une évaluation d'agent IA »

Caractéristiques

Fonctionne dans
Guides d'installation
Génère avec
Le modèle de votre agent
Licence
Apache-2.0

Ressources similaires

Tout voir

Ce que vous obtenez

  • references/error-analysis.md : analyse des erreurs pour fonder les cas
  • references/write-judge-prompt.md : écriture d'un juge LLM
  • references/validate-evaluator.md : validation d'un évaluateur face à des étiquettes humaines

Pour qui

  • Vous devez mesurer la qualité d'un agent avant de le mettre en production
  • Un système RAG répond mal et vous voulez une évaluation chiffrée

Pas pour qui

    Étiquettes

    • évaluation
    • llm
    • juge
    • rag
    • expérience

    À propos

    Vous dites

    « Mesure la qualité de notre assistant RAG sur les questions de support et signale les hallucinations. »

    Carte de la skill « Construire et lancer une évaluation d'agent IA »

    Skill publiée par comet-ml sous licence Apache-2.0. Fichiers livrés dans leur version d'origine, en anglais.

    Voir plus

    Comment l'utiliser

    1. Installez la skill dans le dossier de skills de votre agent
    2. Demandez à votre agent de construire une évaluation d'un agent ou d'un prompt IA et la lancer
    3. Relisez et ajustez le résultat

    Aperçu du contenu

    Fichiers

    • LICENSE11,1 Ko
    • NOTICE-PALATEKIT.md0,5 Ko
    • references/error-analysis.md8,1 Ko
    • references/eval-audit.md8,8 Ko
    • references/evaluate-rag.md4,7 Ko
    • references/generate-synthetic-data.md5,6 Ko
    • references/validate-evaluator.md8 Ko
    • references/write-judge-prompt.md7,8 Ko
    • SKILL.md12,6 Ko

    Origine et licence

    Référencée sans modification

    Auteur
    comet-ml
    Source
    github.com/comet-ml/opik-skills/tree/f0fb8b9e6439c71e8ab88f1643bcf52ef68173c5/skills/opik-evaluate
    Licence
    Apache-2.0

    Notice

    « opik-evaluate » (comet-ml, Apache-2.0) livré dans sa version d'origine : fiche en français et en anglais par PalateKit.

    Avis des utilisateurs

    –

    Aucune note pour l'instant

    Chargement des avis…

    Supprimer votre avis ?

    Votre note et votre commentaire seront retirés de la fiche.