GratuitSkills
Création d'un wiki de connaissances
- 418418 téléchargements
- 129129 mentions J'aime
- 161161 sauvegardes
Compatible avec
- Claude Code
- Codex
- Cursor
- et 3 autres
Évaluation de modèles de code (HumanEval, MBPP, MultiPL-E) v1.0.0
Utilisez cette ressource pour évaluer et comparer des modèles de génération de code
Nouveau
- 569 téléchargements
- 176 mentions J'aime
- 241 sauvegardes
Gratuit
Installer avec la CLI
Dans un terminal, depuis le dossier voulu :
npx --yes palatekit@latest install code-model-benchmark-evaluationSans option, la skill va dans ~/.agents/skills/ ; ajoutez --agent claude-code (ou codex, cursor…) pour viser un agent.
Première fois : connectez la CLI avec
npx --yes palatekit@latest loginL'agent prépare les évaluations avec le BigCode Evaluation Harness : HumanEval, MBPP ou MultiPL-E, avec ou sans exécution, et le calcul pass@k. Vous obtenez les commandes, les réglages d'échantillonnage et les résultats à comparer.
Choisie surtout par
Mise à jour le 2 novembre 2026
Aperçus
Caractéristiques
- Fonctionne dans
- Guides d'installation
- Génère avec
- Le modèle de votre agent
- Licence
- MIT
Ressources similaires
Tout voir- Gratuit
GratuitSkills
Contrôle de santé du wiki
- 552552 téléchargements
- 202202 mentions J'aime
- 127127 sauvegardes
Compatible avec- Claude Code
- Codex
- Cursor
- et 3 autres
GratuitSkills
Interroger son wiki
- 374374 téléchargements
- 131131 mentions J'aime
- 214214 sauvegardes
Compatible avec- Claude Code
- Codex
- Cursor
- et 3 autres
GratuitSkills
Ajouter une source au wiki
- 315315 téléchargements
- 230230 mentions J'aime
- 246246 sauvegardes
Compatible avec- Claude Code
- Codex
- Cursor
- et 3 autres
GratuitSkills
Agent auditeur de wiki
- 556556 téléchargements
- 205205 mentions J'aime
- 192192 sauvegardes
Compatible avec- Claude Code
- Codex
- Cursor
- et 3 autres
GratuitSkills
Assistant de recherche UX
- 598598 téléchargements
- 142142 mentions J'aime
- 236236 sauvegardes
Compatible avec- Claude Code
- Codex
- Cursor
- et 3 autres
GratuitSkills
Agent d'ingestion de wiki
- 437437 téléchargements
- 162162 mentions J'aime
- 191191 sauvegardes
Compatible avec- Claude Code
- Codex
- Cursor
- et 3 autres
GratuitSkills
Agent bibliothécaire de wiki
- 304304 téléchargements
- 120120 mentions J'aime
- 217217 sauvegardes
Compatible avec- Claude Code
- Codex
- Cursor
- et 3 autres
Ce que vous obtenez
- SKILL.md : démarrage rapide et workflows d'évaluation standard et multilingue
- references/benchmarks.md : liste des benchmarks
- references/custom-tasks.md et references/issues.md : tâches sur mesure et points connus
Pour qui
- Vous devez publier les scores de coding d'un modèle
- Vous voulez tester un modèle de code sur plusieurs langages
Pas pour qui
Étiquettes
- benchmark
- code
- humaneval
- pass@k
À propos
Vous dites
« Évalue StarCoder2 7B sur HumanEval avec vingt échantillons par problème et calcule pass@1 et pass@10. »
Skill publiée par Orchestra Research sous licence MIT. Fichiers livrés dans leur version d'origine, en anglais.
Voir plusVoir moins
Comment l'utiliser
- Installez la skill dans le dossier de skills de votre agent
- Demandez à votre agent de évaluer et comparer des modèles de génération de code
- Relisez et ajustez le résultat
Aperçu du contenu
Fichiers
- LICENSE1,1 Ko
- NOTICE-PALATEKIT.md0,6 Ko
- references/benchmarks.md9,3 Ko
- references/custom-tasks.md10,5 Ko
- references/issues.md8,3 Ko
- SKILL.md11,8 Ko
Origine et licence
Référencée sans modification
- Auteur
- Orchestra Research
- Source
- github.com/davila7/claude-code-templates/tree/f57964ebda91cdfb31755661ecea9395f30020f1/cli-tool/components/skills/ai-research/evaluation-bigcode-evaluation-harness
- Licence
- MIT
Notice
« evaluation-bigcode-evaluation-harness » (Orchestra Research, MIT) livré dans sa version d'origine : fiche en français et en anglais par PalateKit.
Avis des utilisateurs
–
Aucune note pour l'instant
Chargement des avis…