GratuitSkills
Création d'un wiki de connaissances
- 418418 téléchargements
- 129129 mentions J'aime
- 161161 sauvegardes
Compatible avec
- Claude Code
- Codex
- Cursor
- et 3 autres
Évaluation de LLM sur des benchmarks académiques v1.0.0
Utilisez cette ressource pour évaluer et comparer des modèles de langage sur des benchmarks académiques
Nouveau
- 355 téléchargements
- 162 mentions J'aime
- 187 sauvegardes
Gratuit
Installer avec la CLI
Dans un terminal, depuis le dossier voulu :
npx --yes palatekit@latest install llm-benchmark-evaluation-harnessSans option, la skill va dans ~/.agents/skills/ ; ajoutez --agent claude-code (ou codex, cursor…) pour viser un agent.
Première fois : connectez la CLI avec
npx --yes palatekit@latest loginL'agent prépare les commandes d'évaluation avec lm-evaluation-harness pour un modèle Hugging Face, vLLM ou une API, choisit les tâches et suit les scores au fil de l'entraînement. Vous obtenez les commandes, les résultats chargés et une comparaison entre modèles.
Choisie surtout par
Mise à jour le 2 novembre 2026
Aperçus
Caractéristiques
- Fonctionne dans
- Guides d'installation
- Génère avec
- Le modèle de votre agent
- Licence
- MIT
Ressources similaires
Tout voir- Gratuit
GratuitSkills
Contrôle de santé du wiki
- 552552 téléchargements
- 202202 mentions J'aime
- 127127 sauvegardes
Compatible avec- Claude Code
- Codex
- Cursor
- et 3 autres
GratuitSkills
Interroger son wiki
- 374374 téléchargements
- 131131 mentions J'aime
- 214214 sauvegardes
Compatible avec- Claude Code
- Codex
- Cursor
- et 3 autres
GratuitSkills
Ajouter une source au wiki
- 315315 téléchargements
- 230230 mentions J'aime
- 246246 sauvegardes
Compatible avec- Claude Code
- Codex
- Cursor
- et 3 autres
GratuitSkills
Agent auditeur de wiki
- 556556 téléchargements
- 205205 mentions J'aime
- 192192 sauvegardes
Compatible avec- Claude Code
- Codex
- Cursor
- et 3 autres
GratuitSkills
Assistant de recherche UX
- 598598 téléchargements
- 142142 mentions J'aime
- 236236 sauvegardes
Compatible avec- Claude Code
- Codex
- Cursor
- et 3 autres
GratuitSkills
Agent d'ingestion de wiki
- 437437 téléchargements
- 162162 mentions J'aime
- 191191 sauvegardes
Compatible avec- Claude Code
- Codex
- Cursor
- et 3 autres
GratuitSkills
Agent bibliothécaire de wiki
- 304304 téléchargements
- 120120 mentions J'aime
- 217217 sauvegardes
Compatible avec- Claude Code
- Codex
- Cursor
- et 3 autres
Ce que vous obtenez
- SKILL.md : installation, workflows d'évaluation standard et suivi de l'entraînement
- references/benchmark-guide.md : guide des benchmarks disponibles
- references/custom-tasks.md, references/api-evaluation.md et references/distributed-eval.md : tâches sur mesure, API et évaluation distribuée
Pour qui
- Vous devez publier des scores académiques pour un modèle
- Vous comparez plusieurs checkpoints ou plusieurs modèles sur les mêmes tâches
Pas pour qui
Étiquettes
- benchmark
- évaluation
- llm
- mmlu
À propos
Vous dites
« Évalue ce modèle sur MMLU, GSM8K et HellaSwag, puis compare-le au checkpoint précédent. »
Skill publiée par davila7 sous licence MIT. Fichiers livrés dans leur version d'origine, en anglais.
Voir plusVoir moins
Comment l'utiliser
- Installez la skill dans le dossier de skills de votre agent
- Demandez à votre agent de évaluer et comparer des modèles de langage sur des benchmarks académiques
- Relisez et ajustez le résultat
Aperçu du contenu
Fichiers
- LICENSE1,1 Ko
- NOTICE-PALATEKIT.md0,6 Ko
- references/api-evaluation.md11,3 Ko
- references/benchmark-guide.md11 Ko
- references/custom-tasks.md13,4 Ko
- references/distributed-eval.md11,7 Ko
- SKILL.md12,1 Ko
Origine et licence
Référencée sans modification
- Auteur
- davila7
- Source
- github.com/davila7/claude-code-templates/tree/f57964ebda91cdfb31755661ecea9395f30020f1/cli-tool/components/skills/ai-research/evaluation-lm-evaluation-harness
- Licence
- MIT
Notice
« evaluation-lm-evaluation-harness » (davila7, MIT) livré dans sa version d'origine : fiche en français et en anglais par PalateKit.
Avis des utilisateurs
–
Aucune note pour l'instant
Chargement des avis…