GratuitSkills
Commits, branches et synchronisation avec la CLI but
- 361361 téléchargements
- 198198 mentions J'aime
- 103103 sauvegardes
Compatible avec
- Claude Code
- Codex
- Cursor
- et 3 autres
Optimisation de l'inférence LLM avec TensorRT-LLM v1.0.0
Utilisez cette ressource pour optimiser et servir un LLM sur GPU NVIDIA avec TensorRT-LLM
Nouveau
- 386 téléchargements
- 153 mentions J'aime
- 148 sauvegardes
Gratuit
Installer avec la CLI
Dans un terminal, depuis le dossier voulu :
npx --yes palatekit@latest install tensorrt-llm-inference-optimizationSans option, la skill va dans ~/.agents/skills/ ; ajoutez --agent claude-code (ou codex, cursor…) pour viser un agent.
Première fois : connectez la CLI avec
npx --yes palatekit@latest loginL'agent vous guide dans l'installation de TensorRT-LLM, l'inférence de base, la quantification (FP8, INT4) et le service avec trtllm-serve. Vous obtenez une configuration de déploiement et les points à surveiller.
Choisie surtout par
Mise à jour le 2 novembre 2026
Aperçus
Caractéristiques
- Fonctionne dans
- Guides d'installation
- Génère avec
- Le modèle de votre agent
- Licence
- MIT
Ressources similaires
Tout voir- Gratuit
GratuitSkills
Guide de la CLI Sentry
- 525525 téléchargements
- 117117 mentions J'aime
- 128128 sauvegardes
Compatible avec- Claude Code
- Codex
- Cursor
- et 3 autres
GratuitSkills
Bonnes pratiques Drizzle ORM avec PostgreSQL
- 407407 téléchargements
- 194194 mentions J'aime
- 151151 sauvegardes
Compatible avec- Claude Code
- Codex
- Cursor
- et 3 autres
GratuitSkills
Assistant de conception de SLO
- 537537 téléchargements
- 105105 mentions J'aime
- 242242 sauvegardes
Compatible avec- Claude Code
- Codex
- Cursor
- et 3 autres
GratuitSkills
User stories de sprint
- 451451 téléchargements
- 150150 mentions J'aime
- 132132 sauvegardes
Compatible avec- Claude Code
- Codex
- Cursor
- et 3 autres
GratuitSkills
Plan de sprint réaliste
- 423423 téléchargements
- 192192 mentions J'aime
- 102102 sauvegardes
Compatible avec- Claude Code
- Codex
- Cursor
- et 3 autres
GratuitSkills
Conseiller CTO de startup
- 580580 téléchargements
- 201201 mentions J'aime
- 242242 sauvegardes
Compatible avec- Claude Code
- Codex
- Cursor
- et 3 autres
GratuitSkills
Création de pull requests GitHub avec contrôles qualité
- 427427 téléchargements
- 230230 mentions J'aime
- 196196 sauvegardes
Compatible avec- Claude Code
- Codex
- Cursor
- et 3 autres
Ce que vous obtenez
- SKILL.md : quand utiliser TensorRT-LLM, installation et inférence de base
- references/serving.md : service avec trtllm-serve
- references/optimization.md et references/multi-gpu.md : optimisation et montée en charge
Pour qui
- Vous déployez un modèle en production sur GPU NVIDIA A100 ou H100
- Vous cherchez un débit plus élevé ou une latence plus basse que PyTorch seul
Pas pour qui
Étiquettes
- tensorrt-llm
- inférence
- quantification
- gpu nvidia
À propos
Vous dites
« Prépare un déploiement TensorRT-LLM d'un modèle 8B en FP8, servi sur deux GPU H100. »
Skill publiée par davila7 sous licence MIT. Fichiers livrés dans leur version d'origine, en anglais.
Voir plusVoir moins
Comment l'utiliser
- Installez la skill dans le dossier de skills de votre agent
- Demandez à votre agent de optimiser et servir un LLM sur GPU NVIDIA avec TensorRT-LLM
- Relisez et ajustez le résultat
Aperçu du contenu
Fichiers
- LICENSE1,1 Ko
- NOTICE-PALATEKIT.md0,6 Ko
- references/multi-gpu.md6,8 Ko
- references/optimization.md5,7 Ko
- references/serving.md10 Ko
- SKILL.md5,1 Ko
Origine et licence
Référencée sans modification
- Auteur
- davila7
- Source
- github.com/davila7/claude-code-templates/tree/f57964ebda91cdfb31755661ecea9395f30020f1/cli-tool/components/skills/ai-research/inference-serving-tensorrt-llm
- Licence
- MIT
Notice
« inference-serving-tensorrt-llm » (davila7, MIT) livré dans sa version d'origine : fiche en français et en anglais par PalateKit.
Avis des utilisateurs
–
Aucune note pour l'instant
Chargement des avis…