Toutes les ressources premium et membres pour 8,99 €/mois, en abonnement sans engagement. Voir les offres

PalateKit

Menu

Demander une ressource

Décrivez en une phrase la ressource qui vous manque. Nous vous écrirons quand elle sera publiée.

0 / 280

Débloquer PalateKit

Tout débloquer

Offre

Le paiement vaut acceptation de nos conditions générales de vente.

Paiement sécurisé par Stripe. Reçus et factures envoyés par e-mail.

Content de vous revoir

Connectez-vous pour installer, télécharger ou sauvegarder cette ressource. Un compte gratuit suffit pour les ressources gratuites.

Quantification 4 bits des LLM avec AWQ v1.0.0

Utilisez cette ressource pour compresser un LLM en 4 bits avec AWQ pour une inférence plus rapide

Nouveau

  • 356 téléchargements
  • 119 mentions J'aime
  • 205 sauvegardes

Gratuit

Installer avec la CLI

Dans un terminal, depuis le dossier voulu :

npx --yes palatekit@latest install awq-4bit-quantization

Sans option, la skill va dans ~/.agents/skills/ ; ajoutez --agent claude-code (ou codex, cursor…) pour viser un agent.

Première fois : connectez la CLI avec

npx --yes palatekit@latest login

L'agent installe AWQ, quantifie un modèle ou charge une version déjà quantifiée, puis configure la génération. Vous obtenez un modèle plus léger pour l'inférence, avec les points de vigilance sur le matériel et la précision.

Choisie surtout par

Mise à jour le 2 novembre 2026

Carte de la skill « Quantification 4 bits des LLM avec AWQ »

Caractéristiques

Guides d'installation
Génère avec
Le modèle de votre agent
Licence
MIT

Ressources similaires

Tout voir

Ce que vous obtenez

  • SKILL.md : installation, noyaux Triton ou CUDA et chargement de modèles
  • references/advanced-usage.md : configuration de quantification avancée
  • references/troubleshooting.md : erreurs fréquentes de quantification

Pour qui

  • Un modèle 70B doit tenir sur une carte graphique de 24 Go
  • Vous servez un modèle de chat avec vLLM et voulez réduire la latence

Pas pour qui

    Étiquettes

    • awq
    • quantification
    • llm
    • inférence

    À propos

    Vous dites

    « Quantifie notre modèle d'instructions en AWQ 4 bits pour le servir avec vLLM sur une RTX 4090. »

    Carte de la skill « Quantification 4 bits des LLM avec AWQ »

    Skill publiée par davila7 sous licence MIT. Fichiers livrés dans leur version d'origine, en anglais.

    Voir plus

    Comment l'utiliser

    1. Installez la skill dans le dossier de skills de votre agent
    2. Demandez à votre agent de compresser un LLM en 4 bits avec AWQ pour une inférence plus rapide
    3. Relisez et ajustez le résultat

    Aperçu du contenu

    Fichiers

    • LICENSE1,1 Ko
    • NOTICE-PALATEKIT.md0,5 Ko
    • references/advanced-usage.md8,1 Ko
    • references/troubleshooting.md7,9 Ko
    • SKILL.md8,5 Ko

    Origine et licence

    Référencée sans modification

    Auteur
    davila7
    Source
    github.com/davila7/claude-code-templates/tree/f57964ebda91cdfb31755661ecea9395f30020f1/cli-tool/components/skills/ai-research/optimization-awq
    Licence
    MIT

    Notice

    « optimization-awq » (davila7, MIT) livré dans sa version d'origine : fiche en français et en anglais par PalateKit.

    Avis des utilisateurs

    –

    Aucune note pour l'instant

    Chargement des avis…

    Supprimer votre avis ?

    Votre note et votre commentaire seront retirés de la fiche.