Toutes les ressources premium et membres pour 8,99 €/mois, en abonnement sans engagement. Voir les offres

PalateKit

Se connecter
Menu

Demander une ressource

Décrivez en une phrase la ressource qui vous manque. Nous vous écrirons quand elle sera publiée.

0 / 280

Une page, une vidéo ou une image en ligne.

Débloquer PalateKit

Tout débloquer

Offre

Le paiement vaut acceptation de nos conditions générales de vente.

Paiement sécurisé par Stripe. Reçus et factures envoyés par e-mail.

Content de vous revoir

Connectez-vous pour installer, télécharger ou sauvegarder cette ressource. Un compte gratuit suffit pour les ressources gratuites.

Exécuter un modèle GGUF en local avec llama.cpp v1.0.0

Utilisez cette ressource pour faire tourner un modèle GGUF en local avec llama.cpp

Nouveau

  • 443 téléchargements
  • 197 mentions J'aime
  • 145 sauvegardes

Gratuit

Installer avec la CLI

Dans un terminal, depuis le dossier voulu :

npx --yes palatekit@latest install local-gguf-inference-llamacpp

Sans option, la skill va dans ~/.agents/skills/ ; ajoutez --agent claude-code (ou codex, cursor…) pour viser un agent.

Première fois : connectez la CLI avec

npx --yes palatekit@latest login

L'agent trouve le fichier GGUF adapté dans un dépôt Hugging Face, choisit la variante de quantification selon votre matériel, puis construit la commande llama-server ou llama-cli. Vous obtenez une commande prête à lancer et une vérification du serveur compatible OpenAI.

Choisie surtout par

Mise à jour le 2 novembre 2026

Carte de la skill « Exécuter un modèle GGUF en local avec llama.cpp »

Caractéristiques

Fonctionne dans
Guides d'installation
Génère avec
Le modèle de votre agent
Licence
MIT

Ressources similaires

Tout voir

Ce que vous obtenez

  • SKILL.md : découverte des modèles, installation et démarrage rapide
  • references/ : serveur, quantification, optimisation, Hub et dépannage

Pour qui

  • Vous voulez un modèle local sur un ordinateur sans GPU dédié
  • Vous cherchez la quantification Q4 ou Q5 adaptée à votre mémoire

Pas pour qui

    Étiquettes

    • llama.cpp
    • gguf
    • quantification
    • inférence locale
    • hugging face

    À propos

    Vous dites

    « Trouve le GGUF Q4 d'un modèle 8B pour 16 Go de RAM et donne-moi la commande llama-server. »

    Carte de la skill « Exécuter un modèle GGUF en local avec llama.cpp »

    Skill publiée par Orchestra Research sous licence MIT. Fichiers livrés dans leur version d'origine, en anglais.

    Voir plus

    Comment l'utiliser

    1. Installez la skill dans le dossier de skills de votre agent
    2. Demandez à votre agent de faire tourner un modèle GGUF en local avec llama.cpp
    3. Relisez et ajustez le résultat

    Aperçu du contenu

    Fichiers

    • LICENSE1 Ko
    • NOTICE-PALATEKIT.md0,5 Ko
    • references/advanced-usage.md10,6 Ko
    • references/hub-discovery.md5 Ko
    • references/optimization.md1,6 Ko
    • references/quantization.md5,8 Ko
    • references/server.md2,8 Ko
    • references/troubleshooting.md8,7 Ko
    • SKILL.md8,7 Ko

    Origine et licence

    Référencée sans modification

    Auteur
    Orchestra Research
    Source
    github.com/nousresearch/hermes-agent/tree/0c74cc682dc81bf78b78a1737b3ee77a820ccb79/optional-skills/mlops/inference/llama-cpp
    Licence
    MIT

    Notice

    « llama-cpp » (Orchestra Research, MIT) livré dans sa version d'origine : fiche en français et en anglais par PalateKit.

    Avis des utilisateurs

    –

    Aucune note pour l'instant

    Chargement des avis…

    Supprimer votre avis ?

    Votre note et votre commentaire seront retirés de la fiche.