Toutes les ressources premium et membres pour 8,99 €/mois, en abonnement sans engagement. Voir les offres

PalateKit

Menu

Demander une ressource

Décrivez en une phrase la ressource qui vous manque. Nous vous écrirons quand elle sera publiée.

0 / 280

Débloquer PalateKit

Tout débloquer

Offre

Le paiement vaut acceptation de nos conditions générales de vente.

Paiement sécurisé par Stripe. Reçus et factures envoyés par e-mail.

Content de vous revoir

Connectez-vous pour installer, télécharger ou sauvegarder cette ressource. Un compte gratuit suffit pour les ressources gratuites.

Préentraînement de LLM à grande échelle avec TorchTitan v1.0.0

Utilisez cette ressource pour préentraîner un grand modèle de langage avec le parallélisme 4D de PyTorch

Nouveau

  • 475 téléchargements
  • 235 mentions J'aime
  • 206 sauvegardes

Gratuit

Installer avec la CLI

Dans un terminal, depuis le dossier voulu :

npx --yes palatekit@latest install llm-pretraining-torchtitan-2

Sans option, la skill va dans ~/.agents/skills/ ; ajoutez --agent claude-code (ou codex, cursor…) pour viser un agent.

Première fois : connectez la CLI avec

npx --yes palatekit@latest login

L'agent installe TorchTitan, télécharge le tokenizer, choisit une configuration par son nom dans le registre, puis lance un préentraînement sur un ou plusieurs nœuds. Vous obtenez une exécution de préentraînement distribuée, avec les champs que vous avez surchargés.

Choisie surtout par

Mise à jour le 2 novembre 2026

Carte de la skill « Préentraînement de LLM à grande échelle avec TorchTitan »

Caractéristiques

Guides d'installation
Génère avec
Le modèle de votre agent
Licence
MIT

Ressources similaires

Tout voir

Ce que vous obtenez

  • SKILL.md : installation, téléchargement du tokenizer et procédure d'entraînement
  • references/ : points de contrôle, modèles personnalisés, float8 et FSDP

Pour qui

  • Vous préentraînez un modèle de type Llama sur plusieurs GPU
  • Vous voulez comparer des réglages de parallélisme sur un même modèle

Pas pour qui

    Étiquettes

    • préentraînement
    • pytorch
    • fsdp
    • distribué
    • llm

    À propos

    Vous dites

    « Lance le préentraînement de Llama 3.1 8B sur un nœud de huit GPU. »

    Carte de la skill « Préentraînement de LLM à grande échelle avec TorchTitan »

    Skill publiée par Orchestra Research sous licence MIT. Fichiers livrés dans leur version d'origine, en anglais.

    Voir plus

    Comment l'utiliser

    1. Installez la skill dans le dossier de skills de votre agent
    2. Demandez à votre agent de préentraîner un grand modèle de langage avec le parallélisme 4D de PyTorch
    3. Relisez et ajustez le résultat

    Aperçu du contenu

    Fichiers

    • LICENSE1 Ko
    • NOTICE-PALATEKIT.md0,5 Ko
    • references/checkpoint.md4,1 Ko
    • references/custom-models.md7,2 Ko
    • references/float8.md4 Ko
    • references/fsdp.md3,8 Ko
    • SKILL.md10,1 Ko

    Origine et licence

    Référencée sans modification

    Auteur
    Orchestra Research
    Source
    github.com/nousresearch/hermes-agent/tree/0c74cc682dc81bf78b78a1737b3ee77a820ccb79/optional-skills/mlops/torchtitan
    Licence
    MIT

    Notice

    « torchtitan » (Orchestra Research, MIT) livré dans sa version d'origine : fiche en français et en anglais par PalateKit.

    Avis des utilisateurs

    –

    Aucune note pour l'instant

    Chargement des avis…

    Supprimer votre avis ?

    Votre note et votre commentaire seront retirés de la fiche.