Toutes les ressources premium et membres pour 8,99 €/mois, en abonnement sans engagement. Voir les offres

PalateKit

Menu

Demander une ressource

Décrivez en une phrase la ressource qui vous manque. Nous vous écrirons quand elle sera publiée.

0 / 280

Débloquer PalateKit

Tout débloquer

Offre

Le paiement vaut acceptation de nos conditions générales de vente.

Paiement sécurisé par Stripe. Reçus et factures envoyés par e-mail.

Content de vous revoir

Connectez-vous pour installer, télécharger ou sauvegarder cette ressource. Un compte gratuit suffit pour les ressources gratuites.

Traitement de jeux de données plus grands que la mémoire v1.0.0

Utilisez cette ressource pour traiter ou déplacer un jeu de données qui dépasse la mémoire sur une machine modeste

Nouveau

  • 331 téléchargements
  • 237 mentions J'aime
  • 237 sauvegardes

Gratuit

Installer avec la CLI

Dans un terminal, depuis le dossier voulu :

npx --yes palatekit@latest install out-of-core-data-processing

Sans option, la skill va dans ~/.agents/skills/ ; ajoutez --agent claude-code (ou codex, cursor…) pour viser un agent.

Première fois : connectez la CLI avec

npx --yes palatekit@latest login

L'agent conçoit un traitement de données volumineuses selon des règles : streaming, accès séquentiel, formats Parquet ou CSV, découpage en lots, débordement sur disque et compression zstd ou lz4. Il explique ce qui limite le débit et propose l'ordre des optimisations. Vous obtenez un traitement qui ne tombe plus en mémoire insuffisante.

Choisie surtout par

Mise à jour le 2 novembre 2026

Carte de la skill « Traitement de jeux de données plus grands que la mémoire »

Caractéristiques

Guides d'installation
Génère avec
Le modèle de votre agent
Licence
MIT

Ressources similaires

Tout voir

Ce que vous obtenez

  • references/ : fiches sur le traitement par lots, la pagination par clés et les écritures tamponnées
  • references/ : fiches sur les codecs, les dictionnaires et les formats binaires

Pour qui

  • Un script pandas lit un CSV de plusieurs gigaoctets et tombe en mémoire insuffisante
  • Vous déplacez des millions de lignes sur un petit serveur

Pas pour qui

    Étiquettes

    • données
    • streaming
    • mémoire
    • parquet
    • traitement par lots

    À propos

    Vous dites

    « Mon script charge un CSV de 8 Go avec pandas et plante. Réécris-le en lecture par morceaux avec sortie Parquet. »

    Carte de la skill « Traitement de jeux de données plus grands que la mémoire »

    Skill publiée par pproenca sous licence MIT. Fichiers livrés dans leur version d'origine, en anglais.

    Voir plus

    Comment l'utiliser

    1. Installez la skill dans le dossier de skills de votre agent
    2. Demandez à votre agent de traiter ou déplacer un jeu de données qui dépasse la mémoire sur une machine modeste
    3. Relisez et ajustez le résultat

    Aperçu du contenu

    Fichiers

    • AGENTS.md10,9 Ko
    • assets/templates/_template.md1,7 Ko
    • LICENSE1,1 Ko
    • metadata.json1,5 Ko
    • NOTICE-PALATEKIT.md0,5 Ko
    • references/_sections.md2,6 Ko
    • references/batch-coalesce-writes-with-buffered-output.md3,4 Ko
    • references/batch-keyset-pagination-over-offset.md3,5 Ko
    • references/batch-pick-chunk-size-by-memory-budget.md3,1 Ko
    • references/batch-process-with-stable-iterators.md3,1 Ko
    • references/batch-use-vectorized-apis-not-row-loops.md2,9 Ko
    • references/codec-dictionary-encoding-for-repetitive-strings.md3,5 Ko
    • references/codec-prefer-binary-protocols-over-json-for-rpc.md3,6 Ko
    • references/codec-train-a-zstd-dictionary-for-many-small-payloads.md3,5 Ko
    • references/codec-zstd-or-lz4-as-defaults-not-gzip.md3,1 Ko
    • references/conc-asyncio-for-many-network-streams-not-for-cpu.md3,8 Ko
    • references/conc-overlap-compute-with-prefetch.md3,6 Ko
    • references/conc-thread-pools-for-blocking-io-libraries.md3,5 Ko
    • references/conc-tune-parallelism-to-the-bottleneck.md3,7 Ko
    • references/fmt-avoid-deeply-nested-json-for-hot-paths.md2,7 Ko
    • references/fmt-columnar-for-analytical-scans.md2,4 Ko
    • references/fmt-line-delimited-for-streaming-row-ingest.md2,4 Ko
    • references/fmt-prefer-schema-on-write-when-possible.md2,9 Ko
    • references/fmt-push-predicates-into-the-reader.md3 Ko
    • references/io-async-for-many-concurrent-streams.md2,7 Ko
    • references/io-batch-and-pipeline-network-roundtrips.md3 Ko
    • references/io-buffer-explicitly-for-small-records.md2,4 Ko
    • references/io-mmap-for-random-or-shared-large-files.md2,8 Ko
    • references/io-prefer-sequential-over-random.md3 Ko
    • references/io-stream-http-bodies-with-iter-content.md4,4 Ko
    • references/io-zero-copy-when-moving-bytes-as-is.md3 Ko
    • references/mem-bound-the-working-set.md2,9 Ko
    • references/mem-prefer-generators-over-lists-for-pipelines.md2,2 Ko
    • references/mem-release-references-explicitly.md2,8 Ko
    • references/mem-shrink-dtypes-before-loading.md2,1 Ko
    • references/mem-stream-dont-slurp.md2,2 Ko
    • references/mem-use-views-not-copies.md2,4 Ko
    • references/obs-instrument-throughput-rows-per-second.md3,7 Ko
    • references/obs-measure-iowait-not-just-cpu.md3,3 Ko
    • references/obs-profile-with-py-spy-or-strace-for-syscall-storms.md4,6 Ko
    • references/pipe-apply-backpressure-from-slow-stages.md3,7 Ko
    • references/pipe-checkpoint-progress-for-resumability.md4,1 Ko
    • references/pipe-prefer-pull-iteration-over-push-callbacks.md3,4 Ko
    • references/pipe-use-bounded-queues-for-producer-consumer.md3 Ko
    • references/spill-external-merge-sort-when-data-exceeds-ram.md3,7 Ko
    • references/spill-partition-by-hash-for-out-of-core-groupby-join.md3,5 Ko
    • references/spill-use-engines-that-spill-automatically.md3,6 Ko
    • references/spill-use-temp-files-not-process-memory.md3,2 Ko
    • SKILL.md13,3 Ko

    Origine et licence

    Référencée sans modification

    Auteur
    pproenca
    Source
    github.com/pproenca/dot-skills/tree/cf93c57cac89d6fc3e4194686000411567f5caf3/skills/.experimental/io-bound-data-processing
    Licence
    MIT

    Notice

    « io-bound-data-processing » (pproenca, MIT) livré dans sa version d'origine : fiche en français et en anglais par PalateKit.

    Avis des utilisateurs

    –

    Aucune note pour l'instant

    Chargement des avis…

    Supprimer votre avis ?

    Votre note et votre commentaire seront retirés de la fiche.