Granite 3B Code Instruct 128K : configuration requise et compatibilité GPU en local
← Tous les modèles

Modèle d’IA locale

Granite 3B Code Instruct 128K

par IBM

13 des 22 machines de référence l’exécutent entièrement en mémoire accélérateur en contexte 8k, et 0 de plus avec délestage CPU.

3.5B Paramètres 125k Contexte maximal 1 Quantification Complète Couverture de compatibilité
Tester mon PC

Vue d’ensemble

Éditeur
IBM
Famille
Granite
Série
Granite Code
Tâche
Code
Architecture
dense · llama
Paramètres
3.5B
Contexte maximal
128 000 tokens
Licence
apache-2.0
Publication
2024-07-12
Formats
gguf, safetensors
Cache KV par token (f16)
327 680 B · attention standard, exact
Couverture de compatibilité
Complète : verdicts calculés
Dépôt source
ibm-granite/granite-3b-code-instruct-128k
Page officielle
https://www.ibm.com/granite

Quantifications et tailles de fichiers

Quantification Runtime Poids Plancher mémoire à 4k Identité
Q4_0gguf ollamaollama run granite-code:3b 1.86 GB 3.11 GB digest vérifié

Les tailles proviennent du registre du runtime ou du listing du dépôt. Le plancher mémoire ajoute le cache KV pour 4 096 tokens quand ce chiffre ne peut pas surestimer ; c’est une estimation, pas une exigence.

Runtimes

Compatibilité sur les machines de référence

Contexte 8k, 32 Go de RAM système, meilleure quantification cataloguée par machine.

Machine Mémoire Réponse Faits connus
GeForce RTX 3060 Laptop GPU 6GB 6.00 GB VRAM Tient entièrement en mémoire estimé · Q4_0 Poids 1.86 GB vs 6.00 GB VRAM : tiennentCache KV à 8k : 2.50 GB
GeForce RTX 4060 8GB 8.00 GB VRAM Tient entièrement en mémoire estimé · Q4_0 Poids 1.86 GB vs 8.00 GB VRAM : tiennentCache KV à 8k : 2.50 GB
GeForce RTX 3080 10GB 10.0 GB VRAM Tient entièrement en mémoire estimé · Q4_0 Poids 1.86 GB vs 10.0 GB VRAM : tiennentCache KV à 8k : 2.50 GB
GeForce RTX 3060 12GB 12.0 GB VRAM Tient entièrement en mémoire estimé · Q4_0 Poids 1.86 GB vs 12.0 GB VRAM : tiennentCache KV à 8k : 2.50 GB
GeForce RTX 4070 12GB 12.0 GB VRAM Tient entièrement en mémoire estimé · Q4_0 Poids 1.86 GB vs 12.0 GB VRAM : tiennentCache KV à 8k : 2.50 GB
GeForce RTX 5070 12GB 12.0 GB VRAM Tient entièrement en mémoire estimé · Q4_0 Poids 1.86 GB vs 12.0 GB VRAM : tiennentCache KV à 8k : 2.50 GB
GeForce RTX 4060 Ti 16GB 16.0 GB VRAM Tient entièrement en mémoire estimé · Q4_0 Poids 1.86 GB vs 16.0 GB VRAM : tiennentCache KV à 8k : 2.50 GB
GeForce RTX 4080 16GB 16.0 GB VRAM Tient entièrement en mémoire estimé · Q4_0 Poids 1.86 GB vs 16.0 GB VRAM : tiennentCache KV à 8k : 2.50 GB
GeForce RTX 5060 Ti 16GB 16.0 GB VRAM Tient entièrement en mémoire estimé · Q4_0 Poids 1.86 GB vs 16.0 GB VRAM : tiennentCache KV à 8k : 2.50 GB
GeForce RTX 5080 16GB 16.0 GB VRAM Tient entièrement en mémoire estimé · Q4_0 Poids 1.86 GB vs 16.0 GB VRAM : tiennentCache KV à 8k : 2.50 GB
GeForce RTX 3090 24GB 24.0 GB VRAM Tient entièrement en mémoire estimé · Q4_0 Poids 1.86 GB vs 24.0 GB VRAM : tiennentCache KV à 8k : 2.50 GB
GeForce RTX 4090 24GB 24.0 GB VRAM Tient entièrement en mémoire estimé · Q4_0 Poids 1.86 GB vs 24.0 GB VRAM : tiennentCache KV à 8k : 2.50 GB
GeForce RTX 5090 32GB 32.0 GB VRAM Tient entièrement en mémoire estimé · Q4_0 Poids 1.86 GB vs 32.0 GB VRAM : tiennentCache KV à 8k : 2.50 GB
Radeon RX 7600 8GB 8.00 GB VRAM Potentiel : les poids tiennent non vérifié · Q4_0 Poids 1.86 GB vs 8.00 GB VRAM : tiennentCache KV à 8k : 2.50 GB
Radeon RX 7800 XT 16GB 16.0 GB VRAM Potentiel : les poids tiennent non vérifié · Q4_0 Poids 1.86 GB vs 16.0 GB VRAM : tiennentCache KV à 8k : 2.50 GB
Radeon RX 9070 XT 16GB 16.0 GB VRAM Potentiel : les poids tiennent non vérifié · Q4_0 Poids 1.86 GB vs 16.0 GB VRAM : tiennentCache KV à 8k : 2.50 GB
Radeon RX 7900 XTX 24GB 24.0 GB VRAM Potentiel : les poids tiennent non vérifié · Q4_0 Poids 1.86 GB vs 24.0 GB VRAM : tiennentCache KV à 8k : 2.50 GB
Intel Arc B580 12GB 12.0 GB VRAM Données insuffisantes non vérifié · Q4_0 Poids 1.86 GB vs 12.0 GB VRAM : tiennentCache KV à 8k : 2.50 GBprise en charge du runtime sur cette machine : unknown
Intel Arc A770 16GB 16.0 GB VRAM Données insuffisantes non vérifié · Q4_0 Poids 1.86 GB vs 16.0 GB VRAM : tiennentCache KV à 8k : 2.50 GBprise en charge du runtime sur cette machine : unknown
Mac mini M4 24GB 24.0 GB unifiée Données insuffisantes non vérifié · Q4_0 Poids 1.86 GB vs 24.0 GB unifiée : tiennentCache KV à 8k : 2.50 GB
Mac mini M4 Pro 24GB 24.0 GB unifiée Données insuffisantes non vérifié · Q4_0 Poids 1.86 GB vs 24.0 GB unifiée : tiennentCache KV à 8k : 2.50 GB
MacBook Pro 14-inch M4 Max 36GB 36.0 GB unifiée Données insuffisantes non vérifié · Q4_0 Poids 1.86 GB vs 36.0 GB unifiée : tiennentCache KV à 8k : 2.50 GB

Les réponses définitives (« fonctionne », « ne tient pas ») viennent du moteur calibré ou d’un test physique. Les lignes « potentiel » comparent seulement les poids à la mémoire : le reste du besoin n’est pas modélisé, ce ne sont donc pas des verdicts. Inconnu n’est jamais un échec.

Matériel pour ce modèle

Les GPU de référence avec 8 Go de VRAM ou plus l’exécutent entièrement en mémoire en contexte 8k : GeForce RTX 3060 Laptop GPU 6GB, GeForce RTX 4060 8GB, GeForce RTX 3080 10GB, GeForce RTX 3060 12GB.

  • Plus petit artefact catalogué : 1.86 GB de poids (Q4_0).
  • Un GPU d’au moins 8 Go de VRAM contient ces poids.
Voir les GPU 8 Go de VRAM
Ces liens ouvrent une recherche par catégorie de matériel, pas une recommandation de produit précis. Affiliate link — I may earn a commission from qualifying purchases. Ces liens ne modifient jamais une réponse de compatibilité. Ils suivent la mémoire que les données justifient, pas la commission.

Sources et preuves

0 champs mesurés, 21 sourcés, 4 estimés et 3 inconnus.

Fiche catalogue vérifiée le 2026-09-17.

Que peut faire tourner votre PC ?

Choisissez votre GPU et votre RAM pour voir chaque modèle catalogué qui tient, en séparant réponses testées, estimées et potentielles.

Tester mon PC