Veille IA

llmopensourcebenchmarkevaluationedge

Bonsai 2 27B : compromis entre mémoire, qualité et latence

Des évaluations communautaires de Bonsai 2 27B montrent qu’une quantification ternaire peut préserver certaines capacités de Qwen3.8 dans une empreinte de 6 à 8 Go. Les résultats signalent toutefois une forte consommation de tokens, une latence accrue et des performances variables selon les benchmarks.

Contexte

Prism-ML propose Bonsai 2 27B, une version de Qwen3.8 27B issue d’un entraînement tenant compte de la quantification. Les variantes mentionnées occupent environ 6 à 8 Go, ce qui les rend compatibles avec des configurations locales limitées en VRAM.

Plusieurs membres de r/LocalLLaMA ont confronté Bonsai à des quantifications classiques de Qwen3.8 ainsi qu’à Gemma 4 12B et Qwen 3.5 9B. Ces essais restent communautaires, souvent réalisés sur peu de tâches et avec des paramètres différents.

Ce qui change

Sur une série de quatre tâches de génération d’interfaces, Bonsai PQ2 et Qwen3.8 27B IQ3_XXS terminent chacun 4 tâches sur 4 et corrigent 20 assertions sur 20. Bonsai utilise cependant 84 176 tokens de sortie contre 27 197, avec un temps total de 24 min 09 s contre 8 min. Qwen bénéficie dans ce test de MTP, contrairement à Bonsai, ce qui limite la comparaison directe.

Un autre test, exécuté avec un contexte de 89 088 tokens, rapporte que Bonsai résiste mieux que Qwen3.8 IQ2_XXS sur certains exercices de restitution et de reconstruction. L’auteur précise que sa méthodologie n’est pas scientifique.

ByteShape obtient environ 91,5 % sur son benchmark composite, avec la même méthodologie que pour ses autres évaluations de Qwen3.8. Ce résultat contredit au moins partiellement la communication autour de 98,2 % de capacités conservées : une lecture critique du document de Prism-ML relève des scores de 52,8 et 60,8, contre 69,7 et 80,6 pour le modèle en précision supérieure, soit environ trois quarts sur les deux benchmarks concernés.

Pourquoi c'est important

Bonsai montre qu’un modèle 27B fortement quantifié peut rester exploitable sur 16 Go de VRAM, voire dans une enveloppe mémoire inférieure selon la variante. Le compromis ne se limite toutefois pas à la qualité : les essais font ressortir davantage de tokens, des boucles de raisonnement possibles et des temps de génération plus longs.

Le déploiement exige aussi le runtime spécifique de Prism-ML dans les tests publiés, le GGUF n’étant pas chargé par la version standard de llama.cpp selon un évaluateur. Pour comparer les variantes, il faut donc contrôler le runtime, MTP, l’effort de raisonnement, le cache KV et la longueur de contexte.

Sources