De la difficulté à choisir le « bon » modèle IA

Pourquoi personne ne nous explique jamais clairement quel modèle choisir, concrètement ?

Même Anthropic, dans son guide, recommande de construire des tests spécifiques à chacun de ses cas d’usage, avec ses vrais prompts et ses données réelles. Les caractéristiques techniques d’un modèle ne suffisent pas à trancher : la réponse dépend de la tâche.

J’utilise plutôt un triangle. Au centre : la tâche. Autour, trois sommets : le modèle, l’effort que je lui demande et la méthode que je lui fournis. Cette méthode peut tenir dans un prompt ponctuel ou dans un skill construit au fil du temps.

Le triangle me dit quel levier tester avant de changer de modèle.

Prenons une analyse qui doit suivre une méthodologie précise. Sonnet accompagné d’un skill qui détaille les étapes, les critères de qualité et le format attendu peut faire mieux qu’Opus lancé avec une demande vague. La méthode compense une partie de l’écart entre les modèles.

Mais l’inverse existe aussi. Sur mes tâches longues en plusieurs étapes, Opus 5 peut faire moins bien avec un skill trop précis que lorsqu’il organise lui-même son travail. Des consignes utiles à Sonnet peuvent devenir contre-productives pour Opus.

Je pars donc de la tâche. Si la méthode est stable, je travaille d’abord le skill. Si la méthode reste à construire, je donne davantage de liberté au modèle. Ensuite seulement, j’ajuste l’effort ou je change de modèle.

Je ne sais pas jusqu’où ce triangle résistera aux prochaines générations. Pour l’instant, il m’évite surtout de changer de modèle chaque semaine.