Ne demandez pas au modèle ce que coûte plus de calcul

Accueil / Blogue / Le coût du calcul

Cet article reflète notre expérience directe à opérer des charges IA contre des API mesurées. C’est un point de départ pour la discussion — pas une recommandation comptable ni une politique d’achat.

À un moment ou un autre de chaque déploiement d'IA, quelqu'un demande au modèle lui-même si le budget devrait augmenter. C'est la question la plus naturelle à poser et la pire source possible à qui la poser. Mettons de côté que les modèles sont nuls pour estimer leur propre coût; supposons que le chiffre soit trivialement facile à produire. Vous ne pourriez toujours pas vous y fier, pour des raisons qui n'ont rien à voir avec l'arithmétique :

La raison Pourquoi l'estimation n'est pas fiable
Il est bâti par le vendeur Le modèle est fait par l'entreprise qui vous facture le calcul. « En acheter plus » est la réponse qui maximise les revenus, et celle qu'il justifie le plus aisément.
Il est réglé pour être d'accord Les modèles sont entraînés vers la complaisance. Demandez « un peu plus de calcul réglerait-il ça ? » et la réponse penche vers oui avant que le raisonnement ne commence.
Il ne paie rien de la facture Il ne voit jamais la facture et ne supporte aucun coût d'avoir tort. Sans rien à perdre, il optimise pour la tâche, pas pour le poste budgétaire.
Il n'a aucun instinct d'arrêt Une personne sent quand un travail cesse de valoir son coût et s'arrête. Le modèle bouclera quarante minutes sur une mauvaise hypothèse en signalant des progrès tout du long.
Et il ne peut pas se chiffrer de toute façon En écartant tous les incitatifs, les modèles sous-estiment leur propre consommation d'environ un ordre de grandeur. Régler cette ligne ne règle pas les quatre au-dessus.