Quelle IA choisir pour son équipe ? James Martin partage son approche frugale

Cet article est le transcript et les ressources de l'épisode 76 du podcast Slow Marketing. 🎧 Voici le lien pour écouter l'épisode ! 

📮 Abonne-toi à la Newsletter pour ne rien louper des prochains épisodes !

« On utilise ces gros modèles comme un bazooka pour tuer une mouche. »

Dans cet épisode de Slow Marketing, enregistré dans le cadre des Brussels Sustainable IT Days, j'accueille James Martin, fondateur de BetterTech, une publication dédiée à la tech responsable. James intervient régulièrement sur les questions d'IA frugale et d'IA responsable, notamment avec le collectif Green IT.

🎯 L'objectif de cet épisode ? Comprendre pourquoi la question n'est pas comment utiliser l'IA, mais laquelle choisir et comment adopter une approche plus frugale et responsable au sein de son équipe.

💬 Tu découvriras notamment :

• La différence entre IA frugale et IA responsable

• Pourquoi le réflexe "bigger is better" est la principale erreur des organisations

• Comment l'outil Frugal AI Switchboard aide à identifier des alternatives moins impactantes

• Comment gérer le shadow AI et la résistance à l'IA en entreprise

• Quel premier réflexe concret adopter dès cette semaine en équipe marketing

Les ressources

• BetterTech, le blog de James Martin : bettertech.blog

• Frugal AI Switchboard, l'outil pour trouver des alternatives aux gros modèles : disponible sur le site BetterTech

• Le collectif Green IT

Le transcript

Peux-tu te présenter en quelques phrases et nous expliquer comment tu es arrivé là aujourd'hui ?

Je suis journaliste à la base. Quand je suis arrivé en France, c'était pour faire du journalisme musical et aussi dans la tech, les jeux vidéo. J'écrivais notamment sur la tech pour un magazine qui s'appelle "À nous Paris", j'avais la page tech toutes les deux semaines. Et à force de sortir des articles sur le nouvel iPhone, la nouvelle PlayStation, je me suis demandé si je ne pouvais pas développer un angle plus intéressant. C'est comme ça que je suis allé vers la tech responsable : comment protéger ses données, comment réduire le temps d'écran... Et ça m'a amené à créer mon blog, BetterTech (bettertech.blog), qui parle de ce type de sujets.

Ensuite, j'ai rejoint Scaleway, le fournisseur cloud, au début des années 2020. J'étais responsable communication et RSE, je m'occupais aussi bien des réseaux sociaux et des communiqués de presse que des rapports d'impact. Quand on entre dans un data center, on entend le bruit, on ressent la chaleur. L'impact du numérique devient vraiment réel et physique. C'est là que j'ai vraiment découvert les impacts environnementaux du numérique.

Ça m'a amené à écrire un white paper sur comment les développeurs pourraient faire du green IT. Et à l'intérieur, il y avait un chapitre sur les impacts de l'IA générative qu'on commençait à découvrir. Plus je creusais le sujet, plus je voyais que les impacts allaient être énormes. C'est pour ça qu'aujourd'hui je donne, avec le collectif Green IT notamment, des formations sur deux sujets distincts : l'IA frugale; comment réduire les impacts de l'IA (et l'IA responsable) les risques de l'IA et la bonne gouvernance pour les gérer.

Bigger is better : l'erreur la plus fréquente

Ta conférence aux Brussels Sustainable IT Days portait sur "quelle IA choisir ?" plutôt que "comment utiliser l'IA ?". Pourquoi ce choix ? Et selon toi, c'est quoi l'erreur la plus fréquente que tu observes ?

C'est la faute à personne, mais depuis l'avènement de ChatGPT il y a presque 4 ans, on nous a dit que "bigger is better". On nous a donné sur un plateau, apparemment gratuitement, des outils surpuissants par rapport aux besoins qu'on a réellement.

Pourquoi ces modèles sont-ils de plus en plus gros ? Parce qu'il y a un monsieur qui s'appelle Joe Kaplan, qui était chez OpenAI en 2020, et qui a écrit un white paper sur le scaling. En gros : plus il y a de données, plus il y a de compute, plus c'est intelligent. Eh bien, c'est faux, mais tout le monde l'a cru. Et depuis, on est dans une course : qui va avoir le plus gros supercalculateur ? Et forcément, plus de compute rime avec plus d'impact.

L'erreur numéro 1 des organisations aujourd'hui, c'est d'accepter Copilot parce qu'elles sont chez Microsoft ou chez Google, de cocher la case, et de donner accès à ces modèles à toute leur équipe. Alors que, comme je le dis souvent, ces modèles, c'est comme utiliser un bazooka pour tuer une mouche, c'est complètement disproportionné. Une étude d'OpenAI sur leurs propres usages le confirme : les utilisations principales de ChatGPT en entreprise, c'est la recherche et la rédaction.

Des tâches qu'on pourrait souvent faire avec son propre cerveau, un moteur de recherche ou des dashboards très simples.

On fait les choses à l'envers. Au lieu de partir de "c'est quoi mon besoin et est-ce que l'IA permet d'y répondre ?", on se demande "est-ce que je pourrais mettre un peu d'IA là-dessus ?". C'est la base du Green IT : on part du besoin, pas du dernier gadget qui brille. Et la plupart des entreprises n'en sont pas là, elles sont motivées par le FOMO : la peur que le concurrent y aille si on n'y va pas.

Choisir le bon outil : l'approche frugale

Une fois qu'on a bien défini le besoin, qu'est-ce que tu recommandes comme IA et comme setup pour les entreprises ?

Je conseille toujours de procéder par étapes. D'abord : est-ce que j'ai besoin d'IA ? Si non, utiliser son cerveau, un dashboard ou un moteur de recherche. Si oui, analyser finement son besoin et choisir le plus petit modèle capable de faire ce dont on a besoin.

Je dis souvent que ChatGPT, c'est à peu près 200 fois plus gros que la plupart des besoins des gens. Pour de la recherche ou de la rédaction, des modèles de quelques dizaines de milliards de paramètres suffisent souvent, alors que le modèle derrière ChatGPT est dans les 1000 milliards de paramètres.

Pour aider à ce choix, j'ai créé un outil : le Frugal AI Switchboard. L'idée, c'est : pour telle utilisation, quel est le gros modèle le plus utilisé aujourd'hui, et quels sont les petits modèles alternatifs ? Et surtout, parce que je sentais venir l'objection "les petits modèles c'est moins fiable", j'ai mesuré leur niveau de précision (accuracy) pour montrer que non, c'est souvent comparable.

Prenons l'exemple du coding. S'il y a un métier qui utilise les LLM à fond aujourd'hui, ce sont les développeurs. Et ils ont tous tendance à être sur Claude Code, avec le modèle Opus 4.8. Si on regarde mon outil, on voit que pour coder, utiliser un petit modèle open source comme Qwen à la place d'Opus 4.8, c'est 167 fois moins cher au token, 111 fois moins impactant en termes d'émissions et d'énergie et on ne perd que 2% en précision. Et en plus, on peut héberger ce modèle où on veut, donc les données ne sont pas bloquées quelque part.

On n'est pas toujours obligé de prendre le bazooka. On peut se contenter d'une tapette à mouches et ces petits modèles sont tout aussi capables que les gros pour la plupart des usages.

Shadow AI et résistance : deux réalités en entreprise

J'ai pu observer deux comportements en entreprise. D'un côté le shadow AI: utiliser l'IA en dehors des outils officiels sans le dire. De l'autre, des personnes qui n'utilisent pas l'IA mais n'osent pas le dire non plus, par peur d'être mises au placard. Est-ce que tu as observé ces comportements, et comment tu les perçois ?

Oui, tout à fait. Dans une des entreprises dans lesquelles je travaillais, on a remarqué pas mal d'utilisation de shadow AI : il y avait un LLM officiel, mais les gens continuaient d'utiliser le service le plus connu. Plutôt que de le sanctionner, on a utilisé ce constat comme prétexte pour formaliser une charte IA responsable. Premièrement : si vous utilisez l'IA, utilisez l'outil officiel uniquement, pour des raisons de confidentialité. Deuxièmement : voici comment utiliser l'IA de façon plus frugale, mieux prompter, et uniquement quand c'est nécessaire.

C'est ce type de charte que je recommande à la fin de toutes mes formations. Mais une chose, c'est de les écrire, une autre, c'est de les faire vivre. La plupart des entreprises n'ont pas encore ces chartes.

Je les incite à en avoir, et surtout à mettre en place un suivi : un comité ou un groupe de référence auquel les collaborateurs peuvent poser des questions, des événements réguliers... Et le message le plus difficile à passer, ce sont les sanctions. Qui dit charte dit règles, et qui dit règles dit qu'il faut des conséquences si elles sont enfreintes, sinon les gens continuent le shadow AI et créent des risques.

Sur les personnes qui n'utilisent pas l'IA : ce n'est pas un problème en soi. Mais si elles ressentent une pression de l'utiliser alors qu'elles n'en veulent pas, je crois qu'il faut qu'on ait un droit au pushback. Et d'ailleurs, c'est inscrit dans la loi française : avant de mettre en place tout système IA en entreprise, l'employeur doit consulter le CSE, sous peine d'amendes. C'est prévu dans la loi parce que c'est un nouveau système informatique et les salariés ont leur mot à dire.

On va tellement vite sur l'IA que j'entends souvent des dirigeants dire "voici l'IA, maintenant trouvez-moi du ROI avec cet outil". Mais le principe de base du marketing, c'est de répondre à une demande. Ce n'est pas mettre la charrue avant les boeufs. 

Face à ce genre de demandes, on est en droit de challenger et de dire : je peux répondre à votre besoin autrement qu'avec l'IA. L'IA ne devrait pas être un automatisme.

Le réflexe concret à adopter cette semaine

Qu'est-ce que tu recommanderais à une équipe marketing ou communication comme réflexe concret à adopter dès maintenant pour un usage responsable et frugal de l'IA ?

Se parler d'abord. Ça peut paraître curieux, mais je prends l'exemple d'une entreprise en Allemagne dont j'ai entendu parler, des développeurs qui étaient devenus tellement habitués à Claude Code qu'ils se mettaient à développer des nouvelles choses juste parce que c'était facile. Ils ont fini par réaliser que ça donnait lieu à plein de créations qui ne servaient à rien. Alors ils ont instauré une règle : vous ne lancez aucun nouveau projet sans vous parler entre équipes d'abord.

Ce principe peut s'appliquer à n'importe quelle équipe, y compris en marketing. Un copilote peut donner l'impression de donner des super pouvoirs, mais ce n'est pas parce qu'on peut faire quelque chose qu'on doit le faire. Réfléchir aux besoins avant d'utiliser l'IA : les résultats seront beaucoup plus durables et utiles.

Pour conclure, si je te dis "slow marketing", tu penses à quoi ?

Je pense à prendre son temps. J'aime bien que tu parles de slow marketing parce que dans le collectif Green IT, on parle souvent de slow tech. J'ai une amie qui travaille dans une entreprise qui permet à des agriculteurs en Afrique d'utiliser des feature phones, des portables hyper basiques, pour poser des questions à une IA. Ils utilisent quelque chose qui semble daté pour nous, mais pour accéder à une technologie dans le cloud. Pour moi, c'est du slow tech : ça mélange l'ancien et le nouveau, et surtout, c'est vraiment utile.

Ils ont des témoignages de gens qui disent "je savais pas qu'il fallait utiliser tel engrais, ça m'a changé la vie." Donner accès à des savoirs hyper utiles, même sans le gadget dernier cri, c'est ça le slow tech.

Et par rapport au marketing : le slow marketing, c'est ne pas rejeter tout ce qui existait avant juste parce qu'une nouvelle technologie comme l'IA arrive.