hasina.dev
← Tous les billets

Ma stack tech IA actuelle pour des produits basés sur l'IA

11 min de lecture

Illustration d'un plateau contenant une manette, un téléphone, un casque, une montre et une pince de musculation sur une table en bois

Note: J'ai écrit l'original de l'article en anglais. Cette traduction française vient de Claude. C'était pour la rapidité mais d'expérience, je sais que ça impacte un peu mon style d'écriture. Je referai proprement la traduction quand j'aurai un peu plus de temps. Bonne lecture!

Commençons par clarifier une chose : quand je parle de stack tech IA, je ne parle pas de Claude Code ou de Cursor. Ce sont des outils IA pour le développement. Je parle de la stack technique qui fait tourner des agents en production ! Il fallait que je le dise, parce que j'ai déjà rencontré cette confusion en discutant avec des gens, et je comprends d'où elle vient. Maintenant que c'est clair, on peut avancer !

Petite histoire

J'ai une confession à faire ! Pendant longtemps, j'ai sous-estimé les produits IA. J'adhérais au discours du « c'est juste un wrapper d'IA ! ». À l'été 2024, j'ai créé mon premier chatbot perso avec l'API DeepSeek, juste pour frimer devant mes potes. Ensuite, j'ai expérimenté l'IA de temps en temps, sur mon temps libre. Je n'avais jamais été sérieux là-dessus à l'époque. Et quand je voyais des gens sortir des produits IA, ça ne m'impressionnait jamais, parce que j'avais déjà tout le processus en tête. Si j'arrive à visualiser comment on fabrique un truc, ça ne doit pas être bien compliqué, non ?

L'indifférence

Avance rapide jusqu'en 2025 : l'entreprise pour laquelle je travaillais a créé une division IA et, quelques mois plus tard, nous avions notre premier produit : une IA interne qui exploite nos propres données. C'était un chatbot à qui on pouvait poser des questions et qui y répondait en conséquence.11 bon, je marche sur des œufs ici, parce que je ne sais pas jusqu'à quel point c'est un secret industriel ! Ça me laissait indifférent. Très vite, on a intégré l'IA dans plein de parties de notre plateforme. J'en ai moi-même intégré plusieurs. Je connaissais notre stack technique, mais je n'y prêtais pas vraiment attention.

L'expérience

Du moins, jusqu'en 2026, quand j'ai eu une idée ! Puisque l'IA était devenue si performante, pourquoi est-ce que je ne l'utilisais pas encore pour gérer ma vie ? J'ai commencé par créer mon premier chatbot : un chatbot pour gérer mes séances de sport. Je voulais faire une app native, puis j'ai revu mes ambitions à la baisse, faute de temps. J'ai donc décidé d'utiliser Telegram à la place. Après quelques prompts, Claude m'a construit mon chatbot. J'ai utilisé ce qu'il me restait de crédits DeepSeek pour jouer avec. Le résultat était, eh bien... décevant. Les textes étaient robotiques malgré les ajustements que j'avais faits dans les prompts. C'est là que j'ai décidé de brancher l'API Grok en plus de DeepSeek, vu que j'avais aussi des tokens là-bas. Les résultats se sont améliorés, puis j'ai eu erreur sur erreur. Pas de chance, je suppose, mais je me suis dit que c'était peut-être une panne temporaire du serveur. Ce qui m'a poussé à acheter des tokens de l'API Claude. Ça a marché et, après encore quelques ajustements de prompts, les résultats correspondaient à ce dont j'avais besoin.

Et voilà, tout est en place ! Je suis du genre radin, donc même si j'avais mes résultats avec Claude, j'ai quand même mis Grok et DeepSeek en solutions de repli dans les fichiers de config.

J'ai ensuite acheté un serveur Hetzner et je l'ai mis en ligne.

Si ça marche pour un bot Coach, pourquoi ne pas aussi créer un bot Entretien pour m'entraîner ?

Le problème, c'est qu'un bot Entretien ne fonctionne vraiment bien que si je peux lui parler à voix haute. Il lui faut donc de la reconnaissance vocale. L'API de Claude ne fait pas de speech-to-text. Celle d'OpenAI, si (Whisper). C'est comme ça que j'ai acheté des tokens OpenAI.

J'ai fait quelques ajustements sur les prompts système et je l'ai déployé sur le même serveur que le bot Coach. En fait, je n'ai pas mis en place la transcription vocale, seulement le texte, en prévoyant de faire la voix plus tard.

Puis une autre idée m'est venue : un bot Finance pour gérer mes finances ! Oui, tout ça en un après-midi !

J'ai donc dupliqué le repo initial encore une fois et ajusté les prompts pour la finance. Le bot comptable aurait besoin que je lui partage des factures et des captures d'écran. Celui-là a fonctionné quasiment du premier coup. Rien de bien fou.

Et voilà : en un après-midi, je m'étais fait trois chatbots. Je les ai testés. Enfin, sans aucune convention de SDLC. Ils étaient vibecodés et ils marchaient !

Puis, les points de friction se sont manifestés petit à petit !

J'étais à un événement de networking. Au-delà des blagues sur Madagascar que les potes me lançaient, en me demandant si le roi Julian était toujours vivant, on a eu de vraies conversations sérieuses sur l'IA. C'est là que je suis arrivé avec les projets à moitié finis que j'avais concoctés en un après-midi : les chatbots Telegram.

Un inconnu : Waouh ! Donc tu peux gérer tes trucs avec ça ?

Moi : Oui ! Regarde, tu peux voir toutes mes séances enregistrées ici, et si tu fais ça [en tapant sur le clavier pour tester]... oh, attends....

Ce qui s'est passé, c'est que, je ne sais comment, il était revenu à sa configuration d'origine, avec des tirets cadratins et des réponses robotiques et répétitives !

Moi : On dirait que le modèle a été rétrogradé !

L'inconnu : Tu utilises quel LLM ?

Moi : Claude, si je me souviens bien, mais tu peux vérifier avec /models ici et voir lequel est actif.

L'inconnu : Donc tu peux changer de modèle, c'est ça ?

Moi : Euh, oui, mais je dois le faire dans le code source... oh attends, je vois une commande disponible ici : /models change DeepSeek

Bot Coach : Je ne sais pas ce que ça veut dire !

Moi : Tu me fous la honte devant les sorciers !22 je saaais, référence pop culture un peu ringarde

En fait, le bot documentait une fonctionnalité qu'il n'avait pas ! Je ne l'avais pas remarqué avant. Mais qu'est-ce que j'en sais ? J'AI TOUT VIBECODÉ !!!

Vaincu par l'humiliation, je suis rentré chez moi et j'ai essayé de réparer les bots. J'ai changé quelques prompts. J'ai vérifié si les modèles fonctionnaient : c'était le cas. Le vrai point de friction, c'est quand j'ai réalisé que je devais push, puis me connecter à Hetzner et pull pour déployer. D'accord, l'absence de pipeline CI/CD, c'est de ma faute ! Mais devoir push à chaque fois que je changeais un prompt, quand même !

Et quand je testais les prompts, je mettais le bazar dans mes fils Telegram et je devais les nettoyer pour repartir de zéro !

Mon raisonnement pendant tout ça, c'était que je n'avais à le faire qu'une seule fois ! Bien le faire une fois et plus jamais !

Donc après quelques ajustements, tout a semblé bien marcher pendant plusieurs semaines. Puis le début du mois suivant est arrivé ! Le 1er septembre, j'ai voulu enregistrer une dépense. Et voilà ce qui s'est passé !

Conversation Telegram où Odile, la bot comptable, annonce un solde de septembre à 0,00 € parce que chaque mois repart de zéroOdile, la bot comptable, explique que l'argent d'août est toujours là, mais pas dans le fichier de septembre

Pour résumer, Odile, la bot comptable, a remis mon solde à zéro en début de mois. D'accord, c'est peut-être une façon de gérer son argent, mais ce n'est pas la mienne ! J'ai essayé de la convaincre de changer de méthode, mais rien à faire ! Alors, concrètement, qu'est-ce que je devais faire ? Le changer dans le prompt, bien sûr. Ce qui voulait dire tout refaire : changer les prompts, tester sur Telegram, push le code, ouvrir Hetzner et pull (oui, j'ai bien compris, il faut que je mette une CI/CD sur ce truc !).

Et Greg, le bot coach, n'a pas fait mieux. Il est retombé dans les tirets cadratins et les phrases répétitives sans raison, alors que je lui avais explicitement dit de ne pas le faire un mois plus tôt ! Et il demande des résumés à des dates bizarres.

Conversation Telegram où Coach Greg, le bot, utilise des tirets cadratins et demande le bilan de la semaine le mauvais jour

Mon moment de prise de conscience

Bon, alors, qu'est-ce que j'ai appris ?

Un vrai pipeline CI/CD reste utile, même pour des projets perso (spoiler : je ne le mettrai toujours pas en place avant deux mois).33 En fait, je vais devoir le mettre en place moi-même, parce que c'est une sorte d'API. Pour les applis web, et pour mon site, j'utilise Vercel, qui l'intègre dès le premier jour, donc on n'a pas grand-chose à faire soi-même.

Des ajustements seront toujours nécessaires, tôt ou tard. Les règles changent. Les besoins évoluent. Il me faut un vrai endroit pour faire des evals sur les ajustements sans toucher à la prod.

Le cycle de développement classique compte toujours (dev -> staging -> prod, plus une stratégie de tests), même pour des projets perso. Vous pouvez tout générer d'un seul coup, mais vous devez connaître suffisamment (j'insiste sur « suffisamment ») le code dans son ensemble pour comprendre quand quelque chose casse, même sans trop le regarder. Au minimum, vous ne serez pas surpris par des fonctionnalités que vous n'avez pas demandées. Il s'agit moins de maîtriser le code que de maîtriser le produit.

Aussi, changer de modèle devrait être simple ! Et vérifier ma consommation de tokens ne devrait pas m'obliger à aller voir chaque fournisseur de LLM.

J'aurais pu vibecoder toute l'installation, mais il existe d'excellents outils open source pour ça. Je sais comment mon entreprise fait les choses, et j'ai creusé avec le team lead les points qui n'étaient pas clairs pour moi. J'ai donc tout compris. Je ne rentrerai pas dans le détail de la façon dont l'entreprise fait les choses ni de toute sa stack technique, puisque je ne sais pas ce que j'ai légalement le droit de partager. Mais je peux mettre en place ce dont mon projet a réellement besoin. Et comme je suis radin de toute façon, je ne peux pas me permettre ce qu'une entreprise à plusieurs millions de dollars peut se permettre, donc il me faut des alternatives.

Ma réponse à ces problèmes

J'ai donc opté pour cette configuration très simple :

  • Telegram comme UI : je l'utilise depuis le début, et celui-là ne bougera pas
  • LiteLLM : un indispensable dont je ne savais même pas que j'avais besoin ! Il centralise les API de LLM derrière une seule clé virtuelle qui peut accéder à n'importe quel modèle que vous y branchez. Il peut router d'un modèle à un autre, et vous pouvez fixer des budgets par clé ou par équipe pour ne pas vous réveiller avec une facture de tokens de 80 000 € à cause d'un piratage !
  • Langfuse44 non, ce n'est pas LangChain ! La ressemblance des noms n'est qu'une coïncidence. J'ai participé à un meetup avec LangChain et les gars avaient l'air agacés quand on les confondait avec Langfuse mdr : il gère aussi le suivi des coûts, ainsi que le traçage de workflows d'agents multi-étapes si vous en avez besoin. La gestion des prompts et les evals sont les fonctionnalités clés pour lesquelles je l'utilise.

Au moment où j'écris ces lignes, je les ai déjà installés, mais je ne les ai pas encore correctement branchés, et ce pour une raison précise :

En fait, j'ai une meilleure idée maintenant ! Au lieu d'avoir 3 projets différents, je suis en train de créer une seule grosse app où l'on pourra créer autant de bots que nécessaire. Certains auront besoin d'une API vocale, d'autres non. Pareil pour les images et le reste. C'est donc ma prochaine étape ! On va essayer d'optimiser les coûts en donnant à chaque bot uniquement les modèles dont il a besoin.

Je compte publier mes avancées ici ! On devrait avoir une version alpha d'ici la fin de l'année si je ne suis pas trop occupé. En attendant, restez à l'écoute !

Notes

  1. bon, je marche sur des œufs ici, parce que je ne sais pas jusqu'à quel point c'est un secret industriel !

    ↩
  2. je saaais, référence pop culture un peu ringarde

    ↩
  3. En fait, je vais devoir le mettre en place moi-même, parce que c'est une sorte d'API. Pour les applis web, et pour mon site, j'utilise Vercel, qui l'intègre dès le premier jour, donc on n'a pas grand-chose à faire soi-même.

    ↩
  4. non, ce n'est pas LangChain ! La ressemblance des noms n'est qu'une coïncidence. J'ai participé à un meetup avec LangChain et les gars avaient l'air agacés quand on les confondait avec Langfuse mdr

    ↩

Ce billet t'a parlé ?