L’IA générative est en train de réinventer le métier de développeur et bouleverse le secteur du développement des logiciels. Mistral se lance à son tour dans les IA de génération de code avec un nouveau modèle : Codestral.
La jeune pousse française Mistral AI fait décidément beaucoup parler d’elle, que ce soit par ses financements spectaculaires, par les polémiques politiques qui l’entoure sur sa capacité à « rester française », par ses partenariats, mais aussi et peut-être surtout par sa technicité et la qualité remarquable de ses modèles.
Alors forcément, dans un tel contexte, difficile de passer à côté de la dernière production de cette licorne. Codestral est son premier modèle IA dédié au codage informatique et celui-ci figure d’emblée parmi les modèles les plus doués du marché en la matière. Certes, comme GPT4, LLama 3 ou Gemini, ses LLM généralistes « Mistral 7B », « Mixtral 8x7B », « Mistal Large » et « Mistral Next » étaient déjà capables de transformer un prompt en langage naturel en un code informatique exécutable. Mais Codestral – qui dérive des LLM de la jeune pousse – est lui spécialement entraîné pour ne produire que du code informatique et seconder les « Devs ».
À l’instar d’autres modèles de génération de code, Codestral a été conçu pour aider les développeurs à écrire et interagir avec du code. Entraîné sur plus de 80 langages de programmation, dont Python, Java, C++ et JavaScript, Codestral peut compléter des fonctions, écrire des tests, « remplir » du code partiel et même répondre à des questions sur une base de code en anglais, explique Mistral dans un article de blog.
Mistral qualifie le modèle d’ouvert, mais cela prête à débat. Car Codestral est publié selon une licence particulière « Mistral AI Non-Production License », qui réserve son usage pour la R&D et les tests mais interdit l’utilisation de Codestral et de ses résultats pour toute activité commerciale !
Dit autrement, Codestral ne semble encore qu’une expérimentation destinée à l’expérimentation. L’éditeur ne précise pas encore ce qu’il entend faire pour transformer cette expérimentation en outil réellement exploitable. En l’absence d’éclaircissement, certains se demandent si les limitations d’utilisation imposées par l’éditeur ne seraient pas liées aux codes sources utilisés pour l’apprentissage du modèle dont certains pourraient être couverts par des copyrights. Mais peut-être cette limitation n’est-elle tout bêtement que l’expression d’un manque de confiance de la startup dans un modèle tout neuf et encore insuffisamment testé. Une prudence bienvenue alors que des études récentes ont montré que l’IA générative pouvait engendrer une multiplication des codes erronés ou vulnérables dans les entreprises.
Codestral est disponible en téléchargement via la plateforme de Hugging Face, mais les développeurs peuvent également directement l’exploiter depuis son point d’accès direct (codestral.mistral.ai) et surtout depuis « La Plateforme » via l’API universelle de Mistral AI. Par ailleurs, Mistral AI a également déployé une version de Codestral au cœur de son IA conversationnelle « Le Chat » pour interagir avec Codestral de façon intuitive en langage naturel.
Avec sa fenêtre de contexte plus large (32K contre 4k, 8k ou 16k pour les modèles ouverts concurrents), Codestral surpasse les autres modèles de RepoBench.
Selon les tests menés par Mistral AI, Codestral semble plus doué en Python que dans les autres langages informatiques
La performance Fill-in-the-middle de Codestral a été évaluée à l’aide de HumanEval pass@1 en Python, JavaScript et Java et comparée à celle de DeepSeek Coder 33. Dit autrement, Codestral reste plus pertinent et plus efficace pour aider les développeurs à « remplir les trous » dans le développement d’un code informatique que pour générer une application de A à Z. L’IA n’est pas encore prête à totalement remplacer les Devs… Mais peut à la fois les aider à être bien plus productifs ou à les débloquer s’ils sont en pleine interrogation sur « comment faire? ».
puis