Traduction de manga par IA : comment fonctionnent l'OCR et la composition
La traduction de manga par IA semble simple de l'extérieur : vous envoyez une page et recevez une image traduite. En coulisses, le système doit résoudre deux problèmes difficiles : lire le texte original avec précision (OCR) et replacer la traduction sur l'image sans l'abîmer (composition). Voici une explication claire.
Étape 1 : détection et OCR
Le système doit d'abord localiser le texte. Dans un manga, le texte se trouve dans des bulles, des cartouches et des onomatopées — parfois vertical, parfois horizontal, souvent sur le dessin. Un modèle de détection dessine des cadres autour de chaque zone, puis un modèle OCR lit les caractères en respectant l'ordre de lecture, de droite à gauche et de haut en bas.
C'est plus dur que l'OCR de documents : polices stylisées, lettrage dessiné à la main, texte à faible contraste sur des arrière-plans détaillés. Le réglage de précision contrôle le niveau de détection : plus il est élevé, plus les textes petits ou pâles sont captés, au risque de bruit.
Étape 2 : effacement du texte original
Une fois lu, le texte original doit être retiré pour laisser place à la traduction. Le système remplit la zone avec l'œuvre environnante (inpainting). Pour les bulles blanches, c'est simple ; pour le texte directement sur le dessin, un masque de segmentation n'efface que les traits afin de préserver l'image.
Étape 3 : traduction
Le texte extrait est envoyé à un modèle de traduction. La langue source est détectée automatiquement à partir des caractères (japonais avec kana, coréen, chinois…). La traduction revient ligne par ligne, reliée aux zones d'origine.
Étape 4 : composition
La composition est l'étape où beaucoup d'outils échouent. Une ligne traduite n'a presque jamais la même longueur que l'original : l'anglais et les langues européennes sont souvent plus longs. Le système choisit une taille de police qui entre dans la bulle, gère les retours à la ligne et respecte le sens de lecture, en réduisant la police si nécessaire tout en gardant une taille lisible.
Pourquoi les résultats varient
- Qualité de l'image : les scans nets et haute résolution aident grandement l'OCR.
- Forme des bulles : les bulles exiguës ou irrégulières sont plus difficiles à remplir.
- Lettrage stylisé : les onomatopées décoratives sont difficiles à lire et à traduire.
- Langue source : les écritures distinctes (kana, hangul) sont plus faciles à détecter.
À quoi s'attendre
L'IA moderne produit une première version lisible et précise, parfaite pour la lecture personnelle. Elle ne remplace pas une localisation humaine professionnelle, mais pour rattraper des chapitres non traduits, c'est un changement radical.