IA dans une app pour des zones à faible connexion : streaming, réponses courtes, mode hors ligne

Question

Mes utilisateurs sont souvent en 3G instable, avec des forfaits data limités. Ma fonctionnalité IA met parfois 20 secondes à répondre ou échoue complètement. Comment l'adapter ?

Accepted Answer

Plusieurs leviers, du plus simple au plus ambitieux :

**1. Streamer la réponse.** Affichez les mots au fur et à mesure (SSE ou streaming HTTP) : l'utilisateur lit après 1 à 2 secondes au lieu d'attendre 20 secondes devant un écran vide, et une coupure en cours de route laisse au moins une réponse partielle.

**2. Réponses courtes par défaut.** Demandez explicitement des réponses brèves, avec un bouton « En savoir plus ». Moins de tokens, c'est moins de latence, moins de data et moins de coût.

**3. Requêtes résilientes**
- Timeout côté client et **reprise** : si la connexion coupe, réessayez avec le même identifiant de requête (le serveur renvoie la réponse déjà calculée au lieu de rappeler le modèle).
- Mettez les questions **en file d'attente hors ligne** et envoyez-les au retour du réseau (Service Worker ou stockage local), avec un statut visible (« Ap tann koneksyon… »).

**4. Cache côté serveur** pour les questions fréquentes : une FAQ bien faite répond instantanément à une grande partie des demandes, sans appeler le modèle.

**5. Payload léger** : pas de gros SDK côté client, et du JSON compact. Compressez (gzip/brotli) et évitez d'envoyer tout l'historique à chaque message : le serveur le garde.

**6. Modèles sur l'appareil**, pour certains cas (classification, détection de langue, suggestions) : de petits modèles embarqués fonctionnent sans réseau. Pour la génération de texte de qualité en kreyòl, le serveur reste en général nécessaire aujourd'hui.

1 Repons