Matrice · runbook neuf étapes · VNC · journaux
La release v2026.4.26 complète la famille « Talk » avec un mode priorité navigateur : parole bidirectionnelle via un transport de type Google Live, pendant que Gateway maintient sessions, périmètres de jetons et sémantique de relais — ce n’est pas Talk Mode + MLX (guide Talk / MLX), pas équivalent à Gemini TTS (article TTS) et pas openclaw migrate (migrate 4.26). Vous trouverez ici les frontières, une matrice symptômes, un runbook en neuf étapes, quatre phrases prêtes pour ticket, des rappels relais à côté du guide proxy inverse HTTPS et une recette VNC prioritaire avec durcissement MCP navigateur ; gardez aussi le Docker Compose officiel ouvert en parallèle.
Les équipes produit doivent documenter ensemble HTTPS obligatoire, listes CORS et mises à niveau WebSocket — pas seulement après coup quand le bridge d’incident compile trois captures d’écran. Sur Mac distants loués, le découpage de session aggrave tout : processus Gateway lancés en SSH sous un utilisateur, Chromium sous un autre bureau — les autorisations micro semblent « accordées » mais jamais pour le même contexte TCC. Ce texte condense des schémas d’escalade récurrents en ordre lisible infra / produit. On renvoie aux extraits Nginx / Caddy du guide proxy plutôt qu’à réinventer des timeouts chaque sprint.
Si vous combinez automatisation (MCP navigateur) et voix temps réel, séparez les critères : la voix sollicite des duplex longues durée, les ponts DevTools des allers-retours courts. Une extension qui filtre agressivement les requêtes peut imposer un silence intermittent sur la chaîne vocale. Faites d’abord un fumée sur profil propre, puis avec extensions. Dans des contextes réglementés, ajoutez au bon de livraison une phrase sur la classification des données pour éviter que des captures VNC ne partent hors circuit.
Le marketing fusionne « Talk » — voici la frontière technique : le Talk navigateur temps réel vit des consentements Chromium, de la CSP, de la terminaison HTTPS et du signalage WebRTC / relais ; Talk Mode + MLX optimise l’inférence locale et la logique d’interruption sur Apple Silicon ; Gemini TTS rend de l’audio à partir du texte — ce n’est pas le même duplex qu’une session navigateur. migrate gère les arbres de configuration et les imports Claude, pas le jitter RTP.
Gateway reste le chef d’orchestre : aucun onglet ne doit stocker de clés API en Local Storage ; les secrets passent par SecretRef. Les noms annoncés par le relais doivent correspondre aux certificats TLS — sinon les candidats ICE réussissent et les callbacks navigateur échouent (« déconnexions aléatoires »).
Talk navigateur + transport Google Live : session duplex cloud dans le contexte Gateway ; vérifier same-origin, HTTPS, contenu mixte et en-têtes Upgrade / WebSocket jusqu’à l’ingress Live.
Talk Mode MLX : couplé au micro et à l’inférence locale ; entre en collision avec images louées CPU seule ou en lecture seule — voir le guide MLX.
Gemini TTS : lecture / tickets — pas l’obligation d’une conversation avec reprises.
Relais Gateway : les identifiants de trace / session doivent concorder entre panneau réseau du navigateur et journaux Gateway.
VNC : les étapes TCC (micro, automation, écran optionnel) ne sont pas cliquables sans session graphique complète.
Choisissez d’abord la pile, puis mesurez la latence — « ça sonne » et « ça tient au ticket » sont deux recettes.
Utilisez le tableau dans les bridges d’incident : d’abord la plomberie, puis les quotas modèle.
| Symptôme | Vérifier d’abord | Ensuite | Interprétation fréquente erronée |
|---|---|---|---|
| Pas de demande micro / périphérique absent | Droit du site Chromium, liste des entrées macOS, même utilisateur que Gateway | Carte audio virtuelle sur image louée | Changer tout de suite région / API |
| Poignée de main OK, premier octet très tard puis coupure | Timeouts idle du proxy inverse, Upgrade WebSocket incomplet | RTT vers l’ingress Live | Augmenter immédiatement le SKU modèle |
| Gateway voit des sessions, navigateur inactif | CORS / CSP / base href | Inspection TLS, extensions | Supposer le cœur du démon mort |
| Seuls certains utilisateurs | Clés API / bacs à sable | Routage webhook | Incriminer le « Wi‑Fi instable » |
La colonne « Ensuite » renvoie souvent au guide proxy inverse HTTPS / WebSocket. Le MCP navigateur charge surtout les ponts DevTools ; ici c’est l’audio duplex — les deux peuvent coexister, mais les extensions peuvent filtrer les requêtes.
Chaque étape produit une phrase pour le ticket — à aligner avec les branches migrate / Docker / launchd. Les hôtes Docker ont un autre « localhost » que la session visible en VNC.
Geler les versions : openclaw --version, tag Gateway ; ne pas mélanger notes Talk navigateur avec réparations de registre froid v2026.4.25.
Sauvegarde : archiver état / ~/.openclaw — étiqueter smoke contre prod.
doctor : ports occupés, SAN du certificat — tôt.
Gateway : santé sur 18789, puis DNS / TLS / WSS.
Activer Talk navigateur : transport temps réel + région documentés dans le change.
SecretRef : pas d’exports clair en shell.
Fumée navigation privée : d’abord micro + id de session, puis prompts métier.
Cohérence relais : chercher les chaînes session / trace navigateur → Gateway → Live ; surveiller idle / timeouts du proxy sur connexions semi-ouvertes.
Repli : interrupteur explicite vers texte ou TTS avec seuils d’indicateurs.
Dessinez le réseau des conteneurs et la pile audio : des liaisons incorrectes imitent un « micro muet ».
Nombre 1 : ancrer toujours les sondes sur 18789. Nombre 2 : sous deux minutes un retour audible ou métrique doit apparaître au froid — sinon soupçonner le pont avant le prompt. Nombre 3 : deux passages navigation privée (froid / tiède) pour que le cache ne masque pas du CORS manquant.
gateway:
browserTalk:
enabled: true
realtimeTransport: google-live
relay:
bindLocal: "127.0.0.1"
advertisePublicHost: "agent.example.com"
cors:
allowedOrigins:
- "https://agent.example.com"
secretsRef:
googleLiveApiKey: "secretref:prod/google-live/key"CORS est obligatoire ; le contenu mixte perturbe les invites micro. relay.advertisePublicHost doit coller au bord TLS — sinon ICE sans callback.
Cas classique : Gateway via SSH en utilisateur A, navigateur en B — TCC et trousseau ne se rejoignent jamais.
Gateway en agent launchd du même utilisateur que la connexion bureau VNC.
Sous « Confidentialité → Microphone », autoriser Chromium / Safari puis revoir les droits par site.
L’automation exige les assistances — coordonner avec MCP navigateur.
Enregistrement d’écran seulement brièvement pour corréler la chronologie ICE.
Ce passage complète l’article MLX — là-bas l’inférence locale ; ici WSS / TLS / relais.
Quand les trames WS bloquent en même temps que les alertes quota : (1) ping / pong dans DevTools, (2) JSON Gateway avec id de session, (3) upstream_time du proxy, (4) facturation — pas l’inverse.
Mesurez séparément RTT navigateur → Gateway et Gateway → Live ; augmenter un quota global ne guérit souvent ni l’un ni l’autre.
Documentez les seuils métier qui déclenchent un repli automatique vers texte ou TTS lecture — avant la panne totale.
Les réseaux avec inspection TLS obligent souvent une exception pour médias dynamiques — sinon les journaux proxy restent verts pendant que le duplex navigateur meurt silencieusement.
08Pas sur la même route micro — une session principale plus repli scripté.
Upgrade / Host / chaîne TLS et contenu mixte avant les périmètres d’identifiants.
Insuffisant — prévoir VNC pour la chaîne Chromium / TCC.
Oui — chemins plugin / état stables (migrate), puis bascules relais temps réel.
Le Talk navigateur avec transport Google Live est exigeant sur HTTPS, relais et TCC — ce n’est qu’avec cette couche propre que le réglage de prompt ou le choix de modèle devient pertinent.
Les Mac distants VNCMac combinent SSH pour l’automation et VNC pour les chaînes microphone — adaptés aux pilotes échelonnés.
Pour poursuivre : flux d’achat ; catalogue plus large sur la page d’accueil ; gardez les guides Docker / proxy ouverts dans le même dossier de run.