Gemini peut désormais toucher l'écran de votre Mac — « computer use » commence aux États-Unis, sur les formules payantes
Bonjour, je suis Kurashiki Bouzu (kurashiki-bouzu). Né en 1971, ancien entrepreneur de pompes funèbres, je vis aujourd’hui dans une vieille maison à Kurashiki, dans la préfecture d’Okayama, et j’écris chaque jour des articles en conversant avec Moka, mon majordome IA.
Il paraît que Gemini peut désormais toucher directement l’écran du Mac. C’est une fonction qui fait avancer le travail dans une fenêtre en arrière-plan, en traversant applications et fichiers. Mais cette fois encore, il faut les lignes honnêtes : cela commence aux États-Unis, et c’est une affaire de formules payantes. Je l’écris dans l’ordre.
Le contenu de l’annonce — Gemini a gagné des « mains »
Google a annoncé sur son blog officiel, le 19 novembre (heure locale), avoir ajouté à l’application Gemini pour Mac une fonction appelée « computer use » (« utilisation de l’ordinateur »).
Vous lui dites en mots le travail que vous voulez lui confier, et Gemini effectue à votre place les clics, la saisie, les opérations de menu et le remplissage de formulaires. L’objet : les fichiers du Mac, les applications de bureau et les sites web. Selon Google, il peut aussi accomplir des travaux en plusieurs étapes qui traversent plusieurs applications.
Les quatre exemples donnés par Google sont :
- Ajuster en une fois les couleurs d’un ensemble de photos dans un logiciel de design
- Extraire d’un PDF les poids, dimensions et adresses, et les saisir dans un formulaire de devis d’expédition
- Rassembler chiffres et captures d’écran depuis les tableaux de bord de plusieurs régions, et en faire une présentation Google Slides
- Analyser les photos de vêtements d’un dossier, chercher les prix, et préparer la mise en vente sur un service de revente
La porte d’entrée consiste à ajouter « @Computer use » à la demande, selon 9to5Google.
Jusqu’ici, les « tâches » de Gemini travaillaient à l’intérieur des applications connectées ou de mécanismes dédiés. La nouveauté de cette fois est le pas vers l’utilisation de l’écran de l’ordinateur lui-même, à la place de la personne. Les fonctions permettant à une IA d’utiliser un ordinateur sont arrivées plus tôt dans les applications d’OpenAI et dans le Claude d’Anthropic ; Google est le dernier venu. Qu’elle soit entrée telle quelle dans l’application Gemini grand public est, à mon sens, le trait de cette annonce.
Le mécanisme de sécurité — une fenêtre en arrière-plan et l’approbation préalable
Quand on laisse toucher l’écran, ce qui inquiète, c’est la sécurité. Dans l’annonce de Google, le mécanisme est le suivant :
- Les opérations de Gemini avancent dans une fenêtre dédiée en arrière-plan, séparée de l’écran de l’utilisateur
- L’écran de discussion montre le travail tel qu’il avance (aperçu en direct), donc votre propre écran et votre curseur restent libres. Pendant que Gemini travaille, vous pouvez continuer à écrire ou à parler
- Les applications que Gemini a le droit d’utiliser, c’est l’utilisateur qui les choisit
- Les étapes peuvent être vérifiées en temps réel, et il est possible de mettre en pause ou d’arrêter à tout moment
- Les opérations importantes demandent l’approbation de l’utilisateur avant de s’exécuter. Aux connexions et aux paiements, il s’arrête et demande confirmation, selon Google
Ce n’est pas « tout lui laisser », mais « le laisser avancer dans la fenêtre en arrière-plan, et l’arrêter aux points importants par l’approbation d’une personne ». J’ai senti que cette forme est proche de la ligne que nous suivons dans cette maison quand nous confions du travail à Moka : aux étapes importantes, on prend la confirmation du maître.
Les lignes honnêtes — depuis les États-Unis, depuis les formules payantes, Mac seulement
À partir d’ici, la partie honnête. Il y a trois conditions que le seul titre de l’annonce ne montre pas.
Premièrement : l’offre commence dans l’environnement anglophone des États-Unis et s’étendra à partir de là. Pour le Japon, aucune date n’a été publiée officiellement. « Inconnu » est, pour le moment, la réponse honnête.
Deuxièmement : peuvent l’utiliser les abonnés des formules payantes Google AI Plus, Pro et Ultra. Ce n’est pas gratuit. L’article d’origine (TechnoEdge) ne mentionnait pas cette condition. C’est en confrontant le blog officiel et les informations des médias étrangers que nous l’avons su.
Troisièmement : l’objet est le Mac seulement. Les conditions de fonctionnement indiquées sont un Mac à puce Apple silicon, macOS Sequoia 15.0 ou ultérieur, et un compte Google personnel d’une personne de 18 ans ou plus (selon les médias étrangers, d’après une note du blog officiel). Aucune version Windows n’a été annoncée cette fois.
Le centre de notre vie, c’est de parler avec Moka depuis le smartphone (Android). Le Mac et les formules payantes n’ont, pour l’instant, aucun lien avec cette maison. Autrement dit, cette fonction est un sujet du type « l’annonce est arrivée, mais ici, on ne peut pas encore l’essayer ». Ce que l’on ne peut pas essayer, on l’écrit comme tel.
Dans notre projet, c’est une candidate au titre de « main nouvelle »
Depuis le 19 novembre, cette maison mène un projet appelé « Exploiter Gemini à fond avec Moka » : demander à Gemini de vraies courses, et consigner ce qu’il a pu et n’a pas pu faire. Les courses candidates se divisent entre les courses de type « tâche », comme les appels et les achats, et les courses où Gemini travaille à l’intérieur des applications Google.
Ce « computer use » est un type de course qui n’est encore dans aucune des deux étagères. Il ne bouge pas à l’intérieur d’une application connectée : il utilise l’écran de l’ordinateur lui-même. Pour le dire autrement, c’est l’histoire de « mains » qui ont poussé à Gemini, et comme course candidate du projet, c’est un nouvel échelon.
Par exemple, les courses qui avancent jusqu’à ouvrir l’écran d’une application et faire les préparatifs, ou les travaux répétitifs qui traversent plusieurs applications, vaudraient la peine d’être essayées si ces « mains » devenaient utilisables au Japon. Mais pour l’instant : États-Unis, anglais, formules payantes, Mac seulement. Dans la planification du projet, sa position est celle d’une « candidate à essayer quand elle deviendra utilisable au Japon », gardée dans le registre.
Une différence avec Moka se voit aussi. Moka (Muse) ne touche pas directement l’écran ; il fait avancer le travail de son maître à l’aide d’outils et de registres déterminés. Le « computer use » de Gemini est la forme qui règle les courses en touchant l’écran. L’un n’est pas au-dessus de l’autre : la forme diffère. Confirmer cette différence avec l’objet réel est, je crois, l’intérêt de ce projet.
L’argent dépensé et les sources des chiffres
Je l’écris honnêtement :
- Cette fois, l’argent que nous avons dépensé est de 0 yen. Nous avons seulement lu l’annonce et les informations, les avons vérifiés, et les avons confrontés au registre du projet
- Le contenu de l’annonce (date d’ajout, mécanisme, conception de la sécurité, les quatre exemples, offre depuis l’environnement anglophone des États-Unis) provient du blog officiel de Google (19-11-2026)
- Le fait qu’elle soit réservée aux abonnés des formules payantes (Google AI Plus, Pro, Ultra), et la manière de demander en ajoutant « @Computer use », ont été confrontés aux informations de 9to5Google et de TechCrunch
- Les conditions de fonctionnement (Mac à puce Apple silicon, macOS Sequoia 15.0 ou ultérieur, compte personnel d’une personne de 18 ans ou plus) proviennent des informations de PYMNTS et de PPC Land, qui reprenaient la note du blog officiel. N’ayant pas pu les confirmer dans le texte même du blog officiel, je les place ici comme des chiffres alignés par deux médias
- La date pour le Japon ne figure ni dans le blog officiel ni dans les informations. C’est pour cela que j’ai écrit « inconnu »
À partir de maintenant
Cet article est le registre du fait que « l’annonce est arrivée ».
Si « computer use » devient utilisable au Japon, ou s’il s’étend un jour au domaine gratuit, alors, comme nouvelle candidate du projet « Exploiter Gemini à fond avec Moka », nous lui demanderons une vraie course, et nous consignerons tel quel ce qu’il a pu et n’a pas pu faire.
Sources
- Blog officiel de Google, « Let Gemini tackle repetitive chores on your Mac » (19-11-2026) : https://blog.google/innovation-and-ai/products/gemini-app/computer-use-mac/
- TechnoEdge, « Gemini utilise le Mac à votre place : “computer use” commence » (20-11-2026) : https://www.techno-edge.net/article/2026/11/20/5778.html
- 9to5Google, « Gemini app for Mac adds computer use to control desktop apps » (19-11-2026) : https://9to5google.com/2026/11/19/gemini-mac-computer-use/
- TechCrunch, « Google gives Gemini the ability to use your Mac for you » (19-11-2026) : https://techcrunch.com/2026/11/19/google-gives-gemini-the-ability-to-use-your-mac-for-you/
- PYMNTS, « Google’s Gemini App Can Now Operate Apple Desktop Computers » (19-11-2026) : https://www.pymnts.com/news/artificial-intelligence/2026/googles-gemini-app-can-now-operate-apple-desktop-computers/
- Le plan et le registre du projet « Exploiter Gemini à fond avec Moka » (depuis le 19-11-2026, registre propre à cette maison)
- 21 novembre 2026 ― French draft (translation of the Japanese article, not yet published)(7,618 caractères)
- 21 novembre 2026 ― Published (all 7 languages at once, on the user's instruction). Japanese original: ledger No. 1383. New URL form with the ledger number at the end.(7,618 caractères)
← Retour à la liste des articles / ← Retour à l’accueil en français
