Gemini能触碰Mac的屏幕了 ― 「computer use」从美国、付费套餐开始
大家好,我是仓敷坊主(kurashiki-bouzu)。1971年生,原本是殡葬业者,现在住在冈山县仓敷市的一座古民居里,每天和AI管家摩卡聊天写文章。
听说Gemini能直接触碰Mac的屏幕了。它能跨越应用和文件,在后面的窗口里替人推进工作。不过,这一次也需要诚实的界线:开始的是美国,而且是付费套餐的话题。下面按顺序写。
发布的内容 ― Gemini有了「手」
Google在当地时间11月19日通过官方博客宣布,给Mac版的Gemini应用加入了名为「computer use(计算机使用)」的功能。
把想让它做的工作用文字告诉它,Gemini就会代替你进行点击、输入文字、菜单操作、填写表单。对象包括Mac里的文件、桌面应用、网站。据称,它也能完成跨越多个应用、步骤很多的工作。
Google举的例子有以下4个:
- 在设计软件里,批量调整照片的颜色
- 从PDF中提取重量、尺寸、地址,填入配送报价的表单
- 从多个地区的仪表板收集数值和截图,做成Google幻灯片的资料
- 分析文件夹里衣服的照片,查价格,为二手交易平台的出售做准备
据9to5Google报道,使用入口是在请求句里加上「@Computer use」。
此前Gemini的「任务」,是在连接的应用或专门的机制中工作的形态。这次的新意在于,它走到了「代替人操作电脑屏幕本身」这一步。让AI操作电脑的功能,OpenAI的应用和Anthropic的Claude先推出了,Google是后来者。它直接进入了普通用户用的Gemini应用,这一点是这次的特点,我是这样看的。
安全机制 ― 后台窗口和事前批准
让它触碰屏幕,担心的就是安全。Google的发布里,机制是这样的:
- Gemini的操作,在与使用者的屏幕分开的、后面的专用窗口(后台窗口)中进行
- 聊天画面里会原样显示工作的样子(实时预览),所以自己的屏幕和光标可以自由使用。Gemini在工作的时候,也可以继续输入和通话
- 允许Gemini操作的应用,由使用者自己选择
- 步骤可以实时确认,随时可以暂停或停止
- 重要操作在执行前需要使用者的批准。据称,在登录和支付的场面,它会停下来要求确认
不是「完全放手不管」,而是「在后面的窗口里推进,重要的地方由人的批准来停住」。这个形态,和我们这里把工作交给摩卡时的界线(重要的段要取得本人的确认),想法是接近的,我有这样的感受。
诚实的界线 ― 从美国开始、从付费套餐开始、只有Mac
接下来是诚实的部分。光看发布的标题看不到的条件,有3个。
第一,提供从美国的英语环境开始依次扩展。日本的提供时间,官方没有公布。「不明」是现在诚实的回答。
第二,能用的是Google AI Plus、Pro、Ultra这些付费套餐的订阅者。不是免费的。原来的报道文章(TechnoEdge)里没有写这个条件。这是把官方博客和海外媒体的报道对照之后才知道的。
第三,对象只有Mac。运行条件里列有:Apple芯片的Mac、macOS Sequoia 15.0以上、18岁以上的个人Google账号(据海外媒体报道,这是官方博客的注记)。Windows版这次没有发布。
我们生活的中心,是用智能手机(Android)和摩卡聊天。Mac和付费套餐,目前和我们家都没有缘分。也就是说,这个功能是「发布来了,但我们家还试不了」的话题。试不了的事情,就写明试不了。
在我们的企划里,它是「新手」的候选
我们从11月19日开始,在推进一个叫「用摩卡把Gemini用透」的企划。让Gemini做实际的事情,把能做到的和做不到的记录下来。事情的候选分为电话和购物这类「任务」类的事情,和在Google应用里工作的Gemini的事情。
这次的「computer use」,是这两个架子上都还没有的一类事情。它不是在连接的应用里动,而是操作电脑的屏幕本身。换句话说,是Gemini长出了「手」的话题,作为企划事情的候选,是新的一段。
比如,把应用的画面打开做准备工作这类事情,或者跨越多个应用的重复工作,如果这只「手」在日本能用了,是值得一试的候选。不过现在是美国、英语、付费套餐、只有Mac。在企划的安排上,它的位置是「在日本能用之后再试的候选」,先放在记录里。
和摩卡的区别也能看到一个。摩卡(Muse)不是直接触碰屏幕,而是用既定的工具和记录来推进主人的工作。Gemini的「computer use」是触碰屏幕来办事情的形态。不是哪个更好,而是形态不同。用实物来确认这个区别,我认为是这个企划有意思的地方。
花费和数字的出处
诚实地写下来:
- 这一次,我们这边花的钱是0日元。只是读了发布和报道,做了核实,再和企划的记录对照了一下
- 发布的内容(加入的时间、机制、安全的设计、4个例子、从美国的英语环境提供)来自Google官方博客(2026-11-19)
- 面向付费套餐(Google AI Plus、Pro、Ultra)订阅者这一点,以及在请求句里加「@Computer use」的使用方法,用9to5Google和TechCrunch的报道进行了核对
- 运行条件(Apple芯片的Mac、macOS Sequoia 15.0以上、18岁以上的个人账号),来自转述官方博客注记的PYMNTS和PPC Land的报道。因为在官方博客正文里没能直接确认,所以作为两家报道对齐的数字放在这里
- 日本的提供时间,在官方博客和报道里都没有出现。写「不明」,就是这个原因
接下来
这篇文章,是「发布来了」的记录。
「computer use」能不能在日本使用,会不会扩展到免费范围。到了那个时候,就把它作为企划「用摩卡把Gemini用透」的新候选,让它做实际的事情,把能做到的和做不到的原样记录下来。
出处
- Google官方博客《Let Gemini tackle repetitive chores on your Mac》(2026-11-19):https://blog.google/innovation-and-ai/products/gemini-app/computer-use-mac/
- TechnoEdge《Gemini代为操作Mac,「computer use」开始提供》(2026-11-20):https://www.techno-edge.net/article/2026/11/20/5778.html
- 9to5Google《Gemini app for Mac adds computer use to control desktop apps》(2026-11-19):https://9to5google.com/2026/11/19/gemini-mac-computer-use/
- TechCrunch《Google gives Gemini the ability to use your Mac for you》(2026-11-19):https://techcrunch.com/2026/11/19/google-gives-gemini-the-ability-to-use-your-mac-for-you/
- PYMNTS《Google’s Gemini App Can Now Operate Apple Desktop Computers》(2026-11-19):https://www.pymnts.com/news/artificial-intelligence/2026/googles-gemini-app-can-now-operate-apple-desktop-computers/
- 企划「用摩卡把Gemini用透」的企划书和记录(2026-11-19起,我们的实录)
- 2026年11月21日 ― Chinese draft (translation of the Japanese article, not yet published)(3,025 字)
- 2026年11月21日 ― Published (all 7 languages at once, on the user's instruction). Japanese original: ledger No. 1383. New URL form with the ledger number at the end.(3,025 字)
