Gemini가 Mac의 화면을 만질 수 있게 되었습니다 ― 「computer use」는 미국·유료 플랜부터
안녕하세요, 쿠라시키보즈(kurashiki-bouzu)입니다. 1971년생, 전직 장례업자이며, 지금은 오카야마현 쿠라시키시의 고택에서 살면서 AI 집사 모카와 매일 이야기하며 글을 쓰고 있습니다.
Gemini가 Mac의 화면을 직접 만질 수 있게 되었다고 합니다. 앱과 파일을 넘나드는 작업을 뒤쪽 창 안에서 대신 진행해 주는 기능입니다. 다만 이번에도 솔직한 선 긋기가 필요합니다. 시작은 미국부터이고, 게다가 유료 플랜 이야기였습니다. 순서대로 씁니다.
발표 내용 ― Gemini가 「손」을 가졌다
Google은 현지 시간 11월 19일, Mac용 Gemini 앱에 「computer use(컴퓨터 유스)」라는 기능을 추가했다고 공식 블로그에서 발표했습니다.
해 주었으면 하는 작업을 글로 전하면, Gemini가 클릭이나 문자 입력, 메뉴 조작, 폼 입력을 대신합니다. 대상은 Mac 안의 파일, 데스크톱 앱, 웹사이트입니다. 여러 앱을 넘나드는, 절차가 많은 작업도 해낼 수 있다고 합니다.
Google이 예로 든 것은 다음 네 가지입니다.
- 디자인 소프트웨어에서 사진의 색 조정을 한꺼번에 하기
- PDF에서 무게·치수·주소를 뽑아내어 배송 견적 폼에 입력하기
- 여러 지역의 대시보드에서 수치와 화면 사진을 모아 Google 슬라이드 자료로 만들기
- 폴더 안의 옷 사진을 분석해 가격을調べ고, 중고 거래 서비스에 출품 준비하기
사용 입구는 부탁 문장에 「@Computer use」를 붙이는 형태라고 합니다(9to5Google의 보도).
지금까지 Gemini의 「작업」은 연결한 앱이나 전용 구조 안에서 일하는 형태였습니다. 이번 새로움은 컴퓨터의 화면 그 자체를 사람 대신 조작하는 단계로 나아간 점입니다. AI에게 컴퓨터를 조작시키는 기능은 OpenAI의 앱이나 Anthropic의 Claude가 먼저 내놓았고, Google은 후발입니다. 일반용 Gemini 앱에 그대로 들어간 점이 이번 특징이라고 보고 있습니다.
안전 구조 ― 뒤쪽 창과 사전 승인
화면을 만지게 한다면 걱정되는 것은 안전입니다. Google의 발표에서는 구조가 이렇습니다.
- Gemini의 조작은 이용자의 화면과는 분리된, 뒤쪽의 전용 창(백그라운드 윈도우) 안에서 진행된다
- 채팅 화면에 작업 모습이 그대로 비치므로(라이브 프리뷰), 자기 화면과 커서는 자유롭게 쓸 수 있다. Gemini가 작업하는 동안에도 입력이나 통화를 계속할 수 있다
- Gemini에게 조작을 허락하는 앱은 이용자가 스스로 고른다
- 절차는 실시간으로 확인할 수 있고, 언제든 일시 정지나 정지가 가능하다
- 중요한 조작은 실행 전에 이용자의 승인을 구한다. 로그인이나 결제 장면에서는 멈춰서 확인을 구하는 형태라고 한다
「맡겨 놓고 끝」이 아니라, 「뒤쪽 창에서 진행하고, 중요한 곳은 사람의 승인으로 멈추는」 형태입니다. 이 형태는 우리 집에서 모카에게 일을 맡길 때의 선 긋기(중요한 단계는 주인의 확인을 받는다)와 생각이 가깝다고 느꼈습니다.
솔직한 선 긋기 ― 미국부터, 유료 플랜부터, Mac만
여기서부터가 솔직한 부분입니다. 발표 제목만으로는 보이지 않는 조건이 세 가지 있습니다.
첫째. 제공은 미국의 영어 환경부터 차례로 넓어지는 형태입니다. 일본에서의 제공 시기는 공식적으로 나와 있지 않습니다. 「불명」이 지금의 솔직한 답입니다.
둘째. 쓸 수 있는 것은 Google AI Plus, Pro, Ultra라는 유료 플랜의 가입자입니다. 무료가 아닙니다. 원래의 보도 기사(테크노엣지)에는 이 조건이 적혀 있지 않았습니다. 공식 블로그와 해외 미디어의 보도를 대조해서 알게 된 것입니다.
셋째. 대상은 Mac뿐입니다. 동작 조건으로 Apple 실리콘 Mac과 macOS Sequoia 15.0 이상, 18세 이상의 개인 Google 계정이 꼽히고 있습니다(공식 블로그의 각주로서 해외 미디어가 보도). Windows판 발표는 이번에는 없었습니다.
우리 집 생활의 중심은 스마트폰(Android)으로 모카와 이야기하는 것입니다. Mac도 유료 플랜도, 우리 집에는 지금은 인연이 없습니다. 즉 이 기능은 「발표는 왔지만, 우리 집에서는 아직 시험할 수 없는」 이야기입니다. 시험할 수 없는 것은 시험할 수 없다고 적어 둡니다.
우리 집 기획에서는 「새로운 손」의 후보입니다
우리 집에서는 11월 19일부터 「모카로 Gemini를 샅샅이 써 보기」라는 기획을 진행하고 있습니다. Gemini에게 실제 용무를 부탁해 보고, 된 것과 안 된 것을 기록하는 기획입니다. 용무 후보는 전화나 쇼핑 같은 「작업」 용무와, Google 앱 안에서 일하는 Gemini의 용무로 나뉘어 있습니다.
이번 「computer use」는 그 어느 선반에도 아직 들어 있지 않은 종류의 용무입니다. 연결한 앱 안에서 움직이는 것이 아니라, 컴퓨터의 화면 그 자체를 조작한다. 말하자면 Gemini에게 「손」이 생긴 이야기로, 기획의 용무 후보로서는 새로운 단계가 됩니다.
예를 들어, 앱 화면을 열어 사전 준비를 하는 데까지 진행하는 용무나, 여러 앱을 넘나드는 반복 작업은, 이 「손」이 일본에서 쓸 수 있게 되면 시험할 가치가 있는 후보입니다. 다만 지금은 미국·영어·유료 플랜·Mac만. 기획의 순서로는 「일본에서 쓸 수 있게 되면 시험하는 후보」로 기록에 두는 위치입니다.
모카와의 차이도 하나 보입니다. 모카(Muse)는 화면을 직접 만지는 것이 아니라, 정해진 도구와 기록을 써서 주인의 일을 진행하는 형태입니다. Gemini의 「computer use」는 화면을 만져서 용무를 처리하는 형태. 어느 쪽이 위가 아니라, 형태가 다릅니다. 이 차이를 실물로 확인하는 것이 이 기획의 재미있는 점이라고 생각합니다.
든 돈과 숫자의 출처
솔직하게 적어 둡니다.
- 이번에 우리 집이 낸 돈은 0엔입니다. 발표와 보도를 읽고 확인을 거쳐, 기획의 기록과 대조했을 뿐입니다
- 발표 내용(추가 시기·구조·안전 설계·예시 네 가지·미국 영어 환경부터 제공)은 Google 공식 블로그(2026-11-19)에 따릅니다
- 유료 플랜(Google AI Plus, Pro, Ultra) 가입자 대상이라는 점과, 부탁 문장에 「@Computer use」를 붙이는 사용법은 9to5Google과 TechCrunch의 보도로 대조했습니다
- 동작 조건(Apple 실리콘 Mac, macOS Sequoia 15.0 이상, 18세 이상의 개인 계정)은 공식 블로그의 각주를 전한 PYMNTS와 PPC Land의 보도에 따릅니다. 공식 블로그 본문 자체에서는 확인할 수 없었기 때문에, 두 회사의 보도에서 맞춘 숫자로 둡니다
- 일본에서의 제공 시기는 공식 블로그에도 보도에도 나와 있지 않습니다. 「불명」이라고 쓴 것은 그 때문입니다
앞으로
이 글은 「발표가 왔다」는 기록입니다.
「computer use」가 일본에서 쓸 수 있게 될지, 무료 범위로 넓어지는 일이 있을지. 그때는 기획 「모카로 Gemini를 샅샅이 써 보기」의 새 후보로서 실제로 용무를 부탁해 보고, 된 것과 안 된 것을 그대로 기록합니다.
출처
- Google 공식 블로그 「Let Gemini tackle repetitive chores on your Mac」(2026-11-19): https://blog.google/innovation-and-ai/products/gemini-app/computer-use-mac/
- 테크노엣지 「Gemini가 Mac을 대신 조작 『computer use』 제공 시작」(2026-11-20): https://www.techno-edge.net/article/2026/11/20/5778.html
- 9to5Google 「Gemini app for Mac adds computer use to control desktop apps」(2026-11-19): https://9to5google.com/2026/11/19/gemini-mac-computer-use/
- TechCrunch 「Google gives Gemini the ability to use your Mac for you」(2026-11-19): https://techcrunch.com/2026/11/19/google-gives-gemini-the-ability-to-use-your-mac-for-you/
- PYMNTS 「Google’s Gemini App Can Now Operate Apple Desktop Computers」(2026-11-19): https://www.pymnts.com/news/artificial-intelligence/2026/googles-gemini-app-can-now-operate-apple-desktop-computers/
- 기획 「모카로 Gemini를 샅샅이 써 보기」의 기획서·기록(2026-11-19~, 우리 집의 실록)
- 2026년 11월 21일 ― Korean draft (translation of the Japanese article, not yet published)(3,399 자)
- 2026년 11월 21일 ― Published (all 7 languages at once, on the user's instruction). Japanese original: ledger No. 1383. New URL form with the ledger number at the end.(3,399 자)
