「ゆるテク ビアバッシュLT会 2026.10」で LT 登壇しました。自分は「Computer Use で、AI に Mac を触ってもらう」というタイトルで、画面を見て操作する AI の基本ループと、Codex に Keynote で乾杯スライドを作らせるデモを 5 分にまとめて話しました。
内容は、これまで当ブログで書いてきた「macOS / Windows の Computer Use 選定メモ」「AI エージェントに QA テスターを任せる設計メモ」「CUA は何の略か — Computer-Using Agent と Computer Use・computer-use agent の用語を整理する」の 3 本をベースに、ビアバッシュらしい切り口で 5 分の LT 向けに組み直したものです。
イベント概要
- 名称: 「ゆるテク ビアバッシュLT会 2026.10」
- 開催日時: 2026 年 10 月 2 日（金）19:00〜21:00
- 開催場所: 熊本市
- 形式: ビアバッシュ形式の LT 会
登壇内容「Computer Use で、AI に Mac を触ってもらう」
今回の LT は、普段 Codex で使っている Computer Use を、ビアバッシュらしく「AI に乾杯の準備を頼む」というモチーフで紹介する構成にしました。
Computer Use とは
Computer Use は、AI が画面を見てアプリを操作する仕組みです。クリック・文字入力・スクロールといった、普段マウスとキーボードで行っている操作を AI に任せます。「Keynote で乾杯のスライドを作って」のように自然な言葉で目的を伝えると、実際のアプリ上で作業を進めます。
基本ループ：見る・操作する・確かめる
Computer Use の中身は、次の 3 ステップの繰り返しです。
| ステップ | 内容 |
|---|---|
| 見る | スクリーンショットや UI 要素の情報から、画面の現在の状態を把握する |
| 操作する | クリック・文字入力・スクロールなどを実行する |
| 確かめる | 操作後の画面を観測して、次の操作へ進むかを決める |
観測に使える情報は実装によって異なり、スクリーンショットに加えてボタン名などの UI 情報を使う実装もあります。このうち重要なのは、操作した結果をもう一度画面で確かめる「確かめる」のステップです。具体例は後半の「操作の後は、結果を確かめる」で紹介します。
flowchart LR U["ユーザーの指示"] --> P["見る<br/>スクリーンショットを取得"] P --> R["操作する<br/>クリック・入力・スクロール"] R --> V["確かめる<br/>画面を再度観測"] V -->|"続きがある"| P V -->|"完了・確認が必要"| E["ユーザーへ返す"]
選ぶときは「どこを触れるか」
Computer Use と一口に言っても、ブラウザの中だけを触るものと、OS のアプリまで触るものがあります。
| 範囲 | 触れる対象 |
|---|---|
| ブラウザ内 | Web ページ、Web アプリ |
| OS のアプリまで | Keynote、Finder などのネイティブアプリ |
Web ページを使いたいのか、Keynote のようなデスクトップアプリを操作したいのか、やりたい作業に合わせて選びます。今回のデモは、macOS のネイティブアプリまで触れる構成の Codex を使いました。製品ごとの対応範囲については、別の記事「macOS / Windows の Computer Use 選定メモ」でまとめています。
開発で使うなら、探索的な QA
開発で面白い使い方だと感じているのが、探索的な QA です。「新しい画面をひと通り触って、詰まったところを教えて」のように目的を渡して、画面を探索してもらいます。
| 役割 | 得意なこと |
|---|---|
| Computer Use | 目的を渡して、未知の画面を探索する |
| 既存の E2E | 決めた条件を、繰り返し検証する |
同じ画面でも、AI が不具合と判断するかどうかは実行ごとに変わることがあるので、不具合候補として挙がってきたものは、再現手順と画面を残して人が確認します。既存の E2E は、決めた条件を繰り返し検証する用途として残しつつ、未知の画面を触る役割を Computer Use に任せる、という組み合わせを考えています。関連する設計の整理は「AI エージェントに QA テスターを任せる設計メモ」に書いています。
操作の後は、結果を確かめる
Computer Use で見落としやすい失敗が「入力はできたが、画面としては成立していない」というケースです。たとえば Keynote に文字を入力できていても、文章が長くて枠からはみ出していることがあります。入力したという報告で終わらせず、画面を見直して確かめるところまでを完了条件に含めるのがポイントです。
今回のデモでは、スライドが 1 枚であること、「みなさん、乾杯！🍻」の文字がそのまま入っていること、文字が枠からはみ出していないこと、の 3 点を完了条件にしました。何ができたら終わりかを、最初に具体的に伝えています。
デモ：Codex に乾杯の準備を頼む
本編の最後に、Codex に Keynote で「みなさん、乾杯！🍻」のスライドを 1 枚作ってもらうデモを行いました。注目してもらったのは、日本語がきちんと入力されることと、最後に完成したスライドを見直して確かめるという 2 点です。
デモ中は、画面を読む・操作する・もう一度見る、を繰り返している様子をそのまま見てもらいました。LT 枠でタイムアウトしても大丈夫なように、同じ Mac で事前に取ったスライドの完成画面を予備として用意しておき、本番は時間内に完了したので予備には触れずに済みました。
まとめ
- Computer Use は、画面を見て・操作して・確かめる、を繰り返す仕組み
- ブラウザ内か OS のアプリまでかで、使う Computer Use を選ぶ
- 操作した後に、結果を画面で確かめることが大事
- 開発では、既存の E2E と組み合わせて探索的な QA から始めるのが現実的
キャッチとしては「私たちが PC でやっている、あらゆる操作を AI に」というフレーズで締めました。身近な小さな作業から試してみてほしい、という締め方です。
二次会にも参加しました
本編終了後は、有志で開かれた二次会にもお邪魔しました。普段フルリモートで働いていると、同業のエンジニアと画面越しではなく顔を合わせて話す機会は貴重で、各社で Computer Use や AI エージェントをどう業務に組み込んでいるか、どこで止めて人に戻しているか、といった運用寄りの話まで深掘りできました。登壇中は時間の都合で触れきれなかったトピックも、二次会でじっくり話せたのが嬉しいところです。
主催者の皆さま、参加者の皆さま、ありがとうございました！
以上、「ゆるテク ビアバッシュLT会 2026.10」で Computer Use に乾杯の準備を任せるデモを添えて LT 登壇した、現場からお送りしました。