Apple Vision ProにGPT-4Vを組み合わせて指差したものを説明してもらったり、目の前にいる人物の感情を推定させたりする｜shi3z
著者が Apple Vision Pro の視界を GPT-4V へ渡す試作システムを作った記録。AirPlayと映像キャプチャを組み合わせた構成、指差しを説明させるデモを紹介している。
Vision Proの画面をMacへ送り、キャプチャした映像をブラウザの入力として利用。JavaScriptから画像と指示をGPT-4Vに渡し、説明をMac側で読み上げる流れを構成している。
学習・構成：AirPlay・Mac・映像キャプチャを使う視界共有／確認 2026-09-14／https://note.com/shi3zblog/n/n733e11ab883e
学習・対話：指差し対象を簡潔に説明させる画像入力／確認 2026-09-14／https://note.com/shi3zblog/n/n733e11ab883e
対象：AIの開発・導入・活用を検討する担当者。形式：企業・著者による公開記事。言語：日本語（公開本文で確認）。利用条件：公開記事（本文をログインなしで確認）
確認事項（編集部）：2024年の著者による試作。見た目からの感情推定の正確性は実証されておらず、外出時の安全性や補助機器としての信頼性を保証しない。
出典：shi3z「Apple Vision ProにGPT-4Vを組み合わせて指差したものを説明してもらったり、目の前にいる人物の感情を推定させたりする」／公開・更新情報：2024-02-10／確認日：2026-09-14／https://note.com/shi3zblog/n/n733e11ab883e
株式会社世良（Sera, Inc.）／ お問い合わせ: info@sera-inc.co.jp