Copilot Vision: Die KI kann sehen! [Anleitung]

Die KI kann Dir jetzt bei der Arbeit am PC zusehen und live Fragen zu Apps und Webseiten beantworten. Wie einfach Du Copilot Vision aktivieren und auf verschiedenen Geräten nutzen kannst, erfährst Du in dieser Anleitung.

Was kann Copilot Vision?

Bestimmt hast Du einer KI schon mal Fragen und Aufgaben gestellt, zum Beispiel per Chat mit einem eingetippten Text oder per Spracheingabe über das Mikrofon.

Vielleicht hast Du auch schon die Bilderkennung mit Copilot ausprobiert: Du kannst im Eingabefeld ein Foto hochladen. Die KI erkennt das Motiv auf dem Bild und kann Fragen dazu beantworten. Wofür das nützlich sein kann, habe ich Dir in einem Beitrag gezeigt:

Die neue Funktion Copilot Vision ermöglicht die Bilderkennung in Echtzeit. Du kannst dem KI-Assistenten zum Beispiel Deinen PC-Bildschirm freigeben oder einen Gegenstand zeigen und mit ihm live darüber sprechen.

• Lass Dir den Inhalt einer angezeigten Webseite zusammenfassen oder das Menü einer geöffneten Software erklären.
• Halte einen Gegenstand vor die Webcam oder Smartphone-Kamera und frage nach seiner Funktion oder Herkunft.

Voraussetzungen für Copilot Vision

Du kannst Copilot Vision kostenlos nutzen. Dafür benötigst Du ein persönliches Microsoft-Konto. In den Firmen- und Schullizenzen für Microsoft 365 ist Copilot Vision bislang nicht verfügbar.

Du kannst die Funktion auf verschiedenen Geräten aktivieren:

• in der Copilot-App für Windows,
• über die Seitenleiste im Browser Microsoft Edge und
• in den mobilen Apps für Android, iOS und iPadOS.

Mehr über die verschiedenen Versionen und alle wichtigen Funktionen erfährst Du in meinem Handbuch „Microsoft Copilot für Einsteiger“.

Copilot Vision in der Windows-App

Die Copilot-App für Windows ist längst mein täglicher Begleiter. Ich nutze sie zwischendurch immer wieder für ein kurzes Brainstorming, für eine schnelle Recherche oder für Verbesserungen an dieser Website.

Falls die App noch nicht auf Deinem PC installiert ist, kannst Du sie per Microsoft Store herunterladen. Stelle unbedingt sicher, dass Du die aktuelle Version nutzt. Nur dann erscheint unten im Eingabefeld – rechts neben dem Mikrofon – ein kleines Brillen-Symbol, das für die Funkton Copilot Vision steht:

Wenn Du auf das Icon klickst, öffnet sich zunächst ein kleines Fenster. Darin kannst Du entscheiden und auswählen, welchen Inhalt Du für Copilot Vision freigeben möchtest:

• den ganzen Desktop oder
• nur ein bestimmtes, schon geöffnetes Programmfenster.

Das Prinzip kennst Du vielleicht vom Teilen von Inhalten während einer Videokonferenz mit Microsoft Teams.

Der ausgewähle Inhalt rückt nun in den Vordergrund. Zusätzlich sitzt am unteren Bildschirmrand ein kleines Menü mit mehreren Buttons. Außerdem sollte sich Copilot mit einer kurzen, hörbaren Begrüßung melden und so seine Bereitschaft signalisieren.

Das eingebaute oder angeschlossene Mikrofon ist in der Regel schon aktiviert. Du kannst also sofort lossprechen und Dich nun in einem natürlichen Dialog über die angezeigte Datei oder Internetseite unterhalten.

Je nach Software und Fragestellung kann der KI-Assistent für seine Antwort auch bestimmte Elemente hervorheben und sogar zur passenden Stelle scrollen. Am besten probierst Du die Möglichkeiten einfach mal selbst aus.

Copilot Vision in Microsoft Edge

Auch im Internetbrowser kannst Du den KI-Chat aufrufen und so Fragen zu aufgerufenen Webseiten eingeben kannst. Das klappt übrigens schon seit der Veröffentlichung von Copilot, und zwar bequem in der Randleiste von Microsoft Edge.

Neu ist, dass der Sprach-Chat jetzt auch die Funktion Copilot Vision enthält. So rufst Du sie auf:

1. Klicke rechts oben im Browser auf das Copilot-Icon. Damit öffnest Du Copilot in der angedockten Seitenleiste.

2. Das Icon mit der Brille siehst Du hier auf Anhieb nicht. Klicke deshalb zunächst unten rechts im Eingabefeld auf das Mikrofon-Symbol.
3. Die Randleiste wird ausgeblendet. Stattdessen erscheint unten am Bildschirmrand wieder das kleine Menü für den Sprach-Chat – hier dann auch mit der kleinen Brille. So kannst Du Copilot Vision jederzeit deaktivieren bzw. wieder einschalten.

Magst Du die Stimme von Copilot nicht? Klicke unten rechts auf das Zahnrad, um eine andere Sprachausgabe auszuprobieren.

Wie schon beschrieben: Du kannst nun mit der KI über den Text auf der Webseite diskutieren oder um weiterführende Infos bitten. Copilot durchsucht den ganzen Inhalt, hebt erwähnte Passagen hervor und springt bei Bedarf zu den passenden Stellen.

Wenn Du den Sprach-Chat deaktivierst, erscheint einfach rechts im Browser die angedockte Seitenleiste wieder.

Copilot Vision auf mobilen Geräten (Smartphone, iPad & Co.)

Ich habe mich sehr gefreut, dass Copilot Vision direkt auch in den mobilen Apps zur Verfügung steht. Beim Testen und Ausprobieren hatte ich jedenfalls viel Freude.

Die meisten Smartphones und Tablets haben ja eine eingebaute Kamera. So kannst Du der KI einfach ein Produkt, eine Sehenswürdigkeit, ein Werkzeug oder einen anderen Gegenstand zeigen und live Fragen dazu stellen. Auch hier antwortet Copilot in Echtzeit.

1. Stelle sicher, dass die passende App auf Deinem Gerät installiert und aktualsiert ist. Copilot Vision steckt bislang nur in der App für Privatpersonen, nicht in der App Microsoft 365 Copilot für Business- und Schullizenzen.
2. Melde Dich in der App mit Deinem persönlichen Microsoft-Konto an.
3. Tippe rechts unten im Eingabefeld auf das Brillen-Icon, um Copilot Vision zu starten.
4. Kamera und Mikrofon sind sofort aktiviert – sofern Du die Nutzung auf Deinem Gerät zugelassen hast.

Auf dem iPad gibt es noch eine zusätzliche Option: Wenn Du etwas länger auf das Brillen-Icon tippst, kannst Du statt der Kamera Deinen Bildschirm freigeben – also ähnlich wie auf dem Windows-PC.

Testen, lernen, ausprobieren!

Ich bin sehr gespannt, wie sich die „Sehfähigkeiten“ des Chatbots noch entwickeln werden. Schon jetzt erkennt Copilot ziemlich treffsicher, was ich auf meinem Bildschirm und vor der Kamera zeige.

Sogar Gesichtsausdrücke und Stimmungen interpretiert die KI erstaunlich gut. Wenn Dir das nicht zu unheimlich ist, dann probiere das doch einfach mal selbst aus.

Für welche Zwecke nutzt Du Copilot Vision? Bei welchen Aufgaben hat Dir diese neue Funktion helfen können? Schreibe Deine Erfahrungen doch gerne mal als Kommentar unter diesen Beitrag.