Erste Schritte mit KI-gesicherten APIs in Ihrer Windows-App

  • Artikel

Windows Copilot Runtime bietet eine Vielzahl von KI-gesicherten APIs, die als Windows Copilot Library bezeichnet werden, mit denen Sie KI-Features nutzen können, ohne ihr eigenes Machine Learning(ML)-Modell finden, ausführen oder optimieren zu müssen. Die Modelle, die Windows Copilot Library nutzen und passiv auf dem Gerät verwenden können, um KI-Features auf Copilot+ PCs zu aktivieren.

Verwenden lokaler AI-gesicherter APIs, die in der Windows Copilot Library verfügbar sind

Windows Copilot Library enthält diese AI-gesicherten APIs, die von Modellen unterstützt werden, die lokal ausgeführt werden, direkt auf dem Windows-Gerät:

  • Phi Silika: Die Phi-Silikadikat-API ist als Teil des Windows App SDK verfügbar. Ähnlich wie das GPT Large Language Model (LLM) von OpenAI, das ChatGPT unterstützt, ist Phi ein von Microsoft Research entwickeltes Small Language Model (SLM), um Sprachverarbeitungsaufgaben auf einem lokalen Gerät auszuführen. Phi Silica wurde speziell für Windows-Geräte mit einer Neural Processing Unit (NPU) entwickelt, sodass Textgenerierungs- und Unterhaltungsfunktionen direkt auf dem Gerät direkt auf dem Gerät ausgeführt werden können.

  • Text Recognition mit OCR: Die Text Recognition-API (auch als optische Zeichenerkennung oder OCR bezeichnet) ist als Teil des Windows App SDK verfügbar. Diese API ermöglicht die Erkennung von Text in einem Bild und die Konvertierung verschiedener Dokumenttypen, z. B. gescannte Papierdokumente, PDF-Dateien oder Bilder, die von einer Digitalkamera erfasst werden, in bearbeitbare und durchsuchbare Daten auf einem lokalen Gerät.

  • Studio Effects: Windows-Geräte mit kompatiblen Neural Processing Units (NPUs) integrieren Studio Effects in die integrierten Gerätekamera- und Mikrofoneinstellungen. Wenden Sie Spezialeffekte an, die KI verwenden, einschließlich: Hintergrund blur, Augenkontaktkorrektur, automatische Framing, Hochformatkorrektur, Kreative Filter oder Sprachfokus zum Filtern von Hintergrundgeräuschen.

  • Recall: Mithilfe von Recall können Benutzer schnell Dinge aus ihrer früheren Aktivität finden, z. B. Dokumente, Bilder, Websites und mehr. Entwickler können die Recall-Erfahrung des Benutzers mit ihrer App erweitern, indem sie kontextbezogene Informationen zur zugrunde liegenden Vektordatenbank mit der Benutzeraktivitäts-API hinzufügen. Diese Integration hilft Benutzern, an der Stelle, an der sie in Ihrer App aufgehört haben, aufzuholen, um das Engagement der App und den nahtlosen Fluss des Benutzers zwischen Windows und Ihrer App zu verbessern.

Mehr zu kommen, darunter Liveuntertitelübersetzungen, Semantiksuche, Generierung von Abruferweiterungen (RAG), Textzusammenfassung und Bild-Superauflösung.

Verwenden von cloudbasierten KI-gesicherten APIs in Ihrer Windows-App

Möglicherweise möchten Sie auch APIs verwenden, die Modelle in der Cloud ausführen, um KI-Features zu nutzen, die Ihrer Windows-App hinzugefügt werden können. Einige Beispiele für cloudbasierte KI-gesicherte APIs, die von Microsoft oder OpenAI angeboten werden, sind:

  • Fügen Sie Ihrer WinUI 3/Windows App SDK-Desktop-App OpenAI-Chat-Fertigstellungen hinzu: Ein Lernprogramm zum Integrieren der cloudbasierten OpenAI ChatGPT-Abschlussfunktionen in eine WinUI 3 /Windows App SDK-Desktop-App.

  • Fügen Sie IHRER WinUI 3/Windows App SDK-Desktop-App DALL-E DALL-E-Desktop-App DALL-E ein Lernprogramm zur Integration der cloudbasierten OpenAI DALL-E-Imagegenerierungsfunktionen in eine WinUI 3 /Windows App SDK-Desktop-App hinzu.

  • Erstellen Sie eine Empfehlungs-App mit .NET MAUI und ChatGPT: Ein Lernprogramm zum Erstellen einer Beispielempfehlungs-App, die die cloudbasierten OpenAI ChatGPT-Abschlussfunktionen in eine .NET MAUI-App integriert.

  • Fügen Sie IHRER .NET MAUI Windows-Desktop-App DALL-E DALL-E ein Lernprogramm zum Integrieren der cloudbasierten OpenAI DALL-E-Imagegenerierungsfunktionen in eine .NET MAUI-App hinzu.

  • Azure OpenAI-Dienst: Wenn Ihre Windows-App auf OpenAI-Modelle zugreifen soll, z. B. GPT-4, GPT-4 Turbo mit Vision, GPT-3.5-Turbo, DALLE-3 oder die Embeddings-Modellreihe, mit den zusätzlichen Sicherheits- und Unternehmensfunktionen von Azure, finden Sie Anleitungen in dieser Azure OpenAI-Dokumentation.

  • Azure AI Services: Azure bietet eine ganze Suite von AI-Diensten, die über REST-APIs und Clientbibliotheks-SDKs in beliebten Entwicklungssprachen verfügbar sind. Weitere Informationen finden Sie in der Dokumentation zu den einzelnen Diensten. Azure KI Services unterstützen Entwicklerinnen, Entwickler und Unternehmen bei der schnellen Erstellung intelligenter, hochmoderner, marktreifer und verantwortungsbewusster Anwendungen mit sofort einsatzbereiten, vorgefertigten und anpassbaren APIs und Modellen. Beispielanwendungen sind die Verarbeitung natürlicher Sprache für Unterhaltungen, Suche, Überwachung, Übersetzung, Sprache, Visions- und Entscheidungsfindung.

Überlegungen zur Verwendung lokaler und cloudbasierter KI-gesicherter APIs in Ihrer Windows-App

Bei der Entscheidung zwischen der Verwendung einer API in Ihrer Windows-App, die auf der lokalen Ausführung eines ML-Modells im Vergleich zur Cloud basiert, gibt es mehrere Vor- und Nachteile.

  • Ressourcenverfügbarkeit

    • Lokales Gerät: Das Ausführen eines Modells hängt von den ressourcen ab, die auf dem verwendeten Gerät verfügbar sind, einschließlich CPU, GPU, NPU, Arbeitsspeicher und Speicherkapazität. Dies kann begrenzt werden, wenn das Gerät keine hohe Rechenleistung oder ausreichendEn Speicher hat. Kleine Sprachmodelle (SLMs), wie Phi, eignen sich besser für die lokale Verwendung auf einem Gerät.
    • Cloud: Cloudplattformen wie Azure bieten skalierbare Ressourcen an. Sie können beliebig viel Rechenleistung oder Speicher verwenden und nur für ihre Nutzung bezahlen. Große Sprachmodelle (LLMs), wie die OpenAI-Sprachmodelle, erfordern mehr Ressourcen, sind aber auch leistungsstärker.

  • Daten, Datenschutz und Sicherheit

    • Lokales Gerät: Da Daten auf dem Gerät neu Standard werden, kann das lokale Ausführen eines Modells sicherer und privater sein. Die Verantwortung der Datensicherheit liegt auf dem Benutzer.
    • Cloud: Cloudanbieter bieten robuste Sicherheitsmaßnahmen, aber Daten müssen in die Cloud übertragen werden, was in einigen Fällen Datenschutzbedenken auslösen kann.

  • Barrierefreiheit und Zusammenarbeit

    • Lokales Gerät: Auf das Modell und die Daten kann nur auf dem Gerät zugegriffen werden, es sei denn, sie werden manuell freigegeben. Dies hat das Potenzial, die Zusammenarbeit an Modelldaten schwieriger zu machen.
    • Cloud: Auf das Modell und die Daten kann von überall aus mit Internetverbindung zugegriffen werden. Dies kann für Szenarien für die Zusammenarbeit besser sein.

  • Kosten

    • Lokales Gerät: Es gibt keine zusätzlichen Kosten, die über die anfängliche Investition im Gerät hinausgehen.
    • Cloud: Während Cloudplattformen mit einem pay-as-you-go-Modell arbeiten, können sich Die Kosten basierend auf den verwendeten Ressourcen und der Nutzungsdauer ansammeln.

  • Wartung und Updates

    • Lokales Gerät: Der Benutzer ist dafür verantwortlich, das System zu Standard und Updates zu installieren.
    • Cloud: Wartung, Systemupdates und neue Featureupdates werden vom Clouddienstanbieter behandelt, wodurch Standard Aufwand für den Benutzer reduziert wird.

Weitere Informationen zum lokalen Ausführen eines kleinen Sprachmodells im Vergleich zu einem großen Sprachmodell in der Cloud finden Sie unter "Lokales Ausführen eines SLM(Small Language Model)" im Vergleich zur Ausführung eines LLM (Large Language Model) in der Cloud.