在 Microsoft AI PC 发布会上,微软宣布了 Windows Copilot Runtime。Windows Copilot Runtime 可主力开发者为应用集成各种 AI 能力。
Windows Copilot Runtime 包含以下部分:
- Applications and Experiences:横跨 Windows Shell、Win32 应用和网页应用
- Windows Copilot Library:包含一系列 API 和算法,由 40 多个本地模型驱动
- AI frameworks + toolchain:包含 DirectML, ONNX Runtime, PyTorch, WebNN、Olive, AI Toolkit for Visual Studio Code 等一系列 AI 模型和工具链
基于 Windows Copilot Runtime 的新体验包括:
- Windows Recall(回想):允许用户通过自然语言搜索任何在 PC 上的内容。包括:具体文件、具体图片、具体网页、具体聊天内容等。
- Cocreator:协作式 AI 图片生成工具,可在本地运行,用户可通过自然语言来让 AI 进行传作辅助。
- 风格重绘:能帮助更改照片风格及照片编辑
- 其他:Windows Studio Effects,实时字幕(增强),视频/音频实时翻译(支持 40+ 语言)
Windows Copilot Library 的一系列 AI 相关 API 包括:Studio Effects、实时字幕、OCR、Recall with User Activity、Phi Silica( 6 月向开发者开放)。后续还会加入: 向量嵌入、检索增强生成、文本摘要等。
微软还将使用 Windows 语意检索来重新定义 Windows 搜索,Windows Recall 体验就由 Windows 语意检索驱动,通过 Windows 语意检索能够,用户可以使用自然语言来访问由 Windows Recall(回想) 体验记录的内容。
通过向量嵌入及检索增强生成 API 能让第三方应用提供增强版的应用搜索体验。
其他有关 Windows Copilot Runtime 的介绍可以查看这里:Unlock a new era of innovation with Windows Copilot Runtime and Copilot+ PCs