OpenVINO™ 2024.4 | 支持新一代英特尔®酷睿™ Ultra 处理器，持续提升 GPU 上 LLM 性能
作者 | Yury Gorbachev 英特尔院士 OpenVINO™ 产品架构师 Whiteny Foster OpenVINO™ 产品专家 翻译 | 武卓 博士 英特尔 OpenVINO™ 布道师 本次新版本在整个 OpenVINO™ 产品系列中引入了重要的功能和性能变化，使大语言模型 （LLM） 的优化和部署在所有支持的场景中更容易、性能更高，包括边缘和数据中心环境的部署。 在客户端，在之前
openlab_96bf3613
8月前
【有奖征文】EdgeX + OpenVINO 实现边缘智能 AI 应用
架构设计图 本系统设计硬件设计采用 Intel® CPU(iGPU) + GPU[可选] ，CPU 必须为 Intel® 架构，独立 GPU 可根据实际需要灵活扩展。 本系统全部采用 Docker 微服务运行，描述如下： 图例中，① 作为 AI 推理服务器，运行 OpenVINO™ Model Server 容器； 图例中，② 作为流媒体服务器，负责流媒体的编解码，实时查看视频流，运行亿琪软件产品
openlab_96bf3613
9月前
【哪吒开发板试用】基于哪吒开发套件开发LLM + RAG应用
关于哪吒开发板 哪吒（Nezha）开发套件以信用卡大小（85 x 56mm）的开发板-哪吒（Nezha）为核心，采用英特尔®处理器 N97（Alder Lake-N），结合了高性能和低功耗的特性。它支持四核 SoC，时钟频率高达 3.60GHz，TDP 仅为 12W。 其内置 GPU 用于 高分辨率显示。哪吒保持了 85mm x 56mm 信用卡大小的外形尺寸，与树莓派相同，包括高达 8GB 的
openlab_96bf3613
9月前
【哪吒开发板试用】（三）使用OpenVINO™ Model Server在哪吒开发板上部署模型
之前分享了哪吒开发板Ubuntu22.04系统的安装和基于OpenVINO(C++)推理Transformer模型的过程，这篇文章分享一下如何通过OpenVINO™ Model Server将模型部署在开发版上。OpenVINO™ Model ServerOpenVINO™ Model Server(OVMS)是一个高性能的模型部署系统，使用C++实现，并在Intel架构上的部署进行了优化，使用O
openlab_96bf3613
9月前
【哪吒开发板试用】（二）在iGPU上使用OpenVINO(C++)推理Transformer模型
上篇文章分享了哪吒开发板的开箱和Ubuntu22.04系统的安装，这篇文章将分享一下我使用哪吒开发板在iGPU上使用OpenVINO(C++)推理Transformer模型的过程。OpenVINO配置在OpenVINO官网下载linux版本的压缩包到开发板上将压缩包解压<span style="background-color:#282c34"><span style="color:#abb2bf
openlab_96bf3613
9月前
