5分钟利用 OpenVINO™ 部署 Qwen2.5

作者: 杨亦诚 英特尔 AI 软件工程师 Qwen2.5 是阿里通义团队近期最新发布的文本生成系列模型,基于更富的语料数据集训练,相较于 Qwen2,Qwen2.5 获得了显著更多的知识(MMLU:85+),并在编程能力(HumanEval 85+)和数学能力(MATH 80+)方面有了大幅提升。 此外,新模型在指令执行、生成长文本(超过 8K 标记)、理解结构化数据(例如表格)以及生成结构化输出

openlab_96bf3613 9月前
4048 0 0

开发者实战丨如何利用 OpenVINO™ 部署 Phi-3.5 全家桶

作者 | 杨亦诚 英特尔 AI 软件工程师、卢建晖 微软高级云技术布道师 近期微软发布其最新的 Phi-3.5 系列 SLM 模型, Phi-3.5-mini, Phi-3.5-vision, 以及 Phi-3.5-MoE,其中 Phi-3.5-mini 增加了多语种以及128k上下文长度的支持,提升中文输入的使用体验;Phi-3.5-vision 全面支持多图片理解任务,拓宽了其在视频理解任务类

openlab_96bf3613 9月前
2984 0 0

Intel AI Summit上海站顺利举办,边缘AI技术与开发套件融合推动行业革新与应用拓展

会议视频(https://pan.baidu.com/s/1wIrA_XkhTv_9hRDem-j_9Q?pwd=2mfx)9月6日,“智汇前沿·赋能行业”Intel AI Summit在上海圆满举行。本次活动由英特尔主办,并得到了信步科技、冰鲸科技、研扬科技、控道智能科技、极视角科技、亿琪软件、鸿陆科技及InnoSpace等多家支持,本次峰会聚焦于边缘AI技术和开发套件的融合应用,旨在通过深入的

openlab_96bf3613 9月前
2904 0 0

从未想象构建本地大语言模型应用会如此简单

概述 目前OpenVINO™ 2024.3 最新版本现已开放下载!OpenVINO™一直致力于各项性能的研发,不断优化用户体验,拓宽 OpenVINO™ 的功能边界,让AI能够更加简单! 在当今时代,生成式 AI 正被应用程序设计人员以惊人的速度广泛应用。这种应用不仅体现在传统的 REST API 形式上,即通过商业云服务模型来实现,而且在客户端和边缘领域也日益凸显。如今,越来越多的数据在客户端

openlab_96bf3613 9月前
2748 0 0

用OpenVINO™+vLLM在酷睿™ Ultra处理器上部署大语言模型(LLMs)丨开发者实战

作者:东莞职业技术学院 虞晓琼 博士 前面已介绍使用Optimum Intel工具包,OpenVINO GenAI Python API和OpenVINO GenAI C++API来部署大语言模型,本文将介绍在酷睿™ Ultra处理器上使用OpenVINO™ +vLLM部署大语言模型 (LLM*****r/>1. vLLM简介 vLLM是一个由加州大学伯克利分校开发的用于快速实现的大语言模型 (

openlab_96bf3613 9月前
3436 0 0