千元开发板，百万可能：OpenVINO™ 助力谷歌大语言模型Gemma 实现高速智能推理
作者：武卓博士，英特尔 AI 软件布道师 大型语言模型（LLM）正在迅速发展，变得更加强大和高效，使人们能够在广泛的应用程序中越来越复杂地理解和生成类人文本。谷歌的 Gemma 是一个轻量级、先进的开源模型新家族，站在 LLM 创新的前沿。然而，对更高推理速度和更智能推理能力的追求并不仅仅局限于复杂模型的开发，它扩展到模型优化和部署技术领域。OpenVINO™ 工具套件因此成为一股引人注目的力量，
openlab_96bf3613
1年前
开发者实战 | OpenVINO™ 协同 Semantic Kernel：优化大模型应用性能新路径
作者：杨亦诚 【摘要】作为主要面向 RAG 任务方向的框架，Semantic Kernel 可以简化大模型应用开发过程，而在 RAG 任务中最常用的深度学习模型就是 Embedding 和 Text completion，分别实现文本的语义向量化和文本生成，因此本文主要会分享如何在 Semantic Kernel 中调用 OpenVINO™ runtime 部署 Embedding 和 Text
openlab_96bf3613
1年前
作者：英特尔创新大使 刘力1.1 Qwen-7B-Chat简介Qwen-7B-Chat是阿里云通义千问系列中的一个专门针对聊天场景优化的模型版本，其参数规模同样为70亿（7B）。该模型继承了通义千问大模型的基本架构和特性，通过针对性的数据训练和调整，增强了在开放性对话和闲聊方面的表现能力。相比通义千问7B通用模型，7B-Chat更加擅长进行自然流畅的多轮交互式对话，适用于社交机器人、客服系统等应用
openlab_96bf3613
1年前
OpenVINO™ Java API 应用RT-DETR做目标检测器实战
作者：英特尔边缘计算创新大使 黄明明 简介 本文将从零开始详细介绍环境搭建的完整步骤，我们基于AlxBoard为硬件基础实现了Java在 Ubuntu 22.04 系统上成功使用OpenVINO™ Java API，并且成功运行了RT-DETR 实现实时端到端目标检测器AI任务。项目中所使用的代码已上传至 OpenVINO™ Java API 仓库中，GitHub 网址为：https://gith
openlab_96bf3613
1年前
作者：阿里云技术专家 何淋波 什么是OpenYurt？OpenYurt是业界首个非侵入的云边协同的云原生平台，master组件部署在云端，可以方便的管理分散的边缘机器和设备。OpenYurt架构如下所示：图中白色框是原生K8s组件，橙色框中表示的是OpenYurt组件。从架构图可以清晰的看出其设计理念，一是：OpenYurt没有对K8s做任何修改，同时OpenYurt很容易集成与被集成，比如通过集
openlab_96bf3613
1年前
