作者：周兆靖 , 英特尔高级应用工程师 Contents1.本文目的 2.优化推理响应的策略 优化策略一：使用模型缓存减少模型编译时间 优化策略二：在PERFORMANCE_HINT中选择Latency模式 优化策略三：优先选择CPU硬件进行推理 优化策略四：GPU推理时应用AUTO Plugin 优化策略五：权衡是否使用NNCF量化的低精度模型 优化策略六：将ONNX模型转换为IR模型进行推理
openlab_96bf3613
1年前
作者：英特尔边缘计算创新大使 黄明明 简介 《OpenVINO™ Java API 详解与演示》发布后，很多读者询问如何从零开始搭建在Windows平台上搭建OpenVINO™ Java开发环境？本文将从零开始详细介绍环境搭建的完整步骤，环境搭建完毕后，再使用Java语言来对OpenVINO™ Java API 环境进行简单测试，并验证其可行性。 安装Java运行环境 Java是一门面向对象的编程
openlab_96bf3613
1年前
作者：英特尔边缘计算创新大使 颜国进前言英特尔公司发行的模型部署工具OpenVINO™模型部署套件，可以实现在不同系统环境下运行，且发布的OpenVINO™ 2023最新版目前已经支持MacOS系统并同时支持在苹果M系列芯片上部署模型。在该项目中，我们将向大家展示如何在MacOS系统、M2芯片的Macbook Air电脑上，展示使用OpenVINO™ C++ API 部署深度学习模型。1.1 O
openlab_4276841a
1年前
三步完成在英特尔独立显卡上量化和部署ChatGLM3-6B模型
作者: 英特尔边缘计算创新大使 刘力；1.1 ChatGLM3-6B简介ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在填写问卷进行登记后亦允许免费商业使用。引用自：https://github.com/THUDM/ChatGLM3请使用命令，将ChatGLM3-6B模型下载到本地(例如，保存
openlab_4276841a
1年前
英特尔AI开发板上用OpenVINO NNCF优化YOLOv7，2.15倍性能提升
作者：康瑶明 英特尔边缘计算创新大使YOLO代表“You Only Look Once”，它是一种流行的实时物体检测算法系列。最初的YOLO物体检测器于2016年首次发布。从那时起，YOLO的不同版本和变体被提出，每个版本和变体都显着提高了性能和效率。YOLO算法作为one-stage目标检测算法最典型的代表，其基于深度神经网络进行对象的识别和定位，运行速度很快，可以用于实时系统。YOLOv7 是
openlab_4276841a
1年前
