三步完成ChatGLM3-6B在CPU上的INT4量化和部署
作者: 英特尔边缘计算创新大使 刘力；1.1 ChatGLM3-6B简介ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在填写问卷进行登记后亦允许免费商业使用。引用自：https://github.com/THUDM/ChatGLM3请使用命令，将ChatGLM3-6B模型下载到本地：git c
openlab_4276841a
1年前
作者：杨亦诚背景随着生成式AI的兴起，和大语言模型对话聊天的应用变得非常热门，但这类应用往往只能简单地和你“聊聊家常”，并不能针对某些特定的行业，给出非常专业和精准的答案。这也是由于大语言模型（以下简称LLM）在时效性和专业性上的局限所导致，现在市面上大部分开源的LLM几乎都只是使用某一个时间点前的公开数据进行训练，因此它无法学习到这个时间点之后的知识，并且也无法保证在专业领域上知识的准确性。那有
openlab_4276841a
1年前
作者：伍增、邓书梦一、AI检质一体机简介：英特尔开发者套件AIxBoard是一款IA架构的人工智能嵌入式开发板，体积小巧功能强大。借助OpenVINOTM工具套件，CPU和iGPU都具备较为理想的AI推理能力。我司将AIxBoard与触摸屏及自研的AI视觉软件集成在一起，做成了Ro**art AI质检一体机，实物图如下所示。Ro**art AI质检一体机所具备部分自研算法已发表如下：基于 Open
openlab_4276841a
1年前
作者：辽宁科技大学 研究生 冯浩指导教师：英特尔边缘计算创新大使 深圳职业技术大学 副教授 张海刚1、背景介绍：公共安全问题日益凸显，传统安检手段面临挑战。为提高安检效率和保障公共安全，基于OpenVINO和AIxBoard的智能安检盒子应运而生。利用深度学习模型和X光图像处理技术，该设备能够实时识别危险物品并发出警报，为公共场所、机场等场景提供高效、准确的安检解决方案2、技术概述2.1 Ope
openlab_4276841a
1年前
作者：英特尔物联网行业创新大使 颜国进 一、前言大家好，我叫颜国进，现为英特尔边缘计算创新大使、百度飞桨开发者专家。回溯至2021年12月，那时的我，身为机械专业研一新生，仅在C和Python编程语言上有些许基础，对于深度学习的殿堂还只敢在门口窥探，对于OpenCV图像处理以及模型部署等技术更是所知甚少。然而，通过不懈的努力和对知识的执着追求，如今我已经能够娴熟地运用C++、C#等编程语言进行项目
openlab_4276841a
1年前
