在生成式AI崛起的浪潮中，NVIDIA Jetson Orin NX 作为一款强大的嵌入式AI计算平台，为在边缘端运行大模型提供了理想的硬件支持。本文将介绍如何在 Leetop Jetson Orin NX 解决方案上部署 NanoOWL大模型并提供了详细步骤。
在开始之前，请确保你已经完成以下准备工作：
一、获取硬件（一套ALP-606）
我们准备一套LEETOP的ALP-606（配置Jetson Orin NX 16G核心板）边缘计算终端和摄像头，并且正确安装操作系统及软件
二、配置ALP-606
连接 Alp-606 到计算机(Ubuntu 20.04)，并使用 SDK Manager 完成初始配置。确保 JetPack 和所需的软件库已经正确安装。
三、安装依赖库
在 Jetson Orin NX 上运行以下命令安装所需的依赖库：
1.安装依赖库
sudo apt-get update sudo apt-get install libhdf5-serial-dev \ hdf5-tools \ libhdf5-dev \ zlib1g-dev \ zip \ libjpeg8-dev \ liblapack-dev \ libblas-dev \ gfortran |
2.安装和升级pip3工具
sudo apt-get install python3-pip sudo python3 -m pip install --upgrade pip sudo pip3 install -U testresources setuptools==65.5.0 |
3.安装python依赖包
sudo pip3 install -U numpy==1.22 \ future==0.18.2 \ mock==3.0.5 \ keras_preprocessing==1.1.2 \ keras_applications==1.0.8 \ gast==0.4.0 \ protobuf \ pybind11 \ cython \ pkgconfig \ packaging \ h5py==3.6.0 |
4.安装tensorflow
sudo pip3 install --extra-index-url https://developer.download.nvidia.com/compute/redist/jp/v512 tensorflow==2.12.0+nv23.06 |
接下来我们就开始在ALP-606上快速部署NanoOWL算法
1.配置jetson_contain
git clone https://github.com/dusty-nv/jetson-containers cd jetson-containers sudo apt update; sudo apt install -y python3-pip pip3 install -r requirements.txt |
2.运行脚本拉取docker镜像并进入nanoowl的docker环境
cd jetson-containers ./run.sh $(./autotag nanoowl) |
等待拉取nanoowl的docker镜像，成功后会自动进入docker环境
3.运行NanoOWL算法example
cd examples python3 owl_predict.py \ --prompt="[an owl, a glove]" \ --threshold=0.1 \ --image_encoder_engine=../data/owl_image_encoder_patch32.engine |
运行成功生成/opt/nanoowl/data/owl_predict_out.jpg文件
4.运行NanoOWL算法树型预测demo (Live Camera)
## 查看docker环境里的USB摄像头节点，根据具体设备号修改tree_demo.py ls /dev/video* ## 运行demo python3 tree_demo.py ../../data/owl_image_encoder_patch32.engine |
等待模型加载，加载成功如下图所示
5.在PC主机或者ALP-606上打开浏览器进入http://<ip address>:7860
可以看到摄像头的实时画面，在下方编辑栏内填入想要识别的物体种类名称，如
[a face [a nose, an eye, a mouth]]或[a chair [a cellphone]]
此时会在实时画面上能看到想要识别的目标框
结论
通过这个简单的指南，你已经可以成功地在 Jetson Orin NX 上部署 NanoOWL 大模型。在实际生产环境中，确保进行性能优化和安全性评估，以满足您的实际应用需求。
希望这篇指南对您在Jetson Orin NX上部署大模型有所帮助。
leetop 提供一系列支撑边缘计算和大模型部署的众多方案 ，并支持产品定制化
如果您有任何需求或者疑问和反馈，欢迎在评论中留言或者直接联系我们.
GTC 2024 将于 2024 年 3 月 18 至 21 日在美国加州圣何塞会议中心举行，线上大会也将同期开放。扫描下方海报二维码，立即注册 GTC 大会。