香橙派andAtlas的集成远程推理

1.Atlas和香橙派集成实验的原地址如下:

香橙派AIpro的远程推理框架与实验案例_开发者活动_华为 (此视频的回放还未上传,且知识讲解)

基于Atlas200DK的远程推理集群平台搭建实验-昇腾社区

AIRemote: 适用于Atlas200DK推理应用的入门开发者。项目采用将模型推理与应用相解耦,把开发板抽象为AI模型推理的黑箱,构建了分布式远程推理框架,并提供了多种输入模态、多种输出方式以及多线程支持的高度复用工具,解决了开发板资源稀缺课程受限、环境配置复杂上手困难、缺乏可视化体验不好等难点问题,具有开发简洁、运行高效、部署灵活、风格一致等四大主要特点。

2.集群的目的:AI的学习,尤其是华为昇腾AI的学习面临着很多困难:学习者基础参差不齐,硬件条件不足够,上板困难等问题。

其次,做相关的集成可以为大家提供远程推理算力。我们可以解放我们的电脑,只需要在电脑上进行各种数据预处理,然后将AI推理交给专业的开发板。

最后,某些物联网项目就不需要带上开发板,只需要进行网络连接,可以大大减少体积散热供电等问题

但这个项目也有缺点:首先当使用一个项目的并发时,返回数据可能出现抖动的情况(因为先后关系),其次浮点数的转换也对数据的结果有较大的影响,以及其他位置问题。

3.具体方式如下:draw.io图如下


(画的有点垃圾,大家轻喷)

代码请参考网站。

Maker的大家只需配置PC端环境,即可开展推理应用开发、测试和运行。

Windows 安装配置说明

(1) 安装 Python

以下两种方式二选一即可,推荐第一种。

通过 MiniConda 安装

参考网址(https://docs.conda.io/en/latest/miniconda.html)。

Python version Name Size SHA256 hash

Python 3.9 点此下载 Windows 64-bit 58.1 MiB b33797064593ab2229a0135dc69001bea05cb56a20c2f243b1231213642e260a

直接通过安装包安装

Windows 安装包下载地址:https://www.python.org/ftp/python/ 下载。 执行安装文件,注意第一步中选择 注册环境变量。

(2) 安装 AiRemote 项目软件包

将本项目下载到本地目录,如: D:\airemote

启动 cmd.exe,执行以下命令:

python -V

确认python版本为3.9.x,执行以下相应命令:

pip3.9 install D:\airemote-master\quick-start\pyair-packages\inferemote-2.0.2-py39-none-win_amd64.whl

安装成功后,执行如下命令应输出 “2.0.2”。

python3.9 -c 'import inferemote;print(inferemote.__version__)

下面时风格转换的例子:

进入本项目主目录

D: cd D:\airemote-master\quick-start

转换摄像头采集的图片,可执行以下命令:

python styletransfer\test.py -r <IP> -m show -w 3 -i camera

运行采用毕加索模型的图像风格转换,使用指定视频文件:

python styletransfer\test.py -r <IP> -m show -w 3 -i D:\test.mp4

转换指定目录下的全部图片,如:D:\test_pictures,可执行以下命令:

python styletransfer\test.py -r <IP> -m show -w 3 -i D:\test_pictures

执行如下命令,可显示参数帮助信息,请自行探索更多功能!

python styletransfer\test.py -h

后续maker会以小程序的方式向大家分配远程推理服务,具体配置会在运维部分讲解,具体小程序使用会在开源硬件部分讲解

1 个赞