免费企业网站认证,seo全国最好的公司,新津县网站建设,旅游门票做的最好的是哪个网站导读
2023年以ChatGPT为代表的大语言模型横空出世#xff0c;它的出现标志着自然语言处理领域取得了重大突破。它在文本生成、对话系统和语言理解等方面展现出了强大的能力#xff0c;为人工智能技术的发展开辟了新的可能性。同时#xff0c;人工智能技术正在进入各种应用领…导读
2023年以ChatGPT为代表的大语言模型横空出世它的出现标志着自然语言处理领域取得了重大突破。它在文本生成、对话系统和语言理解等方面展现出了强大的能力为人工智能技术的发展开辟了新的可能性。同时人工智能技术正在进入各种应用领域在智慧城市、智能制造、智慧医疗、智慧农业等领域发挥着重要作用。
柴火创客2024年将依托母公司Seeed矽递科技在人工智能领域的创新硬件与全球创客爱好者共建“模型仓”通过“SenseCraft AI”平台可以让使用者快速部署应用体验人工智能技术
本期介绍模型案例| 手机识别模型
RT-DETR
RT-DETR是基于DETR架构的端到端对象检测器完全消除了对NMS的需求。通过这样做RT-DETR显着减少了之前基于卷积神经网络CNN的对象检测器如YOLO系列的延迟。它结合了强大的主干、混合编码器和独特的查询选择器可以快速准确地处理特征。 RT-DETR架构的关键组件
Backbone网络通常采用高效的卷积神经网络CNN作为特征提取的基础例如ResNet或EfficientNet以获取图像的多尺度特征。从主干RT-DETR提取三个级别的特征- S3S4和S5这些多尺度特征有助于模型理解图像的高级和细粒度细节。 Transformer编码器-解码器RT-DETR中使用了Transformer的编码器-解码器结构该混合编码器包括两个主要部分基于注意力的尺度内特征交互AIFI和跨尺度特征融合CCFF。
基于注意力的尺度内特征交互AIFI
这个组件的核心思想是利用自注意力机制在同一尺度内进行特征交互。AIFI能够让模型有效地捕捉同一尺度特征图中各个位置之间的关系。
具体而言AIFI通过计算特征的注意力权重使得模型能够关注到重要的区域并抑制冗余信息从而增强对目标的定位和表征能力。
这种尺度内的交互有助于在相似尺寸的物体之间建立联系提高对密集目标的检测能力。 跨尺度特征融合CCFF
CCFF负责整合来自不同尺度的特征以便于模型能够从多层次的信息中获得更全面的上下文。这一过程通常涉及将来自不同尺度的特征图进行融合通过卷积操作、上采样或下采样等方式将这些特征进行对齐并结合在一起。
CCFF不仅允许模型综合不同尺度特征的优势还能提高对各种大小目标的检测能力。 多尺度特征金字塔RT-DETR通常会借助特征金字塔网络FPN来融合来自不同层次的特征以加强对不同大小目标的检测能力。
目标查询Object Queries解码器使用的目标查询是关键组件它们用于引导模型对目标的检测允许模型在生成检测结果时关注不同的潜在目标。
类别和边界框回归在解码器中RT-DETR通过类别预测和边界框回归来输出目标的类别和位置。 高效的训练策略RT-DETR往往结合了一些改进的训练策略如动态图损失Dynamic Loss和图像增强技术以提高模型的收敛速度和检测精度。
后处理如NMS非极大值抑制处理步骤以去除冗余的检测框和优化最终的检测结果。 手机识别模型 该 AI 模型由 Swift yolo 算法生成专为 Seeed Studio Grove Vision AI V2 设备设计能够高效识别和检测到手机。
应用场景
该模型适用于多种应用场景包括零售、安全、公共空间监控和个人监督。
在零售业该模型可以实时监控手机库存帮助员工及时补货
在安全方面它可以帮助识别和跟踪丢失或被盗的手机
在个人监督很多大学学生上课玩手机可以通过此模型进行监控。 在Grove - Vision AI V2模块上部署此模型
打开SenseCraft AI平台如果第一次使用请先注册一个会员账号还可以设置语言为中文。
平台地址https://sensecraft.seeed.cc/ai/#/model 2、在顶部单击【预训练模型】菜单在公共AI模型列表中找到【手机检测】模型单击此模型图片如下图所示。 3、进入【手机检测】模型介绍页面单击右侧的“部署模型”按钮如下图所示。 进入部署手机检测模型页面按提示步骤先连接摄像头再连接设备到电脑USB接口上最后单击【连接设备】按钮如下图所示。 5、弹出部署模型窗口单击“确定”按钮如下图所示。 6、弹出连接到串行端口窗口选择端口号后单击“连接”按钮如下图所示。 7、开始进行模型部署、固件下载、设备重启等过程完成后在预览中即可看到当前摄像头视频内容将摄像头对准手机图片查看预测效果如下图所示。 原型设计
利用此手机识别模型设计一个桌面手机监控装置此装置在检测到有人用手机时会点亮led模块也可改为蜂鸣器模块进行报警这样就有了一个防沉迷手机检测装置。 下面是视频演示 手机识别模型 Grove Al视觉模块 V2套装介绍 Grove Al视觉模块 V2 OV5647-62摄像头
Grove - Vision Al Module V2是一款拇指大小的人工智能视觉模块, 配备Himax WiseEye2 HX6538处理器, 该处理器采用 ArmCortex-M55双核架构。
它具有标准的CSI接口, 并与树莓派相机兼容。它有一个内置的数字麦克风和SD卡插槽。它非常适用于各种嵌入式视觉项目。
有了SenseCraft Al算法平台, 经过训练的ML模型可以部署到传感器, 而不需要编码。它兼容XIAO系列和Arduino生态系统, 是各种物体检测应用的理想选择。
主要硬件配置
- 板卡基于WiseEye2 HX6538处理器, 采用双核ARM Cortex-M55架构
- 配备集成Arm Ethos-U55微神经网络加速单元, 兼容的树莓派相机
- 板载PDM麦克风, SD卡插槽, Type-C, Grove接口, 丰富的外设支持样机开发
- Seeed Studio XIAO的可扩展性, SenseCraft Al的现成AI模型用于无代码部署。
- 支持各种有效的模型, 包括MobilenetV1、MobilenetV2、 Eficientnet-Lite、Yolov5和Yolov8.
写在最后
SenseCraft-AI平台的模型仓数量还很少但是好消息是它支持自定义模型上传并输出推理结果平台会逐渐增加模型仓的数量敬请关注
