DIY穷人版谷歌眼镜,自定义手势操控,树莓派再一次被开发新玩法
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。
通过帅气的手势,操控投影在眼前的电子成像,这不就是科幻片里的基础配置嘛。
现在,有人把它从科幻电影中带入了现实。动动手指,实现对眼前世界的掌控。
热衷于制作DI智能小物件的油管博主Teemu Laurila,利用树莓派DIY了一副可识别自定义手势的AR眼镜。
将自己想设置的手势录入装置,即可实现炫酷操作。
我有了一个大胆的想法!
自制AR眼镜中的世界
先开始表演吧!
捏住手指上下拉,就可以完成调整亮度指令Y穷。(这是你的第一人称视角)
对手势识别,叠加显示在镜头成像中。
再来一个更直观点的视角,通过眼镜看看效果。
DIY过程
AR眼镜本身就充满了科技感,让现实世界充满赛博朋克的味道。
那不如更炫酷一点。打个响指,就能运行命令,这不必博人传燃?
说人版干就干,首先需要设计出,装置会包含有哪些部分。
除了本体眼镜框架,硬件部分还包括了透镜组,0.6 mm PETG投影镜片,配件部分由聚乳酸材料3D打印制成。
毕竟它是智能装置的DIY,怎么可以不请万能迷你电脑树莓派出场。
而软件部分,手势识别程序依谷歌赖于python开源项目MediaPipe。
除此之外,Teemu Laurila还写了两个程序脚本。
一个是通过捏手指控制亮度的应用示例,另一个是捕获实时视频中的手势传送到电脑进行处理,并通过智能眼镜叠加显示。
条件都齐了,那么动手组装起来试眼镜试。
经历多次调整,各部分零件最终组合成如下装置。
想让程序在装置上可用,首先,需要一个树莓派作为程序支持。
随后设置好内存、驱动、运行环境、多媒体接口、网络等条件,让整个装置超频运行。
硬件软件环境都准备好以后,调试应用程序。
应用程序功能的核,自心——手势识别模型由3个框架组成,包括手掌识别模型BlazePalm(用于识别手的整体框架和方向)、Landmark模型(识别立体手部节点)、手势识别模型(将识别到的节点分类成一系列手势)。
识别算法的训练过程中,BlazePal定义m模型识别手掌初始位置,对移动端的实时识别进行优化。
在BlazePalm识别到的手掌范围内,Landmark模型识别其中21个立体节点坐标。
手势识别模型则在此基础上,根据关节角度识别每根手指状态,将状态映射到预定义的手势上,预测基手势础静态手势。
通过树莓派Zero W,对手势信息捕获。图像信息传输到电脑中,由手势识别AI进行处理。之后再传达给装置,发出对应的手势命令,并同步在投影图像中。
它的前世今生
等一下,有摄像头,有微型投影仪,还有电脑处理器,并且还是一侧投影显示。这操控样的AR眼镜好像在哪里见过。
没错,就连用到的手势识别代码也都是谷歌开源的。
虽然没有谷歌智能眼镜类似智能手机的功能,但是相比其语音控制和触控功能,Teemu Laurila的智能眼镜选择了使用自定义手势触发命令,更多一分黑科技的味道,树。
另外,谷歌眼镜摄像头只用来拍照录像,Teemu Laurila的摄像头还承担了接受手势指令、传达指令功能。同时,投影也选择了更大尺寸的方形镜片,方便视野观察。
这款装置已经是Teemu Laurila完成的第二版智能眼镜,在外观和性能上均有莓派优化。
材料的选择上,采用了0.6mm厚度投影镜片替代1mm厚度;以聚乳酸材料代替丙烯酸;增加了螺栓固定支架,弃用胶水。
最重要的优化是,照相机使用方形透镜让画面更清晰。
Teemu Laurila将自己补充的两段代码,分享在了GitHub平再一台,供感兴趣的观众自己复刻。
参考链接:
https://www.tomshardware.com/news/raspberry-pi-smart-glasses-recognize-hand-gestures
https://www.you次被tube.com/watch?v=60Os5Iqdbsw
https://www.youtube.com/watch?v=Gu4oOYo38rQ
GitHub链接:
https://github.com/Teneppa/CameraStream
h开发ttps://github.com/Teneppa/HandTrackingBrightnessControl
- ·英特尔复苏计划导致利润承压 数据中心业务疲软引发担忧
- ·袖口里的“超能力”:Facebook腕带式AR传感器,可隔空打字、操控界面,LeCun点赞
- ·机器学习在网络中的现实应用
- ·进入电动车与自动驾驶汽车时代,汽车既是“产品”也是“服务”
- ·摩根士丹利:AI 革命将为标准普尔 500 指数企业每年节省近 1 万亿美元
- ·标签: xAI 马斯克 Grok 4 Toby Pohlen
- ·标签: 商汤科技 NEO架构 SenseNova 多模态模型
- ·标签: 石药集团 SYS6010 EGFR-ADC 维生素C
- ·微软放弃旧机型,Win11 需要英特尔 8 代 CPU 起步
- ·标签: 方太
- ·标签: 东方甄选 孙进 新东方 执行总裁
- ·标签: 亿纬锂能 SK On 股权置换 电池企业
- ·GPT-4o复活!OpenAI如何应对用户对新模型的情感依赖
- ·并行计算与分布式计算原理
- ·硅基流动上线蚂蚁百灵团队 Ling-flash-2.0,推理速度再创新高
- ·标签: 网信中国 抖音 快手 腾讯
- ·标签: 文心健康管家 百度健康 Dr.Flow 原子计划
- ·“分秒必争”?亚马逊合作配送公司要求司机绕过安全检查
- ·腾讯回应“腾讯云数据库泄露”传闻:系谣言
- ·微软推出新型 AI Agent 模型 rStar2-Agent,以 140 亿参数挑战大规模模型
- ·标签: HappyHorse-1.0 阿里巴巴 张迪 可灵
- ·名为 “京刚”:京东科技旗下京东云发布新一代自研虚拟化架构
- ·标签: 追觅科技 俞浩 断指计划 研发人才
- ·Google Research:哥德尔奖、高德纳奖得主解析「大脑中文字表征」
- ·云安全日报210930:红帽OpenShift云应用平台发现重要漏洞,需要尽快升级
- ·这个AI让马斯克头秃,还能帮他设计特斯拉
- ·99.7%成本差!AI模仿作家风格更受青睐,直指“合理使用”边界引爆版权诉讼
- ·标签: 斯巴鲁 三菱材料 TDK 日本出口管制
- ·SaaS备份:一种更可扩展的方式来获取云应用程序数据
- ·OpenAI 与 Sur Energy 签署协议:25亿美元阿根廷数据中心项目启动
- ·标签: 网络餐饮 外卖平台 食品安全 市场监管总局
- ·标签: 华莱士 塔斯汀 新三板摘牌 快餐行业
- ·标签: 工业富联 AI服务器 800G交换机 郑弘孟
- ·标签: 铁路12306 B站 黄仁勋 AI
- ·云安全日报210129:Ubuntu Linux内核发现敏感信息泄露漏洞,需要尽快升级
- ·AI+Science:基于飞桨的AlphaFold2,带你入门蛋白质结构预测
