cactus-compute/needle

在微型设备上实现高效的函数调用(工具使用)、设备操作和结构化数据提取,支持单次函数调用,运行速度极快(树莓派 5 上 500 tok/s,VR 设备 400-1500 tok/s,低端手机 300-700 tok/s)。

一句话商业模式

为嵌入式/物联网开发者解决在微型设备上部署 AI 智能体(函数调用),通过开源模型 Needle + Cactus 推理平台提供价值,主要依靠Cactus 推理平台的企业级部署和云端回退服务赚钱

商业模式画布

提供 14MB 的超轻量级模型,在微型设备上实现高效函数调用,性能与 5-70 倍大的模型相当,且开源可微调

评分解析

研究分 73

这是什么

是什么
一个 14MB 的超轻量级基础模型,专为资源受限的微型设备(手机、可穿戴设备、智能家居、机器人)设计,用于函数调用和结构化提取。
给谁用
面向嵌入式开发者、物联网设备制造商、智能家居/机器人/可穿戴设备开发者,以及希望将 AI 智能体部署到低端消费设备上的团队。
← 返回今日精选
C

cactus-compute/needle

在微型设备上实现高效的函数调用(工具使用)、设备操作和结构化数据提取,支持单次函数调用,运行速度极快(树莓派 5 上 500 tok/s,VR 设备 400-1500 tok/s,低端手机 300-700 tok/s)。

73

一句话商业模式

为嵌入式/物联网开发者解决在微型设备上部署 AI 智能体(函数调用),通过开源模型 Needle + Cactus 推理平台提供价值,主要依靠Cactus 推理平台的企业级部署和云端回退服务赚钱

开发者工具AI开源边缘计算嵌入式团队 约 5-10 人(Cactus 团队,核心成员 Henry 和 Roman)发布 2026-02-24(GitHub 创建),Needle 2 发布于 2026-08-11 前后最后同步 2026-08-11

商业模式画布

Business Model Canvas · 9 大模块完整填涂

重要合作Key Partnerships
Google(Gemini 蒸馏)、TPU 云服务商(训练用 16 TPU v6e)、设备制造商(树莓派、Meta Quest、三星)
关键业务Key Activities
模型训练与优化、开源社区维护、Cactus 推理平台开发、论文发表
价值主张Value Propositions
提供 14MB 的超轻量级模型,在微型设备上实现高效函数调用,性能与 5-70 倍大的模型相当,且开源可微调
客户关系Customer Relationships
通过 GitHub Issues、Hacker News 讨论、技术博客与开发者互动,提供开源支持和微调指南
客户细分Customer Segments
嵌入式/物联网开发者、智能设备制造商、机器人公司、可穿戴设备厂商
核心资源Key Resources
开源模型 Needle、Cactus 推理平台、Simple Attention Networks 论文、GitHub 社区
渠道通路Channels
通过 GitHub 开源、Hacker News 展示、技术博客和论文吸引开发者,形成社区口碑
成本结构Cost Structure
模型训练成本(200B tokens 训练 27 小时 + 2B tokens 后训练 45 分钟)、TPU 租赁、团队人力、开源社区维护
收入来源Revenue Streams
通过 Cactus 推理平台的企业版(云端回退、GPU 加速、高级支持)收费
💡 核心痛点:现有 AI 模型太大(>100MB),无法在低端消费设备(手机、手表、树莓派)上运行,且推理引擎针对数据中心设计,不适用于资源受限的硬件⚠️ 最大风险:模型在复杂任务上的能力有限(仅函数调用),可能被其他轻量级模型(如 LFM2.5、Apple Foundation Model)超越,且商业化路径不清晰

评分解析

痛点清晰度

明确指出了现有 AI 模型太大无法在低端设备上运行,以及推理引擎不适合消费硬件的痛点,且通过基准测试和速度数据量化了解决效果

置信度 90%
85
付费可能性

开源模型免费,商业化依赖 Cactus 推理平台的企业服务,但无公开定价或收入数据,且目标用户(嵌入式开发者)可能偏好开源免费方案

置信度 40%
50
市场与趋势

边缘 AI 和物联网是快速增长的市场,Needle 的 14MB 模型填补了低端设备 AI 的空白,与行业趋势(如 Apple 的 on-device AI、Google 的 Gemini Nano)一致

置信度 80%
80
需求信号

GitHub 星标 3666 且今日新增 179,Hacker News 多次展示并获得积极反馈,表明开发者社区有强烈兴趣

置信度 80%
75
执行可行性

团队已发布两个版本(Needle 和 Needle 2),有论文支撑,训练过程清晰(200B tokens 预训练),且 Cactus 推理平台已处理数百万请求,技术可行性高

置信度 90%
85
中国市场适配

中国物联网和智能家居市场庞大,但 Needle 的模型训练依赖 Google Gemini 和 TPU,可能受出口管制影响;开源 MIT 许可证有利于国内采用,但商业化路径不清晰

置信度 50%
60

这是什么

是什么
一个 14MB 的超轻量级基础模型,专为资源受限的微型设备(手机、可穿戴设备、智能家居、机器人)设计,用于函数调用和结构化提取。
给谁用
面向嵌入式开发者、物联网设备制造商、智能家居/机器人/可穿戴设备开发者,以及希望将 AI 智能体部署到低端消费设备上的团队。

关键能力

  • 模型大小仅 14MB(2bit 压缩),完整会话仅需 28MB RAM
  • 基于 Simple Attention Networks 架构,无 MLP,仅注意力和门控
  • 在树莓派 5 上达到 500 tok/s 解码速度,Meta Quest 3S 上 400-1500 tok/s
  • 支持 15 种工具类别(定时器、消息、导航、智能家居等)的函数调用
  • 开源(MIT 许可证),可在 Mac/PC 上微调
  • 与 Cactus 推理平台集成,支持基于置信度的云端回退路由

创业线索

团队
约 5-10 人(Cactus 团队,核心成员 Henry 和 Roman) · 独立开发者团队,Cactus 团队
发布时间
2026-02-24(GitHub 创建),Needle 2 发布于 2026-08-11 前后 · 活跃开发中,最近推送 2026-08-11
增长线索
GitHub 星标 3666,今日新增 179,趋势榜 #57,Hacker News 多次展示
能赚多少 / 怎么赚
无公开收入数据 · 开源模型免费,Cactus 推理平台可能通过企业许可或云端服务收费

公开信息推断,缺数据会标未知;不构成收益承诺。

GitHub 最新数据

  • 仓库:cactus-compute/needle
  • 星标:3,666
  • 分支:284
  • 关注:30
  • 未关闭 Issue:28
  • 主语言:Python
  • 开源协议:MIT
  • 仓库创建:2026-02-24
  • 最近推送:2026-08-11
  • 描述:14MB foundation model for tiny devices; phones, wearables, smart home, and robots.
cactusgeminigemmallmon-device-ai

相关新闻 / 讨论

来源数据

  • 首次采集:2026-08-11
  • 最后同步:2026-08-11
  • 材料更新:2026-08-11
  • GitHub 星标:3,666
  • GitHub 分支:284
  • 穿透材料体量:约 4,479 字

AI 辅助分析,仅供项目研究参考,不构成投资建议。