cactus-compute/needle
在微型设备上实现高效的函数调用(工具使用)、设备操作和结构化数据提取,支持单次函数调用,运行速度极快(树莓派 5 上 500 tok/s,VR 设备 400-1500 tok/s,低端手机 300-700 tok/s)。
一句话商业模式
为嵌入式/物联网开发者解决在微型设备上部署 AI 智能体(函数调用),通过开源模型 Needle + Cactus 推理平台提供价值,主要依靠Cactus 推理平台的企业级部署和云端回退服务赚钱
商业模式画布
提供 14MB 的超轻量级模型,在微型设备上实现高效函数调用,性能与 5-70 倍大的模型相当,且开源可微调
评分解析
研究分 73
这是什么
- 是什么
- 一个 14MB 的超轻量级基础模型,专为资源受限的微型设备(手机、可穿戴设备、智能家居、机器人)设计,用于函数调用和结构化提取。
- 给谁用
- 面向嵌入式开发者、物联网设备制造商、智能家居/机器人/可穿戴设备开发者,以及希望将 AI 智能体部署到低端消费设备上的团队。