一句话看懂
天枢AI是一款在Android手机上本地部署大模型的APP，支持文本对话、知识库RAG、图像生成、视觉理解、语音交互、OCR识别、API服务、分布式计算、投机解码和智能体等功能，旨在保护用户数据隐私，无需联网即可使用AI能力。
目标用户：个人开发者、会计等对数据隐私敏感的专业人士，以及希望在手机上体验本地AI模型的普通用户。
功能亮点
- 文本对话：本地模型推理，支持15B以下量化模型日常使用，15B以上用于技术探索
- 知识库RAG：支持PDF/Word/TXT导入，提供普通向量检索和深度迭代搜索（多轮动态检索）
- 图像生成：本地Stable Diffusion模型，支持极速、均衡、高质量三种模式
- 视觉理解：图像识别与分析，回答图像相关问题
- 语音交互：离线语音识别与TTS合成，支持实时语音对话
- OCR识别：中文文字识别，图片转文字，文档扫描
- API服务：支持OpenAI和Anthropic格式，自定义上下文窗口，流式输出
- 分布式计算：UDP设备发现，多设备协同推理，支持均衡负载和张量并行
- ①文本对话：通过极致优化内存管理和推理引擎，使得在消费级别Android手机上实现本地模型推理。推荐主力模型是15B以下量化模型用于日常生活和工作实用性场景，比如聊天对话等等；15B至+∞B参数量化模型主要用于技术探索和极限测试，突破传统硬件限制解决了内存溢出和稳定了手机发热。
- 备注：测试手机是vivo-x100,运行内存是12G+12G,天玑9300，手机储存256G。
需求 / 使用场景
- 会计等专业人士需要处理敏感财务数据，但担心数据上传云端泄露隐私
- 用户希望在手机上直接使用AI，无需依赖网络或云服务
- 普通用户难以配置复杂的本地大模型环境，需要一键式安装和操作
- 需要支持多种文档格式（PDF、Word、TXT）进行知识库构建
- 用户希望AI能理解图像内容，辅助文档扫描和识别
- 开发者需要本地API服务，用于集成到其他应用中
- 是什么：端侧手机本地部署大模型APP——天枢AI
- 面向谁：个人开发者以及需要的用户。
痛点洞察
- 敏感数据上传第三方服务器存在隐私泄露风险
- 传统本地部署大模型需要专业技术知识，普通用户难以操作
- 手机端运行大模型受限于硬件，容易内存溢出或发热
- 现有本地AI应用功能单一，缺乏多模态能力（图像、语音、OCR）
- 知识库检索效率低，单轮检索无法满足复杂问题
- 缺乏跨设备协同能力，单设备算力有限
可借鉴机会
- 借鉴其深度迭代搜索RAG模式，提升知识库问答准确性
- 采用投机解码优化推理速度，可应用于其他端侧AI产品
- 分布式计算设计可扩展至物联网或边缘计算场景
- 智能体自定义功能可满足垂直行业（如财务、法律）的个性化需求
来源信息
- 作者：用户627
- 赛道：学习工作
- 原帖链接：https://forum.trae.cn/t/topic/45797