docs: M2.1 PRD 立项 + 团队沟通记录与状态同步
- 新增 docs/M2.1_PRD.md:语音数字生命 V1 产品需求文档(角色切换 + 语音回合 + 模型管理 + 双端交付) - 更新 CLAUDE.md:M2.1 立项状态、spike 结论、待处理项 - 更新 .showen/TEAM_CHAT.md:团队最新沟通记录 - 更新 souls/zhang-mingyuan.md、souls/zhang-wanlin.md:成员状态
This commit is contained in:
14
CLAUDE.md
14
CLAUDE.md
@@ -136,6 +136,20 @@ export PATH="/home/showen/.rustup/toolchains/stable-aarch64-unknown-linux-gnu/bi
|
||||
30. ~~**P0**: 设备端开机自启出现 3 个实例~~ ✅ 赵雨薇修复 (2026-07-02, 根因:3 个自启动入口叠加;仅保留用户级 showen_v2.service,其余移入 ~/autostart_backup_20260702/,重启验证进程==1)
|
||||
31. ~~**P0**: 设备端窗口非全屏~~ ✅ 赵雨薇修复 (2026-07-02, 根因:应用先于 kwin 启动,OpenCV 全屏调用空操作;ExecStartPre 等待 kwin + kwinrulesrc 强制全屏规则,重启验证 800x800 无边框)
|
||||
|
||||
### M2.1 新立项(2026-07-03 老板拍板)
|
||||
|
||||
**语音数字生命 V1**。老板决策:**本地 AI 优先,云端接口预留**。范围:
|
||||
1. 手机 App 遥控切换角色内容包(宠物猫狗/数字人/二次元歌姬),复用现有配置切换+remote_control 机制
|
||||
2. 手机 App 录音上传 + 播放回复音频;设备本地跑 ASR(whisper.cpp)→ 小模型 LLM(0.5B~2B 量级,老板点名 Gemma 系,以设备实测为准)→ TTS(piper),响应时联动人物"说话"状态
|
||||
3. LLM 后端做 trait 抽象,本地/云端可切换(云端接口预留不实现)
|
||||
4. **模型管理(2026-07-03 老板补充)**:模型必须支持切换、下载、更换——不写死。因为设备硬件会变(未来可能上更强的板子跑更大模型),当前测试机只是全志 A733 4G 这一档。设计参照现有插件仓库/版本管理模式:模型清单 + 按设备能力选型 + 下载(国内镜像源)+ 校验 + 存储配额管理
|
||||
5. **客户端矩阵(2026-07-03 老板补充)**:功能必须同时落到两个客户端——①clients/flutter 安卓 App;②设备内嵌网页控制端(routes.rs:1961 WEB_UI_HTML)。Web 端至少要有角色切换 + 模型管理;语音回合受浏览器安全限制(getUserMedia 需 HTTPS,设备是纯 HTTP)优先落 App,Web 端可用文字对话替代
|
||||
6. 硬件事实:测试机为全志 A733(Linux ARM64, 4G 内存约 3.3G 可用),CPU 已被视频占 ~1.25 核;**老板确认(2026-07-03)扬声器/麦克风均未插入**(此前 arecord 有信号应为板载或浮空噪声)——**V1 音频 I/O 全部走客户端**:录音和播放在 App;网页端播放无障碍、录音需 HTTPS(自签证书列为评估项),文字对话保底;原 V2"设备直接对话"改为待硬件接入后再启动
|
||||
|
||||
7. **Spike 结论(2026-07-03 张明远实测,全表见 TEAM_CHAT.md)**:可行。设备实为 Radxa Cubie A7A(A733:2×A78@2.0G + 6×A55@1.8G)。推荐默认 **Qwen2.5-0.5B Q4**(16.4 t/s,50字回复 ~3.4s,RSS 985M);Gemma3-1B 可选档(8.2 t/s);**Gemma2-2B 本机不推荐**(RSS 3.25G 触发 swap)。硬约束:**推理必须 t=2 锁大核**(全核反而崩且挤死视频)、严禁默认上下文长度、部署脚本必须带镜像回退。ASR whisper tiny ~2.2s(需 VAD 防静音幻觉)、TTS piper RTF 0.3。端到端:串行热链 ~10s,**流式管线首音频 ~5s**(达标"可接受");≤3s 需 A733 的 NPU(Phase 2 路径)。现场保留 ~/ai_spike/ 3.5G 可复跑。
|
||||
|
||||
✅ PRD 完成(docs/M2.1_PRD.md,三轮修订含老板三条补充)+ Spike 完成。进行中:架构设计(王思远)。素材依赖:数字人/歌姬内容包需视频素材,先用现有猫狗包验证切换机制。
|
||||
|
||||
### 待处理
|
||||
|
||||
1. **[M1.2 收尾]** ✅ commit(老板 2a6e14b)→ ✅ 设备同步至 2a6e14b + cargo check 零 warning(周雅婷 2026-07-03,设备仅剩本地调参文件 configs/dog_state_machine.json 一处差异);**仅剩:老板打 tag(建议在 2a6e14b 上打 `m1.2`)**
|
||||
|
||||
Reference in New Issue
Block a user