pulsareon/ShowenV2
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
151 Commits 1 Branch 0 Tags
547085c8190a6acb6ee901b1c62dc9da11a006a2
Commit Graph

151 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
pulsareonbot
547085c819 feat: 添加 Live2D 渲染插件及相关依赖，优化构建和启动脚本 2026-07-08 17:32:56 +08:00
pulsareonbot
a8d7c03139 fix(renderer): 修正注释中的中文翻译以提高可读性 2026-07-07 16:59:45 +08:00
pulsareonbot
8f2ff558eb Refactor Live2D plugin and renderer for improved clarity and performance 
- Updated EGL and OpenGL ES integration in gl.rs for better context management.
- Simplified error handling and logging in model.rs and plugin.rs.
- Enhanced texture handling and rendering logic in renderer.rs.
- Added a script to find Cargo configuration files for easier debugging.
- Removed unused imports and dead code to clean up the codebase.
 2026-07-07 16:47:28 +08:00
pulsareonbot
86e36aa677 feat(live2d): 添加 Live2D 渲染插件及相关依赖，替代 Firefox kiosk 方案 2026-07-07 16:13:40 +08:00
pulsareonbot
2aac62b2bb feat(live2d): implement OpenGL ES 2.0 rendering backend with EGL support 
- Add `gl.rs` for OpenGL ES 2.0 and EGL context management.
- Introduce `mod.rs` to organize Live2D plugin modules.
- Create `model.rs` for loading and managing Cubism models, including parameter handling and drawable data extraction.
- Implement shader compilation and rendering context setup for Live2D models.
 2026-07-07 16:04:49 +08:00
pulsareonbot
9637bdd323 fix(Live2D): 用 bash kill -9 \ 替代 pkill（pkill 从 Rust 执行不生效） 2026-07-07 14:50:48 +08:00
pulsareonbot
00b9200235 fix(service): 去掉 User=showen（user service 不需要，导致 216/GROUP 错误） 2026-07-07 14:33:05 +08:00
pulsareonbot
e5a311fe3a fix(Live2D): pkill 用绝对路径 + service 加 PATH 环境变量 2026-07-07 14:11:23 +08:00
pulsareonbot
25508b4c66 fix(Live2D): pkill -9 强制杀 Firefox 进程树（SIGTERM 不够） 2026-07-07 13:59:04 +08:00
pulsareonbot
d64b393145 fix(Live2D): pkill firefox-esr 杀整个进程树（含 contentproc 子进程） 2026-07-07 13:39:54 +08:00
pulsareonbot
61256e4acb fix(Live2D): Firefox kiosk 进程清理用 pkill 兜底 
Firefox esr 会 fork 子进程，child.kill() 只杀父进程导致残留。
三处清理（ConfigReloaded live2d 分支/切回视频分支/stop）都加
pkill -f live2d-display.html 兜底。
 2026-07-07 13:33:59 +08:00
pulsareonbot
77d788d7a5 feat(Live2D): 设备端 Firefox kiosk 全屏渲染 Live2D 角色 
Cubism Core 闭源且无 aarch64 Linux native 库，无法纯 Rust 原生渲染。
设备有 X11+kwin+Firefox 140+OpenGL，用 Firefox kiosk 模式全屏渲染
Live2D 模型（复用 Web 端 Cubism SDK），是 aarch64 上唯一可行路径。

1. src/plugins/http/live2d_display.html — 设备端专用全屏 Live2D 页面
   - 纯 Canvas 渲染，无 UI 控件
   - 轮询 /api/live2d/talking 驱动嘴部动效
   - 自动从 /api/config 读取 live2d_model 路径

2. src/plugins/http/mod.rs — HttpState 加 live2d_talking AtomicBool
   - set_live2d_talking/getter 方法

3. src/plugins/http/routes.rs
   - 新增 GET /live2d-display.html 路由
   - 新增 GET /api/live2d/talking 路由（设备端轮询）
   - chat_text_route 对话开始时 set_live2d_talking(true)
   - 回复后按字数估算时长延迟 set_live2d_talking(false)

4. src/plugins/video/mod.rs — Live2D 模式管理 Firefox kiosk 进程
   - ConfigReloaded render_type=live2d：停止视频，启动 firefox --kiosk
   - ConfigReloaded render_type=video：杀掉 Firefox，恢复视频播放
   - stop() 清理 Firefox 子进程
 2026-07-07 13:24:57 +08:00
pulsareonbot
af5b975375 fix(Web): 角色列表显示所有角色 + 区分视频/Live2D 模式 
问题：切到 live2d 配置后角色列表只显示一个角色；角色卡片用当前配置的
character 信息渲染，而非各配置自己的。

1. routes.rs config_available_route 扩展返回结构
   - configs 从字符串数组改为对象数组，每项含 filename + character 元信息
     (name/character_type/render_type/live2d_model)
   - 读取每个配置文件提取 character 块

2. chat.js loadCharacters 用各配置自己的 character 元信息渲染卡片
   - 显示角色名/类型徽章/渲染模式（video/live2d）
   - Live2D 角色额外显示模型路径
   - 策略说明区分"视频播放+状态机"和"Canvas渲染+嘴部动效"

3. chat.js switchCharacter 改为 await loadConfig() 确保配置加载后再刷新
   loadAvailableConfigs 兼容新旧返回结构
 2026-07-07 12:26:45 +08:00
pulsareonbot
53ed155299 fix(Live2D): 用完整 dog 配置结构生成 live2d_anime.json 
之前手写的配置缺少 scenes/triggers/transition 等必需字段导致解析失败。
改为基于 dog_state_machine.json 复制并替换 character 块 + display 块，
保留完整的 playlist/scenes/state_machine 结构，仅修改角色相关字段。
设备验证：--validate 通过，配置切换成功，文字对话正常（小雅人设生效）。
 2026-07-07 12:18:23 +08:00
pulsareonbot
297c2a86fe fix(Live2D): 修正 Haru 模型路径 + gitignore 排除 live2d 模型文件 
- live2d_model: haru/index.model3.json → haru/Haru.model3.json（匹配实际文件名）
- .gitignore: 添加 configs/live2d/（模型文件 4.2M 不进 git，部署时单独下载）
- .gitignore: 添加 .commit_msg.txt
 2026-07-07 12:00:18 +08:00
pulsareonbot
39fa2a135a feat(Live2D): 集成 Cubism Web SDK 实现二次元角色渲染 
1. routes.rs 新增 GET /live2d/* 静态文件路由
   - 从 source_dir/live2d/ 托管模型文件（.moc3/.model3.json/.png/.physics3.json）
   - 路径穿越防护（禁止 .. 段，canonicalize 校验在 base 内）

2. chat.html 引入 Live2D 渲染依赖
   - PixiJS v6.5.10 + Cubism Core + pixi-live2d-display（CDN）
   - 支持 Cubism 2.1 和 4 全版本模型

3. chat.js 实现 Live2D 模型加载与渲染
   - applyCharStrategy live2d 分支：初始化 PIXI.Application + canvas
   - loadLive2DModel：从 /live2d/<model_path> 加载模型，自动缩放居中
   - 说话动效：对话期间 ParamMouthOpenY 正弦波开合（模拟说话）
   - 呼吸动效：ParamBreath 持续起伏
   - destroyLive2D：切角色时清理 PIXI 资源

4. configs/live2d_anime.json 新建二次元角色"小雅"
   - character_type: live2d, render_type: live2d
   - live2d_model: haru/index.model3.json（Cubism 官方免费样例）
   - persona: 温柔二次元少女人设
   - playlist 复用 dog 的视频作为占位（Live2D 模式下 Web 端显示 canvas）
 2026-07-07 11:56:29 +08:00
pulsareonbot
1ab77df85d refactor(Web): 统一入口 — 合并旧控制台与 AI 对话页为单一 chat.html 
- / 和 /index.html 和 /chat 都服务统一页面（原 / 服务旧 WEB_UI_HTML）
- 删除 routes.rs 内嵌的 WEB_UI_HTML 常量（424 行），HTML 拆为 chat.html + chat.js
- 整合 8 个 tab：对话 / 角色 / 模型 / 播放控制 / 视频管理 / 文件管理 / 网络设置 / 系统配置
- 保留全部旧功能：WS 实时状态、播放控制、触发器、视频上传/删除、文件管理器、WiFi 扫描/连接/热点、BLE、配置切换/编辑/显示设置、APK 下载弹窗
- 保留全部新功能：文字对话、语音录音（客户端 WAV 转码）、角色切换、模型管理、Live2D 占位
 2026-07-07 11:29:53 +08:00
pulsareonbot
90860bcf61 delete: 移除端到端测试脚本 (.test_e2e.sh) 2026-07-06 16:51:10 +08:00
pulsareonbot
5df99ced7b feat(M2.1): Web 端语音录放闭环 
1. 新增 GET /api/chat/audio/file?path=<tmp_dir内路径> 路由
   - 路径白名单：canonicalize 后必须位于 config.ai.tmp_dir 内
   - 返回 audio/wav 二进制流（浏览器可直接 <audio> 播放）
   - 60s 后自动清理临时文件
   - 修复：原 /download/:filename 只能读 downloads_dir，TTS 输出在 tmp_dir 无法访问

2. POST /api/chat/audio 支持 X-Audio-Format 头
   - 浏览器 MediaRecorder 产 webm/ogg/m4a，whisper-cli 靠扩展名判断格式
   - 服务端按头指示决定文件扩展名（webm/ogg/m4a/mp3/wav）

3. chat.html 录音 UI + 客户端 WAV 转码
   - 按住🎙按钮录音（MediaRecorder），松开发送
   - 客户端用 Web Audio API 解码 + 重采样到 16k 单声道 PCM16
   - 手写 WAV header，输出标准 16k mono wav（whisper-cli 直接可处理）
   - 非安全上下文（HTTP）下禁用录音并显示 Chrome flag 启用指引
   - 回复音频改用 /api/chat/audio/file 路径播放
   - 显示 ASR 转写文本（🎤 你说: xxx）
 2026-07-06 14:18:17 +08:00
pulsareonbot
8617a0e708 feat(M2.1): Web UI 统一入口+角色类型策略+Live2D 渲染支持+Gemma4 清单 
- chat.html: 统一入口, 当前角色信息条, 四种角色类型策略 (pet/human/singer/live2d)
- 对话时根据 render_type 触发不同策略: video 切 talk/idle, live2d 显示动效
- config.rs: 新增 CharacterType::Live2d + RenderType 枚举 + live2d_model/live2d_config 字段
- model_manager.rs: 默认清单加 Gemma 4 E2B Q4_K_M (下载链接, 不含文件)
 2026-07-06 12:49:46 +08:00
pulsareonbot
0c625a0c9a fix: 模型文件不进 git (加 .gitignore, 从索引移除 3.2GB gguf) 
模型文件通过 model_manager.rs 清单里的 URL 在线下载,
不随 git 仓库分发。.gitignore 新增 model_download/ model_store/。
 2026-07-06 12:41:36 +08:00
pulsareonbot
0ac4aa31c8 feat(M2.1): Web 对话控制端 (/chat 页面 - 文字对话+角色切换+模型管理) 2026-07-06 10:24:34 +08:00
pulsareonbot
2f202b82b7 fix: dog 配置 flip_vertical 改为 false (画面上下反了) 2026-07-06 09:51:39 +08:00
pulsareonbot
b0e201a16f fix: 清理真正的退格符 \u{8} (llama-cli 进度动画) 2026-07-04 17:39:42 +08:00
pulsareonbot
15ab383603 fix: 编译错误 (\b 转义 + 临时变量生命周期) 2026-07-04 17:35:45 +08:00
pulsareonbot
9069145de6 fix: 解析 llama-cli 进度动画和回复在同一行的情况 (清理 \b 转义) 2026-07-04 17:28:06 +08:00
pulsareonbot
1c037db0c2 fix: 解析 llama-cli 输出,只提取生成回复 (去除 banner/进度动画/统计) 2026-07-04 17:18:58 +08:00
pulsareonbot
a3052ad6db fix: piper 加 ESPEAK_DATA_PATH 环境变量 (espeak-ng-data 目录) 2026-07-04 17:10:23 +08:00
pulsareonbot
dc20fd3502 fix: piper_lib_dir 修正为 piper/piper 子目录 (库文件实际位置) 2026-07-04 17:04:21 +08:00
pulsareonbot
4fd7e7997e fix: piper 二进制+依赖库+config 修正 (符号链接指向正确二进制,加 LD_LIBRARY_PATH 和 -c 参数) 2026-07-04 16:58:41 +08:00
pulsareonbot
706b1375ce fix: llama-cli 加 --single-turn --no-warmup -sys,对齐 spike 调用方式 (修复卡死) 2026-07-04 16:39:33 +08:00
pulsareonbot
8fc82813d3 fix: ensure_default_models 每次启动重新检查模型文件存在性 2026-07-04 16:02:42 +08:00
pulsareonbot
6810d1ca13 feat(M2.1): 设备端部署脚本 + whisper LD_LIBRARY_PATH + dog/cat 角色人设配置 2026-07-04 15:44:48 +08:00
pulsareonbot
4877d54a1c fix: 修复 main.rs config move 后借用错误 (提前提取 ai 配置) 2026-07-04 15:12:16 +08:00
pulsareonbot
1bb044a3d7 fix: 修复 M2.1 骨架编译错误 (import/match/AppConfig 字段) 2026-07-04 15:09:11 +08:00
pulsareonbot
a0c4ca2307 feat(M2.1): AI 语音对话插件骨架 + 模型管理 + HTTP API + config schema 扩展 
这是 M2.1（语音数字生命 V1）的后端骨架实现，不含 Web UI / Flutter / 设备部署。

新增文件:
- src/plugins/ai/mod.rs: AiPlugin 薄层（持有 ChatPipeline Arc，处理消息系统联动）
- src/plugins/ai/backend.rs: AiBackend trait + LocalCliBackend (whisper-cli/llama-cli/piper 子进程)
  + CloudBackend 占位（V1 返回"暂未支持"）
- src/plugins/ai/chat.rs: ChatPipeline 对话管线执行器（HTTP 层 spawn_blocking 直接调用）
- src/plugins/ai/model_manager.rs: ModelManager 模型资产管理
  (清单/下载/切换/删除/配额/档位守门，参照 plugin_repo + version_manager 模式)

修改文件:
- src/core/message.rs: 新增 ChatRequest/ChatResponse/AiModelEvent 消息类型
- src/core/config.rs: AppConfig 新增 character 块（角色元信息+人设）+ ai 块（后端配置）
  均为 #[serde(default)] 向后兼容旧配置
- src/plugins/mod.rs: 注册 ai 模块
- src/plugins/http/mod.rs: HttpState 新增 ai_pipeline + ai_models 字段及注册方法;
  HttpPlugin 新增 set_ai_pipeline/set_ai_models 方法
- src/plugins/http/routes.rs: 新增 6 个 AI 相关路由
  - POST /api/chat/text (文字对话，Web 端主路径)
  - POST /api/chat/audio (语音对话，App 主路径)
  - GET /api/models (模型清单+水位+配额)
  - POST /api/models/download (下载模型，后台线程执行)
  - POST /api/models/switch (切换激活模型)
  - POST /api/models/delete (删除模型，保护当前激活)
- src/main.rs: 注册 AiPlugin，连接 pipeline 到 HttpPlugin

技术决策:
- 对话管线用 spawn_blocking 而非消息系统，满足 HTTP 同步响应需求
- ChatPipeline 用 Arc<Mutex> 共享，HTTP 和 AiPlugin 共用同一实例
- 互斥用 try_lock，忙时返回 409 而非阻塞
- Spike 结论固化: LLM t=2 锁大核、ctx=1024 限死、Qwen2.5-0.5B 默认档

待完成 (后续提交):
- Web 控制端 UI (文字对话 + 角色切换 + 模型管理界面)
- Flutter App (角色页/语音页/模型管理页)
- 设备端部署 llama.cpp/whisper.cpp/piper 二进制 + 模型下载
- 画面联动 (talk/idle 状态切换)
- 测试

注: Windows 开发环境缺 dbus，无法本地 cargo check；待目标机验证。
 2026-07-04 15:01:00 +08:00
pulsareonbot
b066dd187b docs: CLAUDE.md 标记 P1/P2 修复目标机复验通过 (147/147 零 warning, SIGINT 234ms 退出) 2026-07-04 14:29:16 +08:00
pulsareonbot
a64d9907c3 docs: 更新 CLAUDE.md 待处理清单 - P1 Shutdown 修复标记完成, P2 部分完成, 新增待复验项 2026-07-04 12:35:27 +08:00
pulsareonbot
38dcd21352 refactor: P2 清理 - 闭环 check_updates 结果回传 + SDK 文档修正 + DeviceResponse 错误留痕 
1. service_manager.rs check_plugin_updates: 返回 Vec<(id, cur, new)>，
   调用处通过 Custom { kind: "plugin_updates" } 广播结果，闭环 HTTP
   调用方获取检查结果的链路 (CLAUDE.md:163 第3项, 王浩然风险3 建议)

2. plugin-sdk/src/lib.rs broadcast 文档: 替换误导性的 WifiProvisioned
   示例为 StateChanged (当前真正闭环的消息)，并新增 Phase 2 占位消息
   说明，列出 WifiProvisioned/DeviceEvent/CursorVisibility 三个当前无
   生产者的变体，提醒开发者不要为其编写业务逻辑 (CLAUDE.md:163 第1项)

3. src/plugins/device/mod.rs handle_message: DeviceResponse::Error
   转换时补 eprintln 留痕，避免设备层故障完全静默 (CLAUDE.md:163 第4项,
   王浩然风险3 建议: 至少在一处记录 Error 响应)

未处理项:
- 单实例保护 (锁文件/socket 互斥): 需目标机实测锁行为，留给设备端工程师
- unclutter 僵尸 reap: 核查发现 shutdown() 已做 kill+wait+pkill 兜底，
  仅 SIGKILL 极端场景残留，不值得加 SIGCHLD handler (过度工程)
- CursorVisibility 变体: 删除会破坏示例插件和测试，倾向 Phase 2 统一清理

注: Windows 开发环境缺 dbus/pkg-config, 无法本地 cargo check;
改动经 rust-analyzer 类型检查零诊断, 待目标机验证.
 2026-07-04 12:27:35 +08:00
pulsareonbot
ab1dd9160c fix: 修复 Ctrl+C 无法及时退出主循环的 P1 bug 
问题: main.rs Ctrl+C handler 只置 AtomicBool, 但 manager.run() 阻塞在
rx.recv() 永久等待下一条消息, 导致 Ctrl+C 后需等任意消息到达才能退出.
CLAUDE.md:162 记录的已知 P1 隐患 (王浩然发现).

修复 (3 处):
1. service_manager.rs run(): recv() -> recv_timeout(200ms), 超时则
   continue 重新检查 self.running, 确保信号能被及时响应
2. service_manager.rs handle_manager_message(): Shutdown 分支广播后
   置 self.running=false, 让主循环正常退出 (原本只广播不停机)
3. main.rs Ctrl+C handler: 除置 AtomicBool 外, 向 channel 注入
   Message::Shutdown envelope, 唤醒 recv_timeout 并触发优雅停机

效果: Ctrl+C 后最多 200ms 退出, 而非等待下一条任意消息.

注: Windows 开发环境缺 pkg-config/libdbus, 无法本地 cargo check;
改动经 rust-analyzer 类型检查零诊断, 待目标机 (Linux ARM64) 验证.
 2026-07-04 12:22:51 +08:00
pulsareonbot
4d830c0e56 docs: 修正 README 与代码不一致 (edition 2021 + 补 device 插件) 2026-07-04 12:17:57 +08:00
pulsareonbot
9c290e19ab docs: M2.1 PRD 立项 + 团队沟通记录与状态同步 
- 新增 docs/M2.1_PRD.md：语音数字生命 V1 产品需求文档（角色切换 + 语音回合 + 模型管理 + 双端交付）
- 更新 CLAUDE.md：M2.1 立项状态、spike 结论、待处理项
- 更新 .showen/TEAM_CHAT.md：团队最新沟通记录
- 更新 souls/zhang-mingyuan.md、souls/zhang-wanlin.md：成员状态
 2026-07-04 12:04:01 +08:00
XiuChengWu
417dabb127 refactor: 更新团队成员状态和设备清理经验，优化文档内容 2026-07-03 15:17:59 +08:00
XiuChengWu
2a6e14b976 feat: Update project documentation and workflow to reflect changes in task dispatching and testing processes 
- Changed references from "kilo" to "Agent 子代理" in various documentation files to align with the new task dispatching method.
- Updated CLAUDE.md to reflect the new agent-based execution model and modified task dispatch template.
- Revised PROGRESS.md to indicate successful testing and acceptance of M1.2 with detailed results.
- Enhanced communication and workflow documentation to clarify the use of Agent 子代理 for real-time collaboration and task management.
- Updated team member soul files with lessons learned from recent testing and integration experiences.
- Refactored test files to remove unused code and improve clarity, ensuring compliance with zero warning standards.
- Documented specific experiences and lessons learned during M1.2 testing, including handling of edge cases and configuration validation.
 2026-07-03 14:14:50 +08:00
XiuChengWu
5770b7007c chore: remove unused Config type alias, add deny_unknown_fields to remaining config structs 2026-03-31 23:45:00 +08:00
XiuChengWu
1ded747a0c refactor: deduplicate HSV validation with loop over channel ranges 2026-03-31 23:43:44 +08:00
XiuChengWu
0cdea53f8d refactor: derive PartialEq + Eq for core message types (Destination, PlayerCommand, WifiCommand, etc.) 2026-03-31 23:43:06 +08:00
XiuChengWu
c52dd6b336 refactor: derive PartialEq + Eq for PluginStateInfo, PluginInfo, CapabilityTestResult, ErrorPolicy 2026-03-31 23:42:06 +08:00
XiuChengWu
8d1ebf02e3 refactor: use OnceLock for log dedup statics in processor.rs 2026-03-31 23:41:10 +08:00
XiuChengWu
98d827f5c3 refactor: introduce plugin_ids constants, replace hardcoded plugin ID strings 2026-03-31 23:40:23 +08:00