pulsareonbot
5df99ced7b
1. 新增 GET /api/chat/audio/file?path=<tmp_dir内路径> 路由
- 路径白名单：canonicalize 后必须位于 config.ai.tmp_dir 内
- 返回 audio/wav 二进制流（浏览器可直接 <audio> 播放）
- 60s 后自动清理临时文件
- 修复：原 /download/:filename 只能读 downloads_dir，TTS 输出在 tmp_dir 无法访问
2. POST /api/chat/audio 支持 X-Audio-Format 头
- 浏览器 MediaRecorder 产 webm/ogg/m4a，whisper-cli 靠扩展名判断格式
- 服务端按头指示决定文件扩展名（webm/ogg/m4a/mp3/wav）
3. chat.html 录音 UI + 客户端 WAV 转码
- 按住🎙按钮录音（MediaRecorder），松开发送
- 客户端用 Web Audio API 解码 + 重采样到 16k 单声道 PCM16
- 手写 WAV header，输出标准 16k mono wav（whisper-cli 直接可处理）
- 非安全上下文（HTTP）下禁用录音并显示 Chrome flag 启用指引
- 回复音频改用 /api/chat/audio/file 路径播放
- 显示 ASR 转写文本（🎤 你说: xxx）
ShowenV2 — 数字生命窗口平台
基于 Rust 的跨平台插件微内核架构，支持全息/VR/AR/屏幕显示，承载虚拟宠物、数字人、AI 歌姬、3D 模型等数字生命内容。
架构概览
ShowenV2/
├── src/
│ ├── core/ # 插件微内核
│ │ ├── message.rs # 类型安全消息协议 (Serialize/Deserialize)
│ │ ├── plugin.rs # Plugin trait 定义
│ │ ├── service_manager.rs # 生命周期管理 + 消息路由 + 错误策略
│ │ ├── config.rs # 配置解析/验证
│ │ ├── dispatch.rs # 文本命令解析
│ │ ├── plugin_abi.rs # C FFI 类型 (动态插件边界)
│ │ ├── dynamic_plugin.rs # DynamicPlugin (libloading)
│ │ ├── plugin_loader.rs # plugin_store/ 扫描/加载
│ │ ├── version_manager.rs # 版本切换/回退/GC
│ │ └── plugin_repo.rs # 远程仓库 HTTP 客户端
│ └── plugins/ # 功能插件
│ ├── video/ # 视频播放引擎 (OpenCV)
│ ├── http/ # Web UI + REST API (warp)
│ ├── ble/ # BLE 配网 (D-Bus BlueZ)
│ ├── wifi/ # WiFi 管理 (nmcli)
│ ├── device/ # 设备能力 (Display/SleepInhibit/Backlight/Cursor)
│ └── screen/ # 屏幕管理 (thin wrapper，转发到 device)
├── plugin-sdk/ # 动态插件开发 SDK
├── plugins/
│ └── example-plugin/ # 示例动态插件 (cdylib)
├── configs/ # 配置文件 (状态机 JSON)
├── clients/ # 外部控制客户端应用
└── souls/ # 团队成员档案
技术栈
- 语言: Rust (edition 2021)
- 视频: OpenCV 0.66
- HTTP: warp + tokio
- BLE: D-Bus + BlueZ (GATT)
- WiFi: nmcli
- 插件加载: libloading
- 远程仓库: ureq + flate2 + tar
动态插件系统
ShowenV2 支持两种插件模式：
- 静态插件 — 编译时链接，6 个内置插件 (video, http, ble, wifi, device, screen)
- 动态插件 — 运行时加载
.so文件，通过extern "C"FFI + JSON 序列化通信
动态插件特性：
- 多版本管理 (
plugin_store/目录结构) - 远程仓库下载安装 (HTTP + tar.gz)
- 错误自动回退 (AutoRollback / DisableAndLog)
- REST API 管理 (
/api/plugins/*)
快速开始
# 验证配置
cargo run -- --validate --config configs/dog_state_machine.json
# 运行
cargo run -- --config configs/dog_state_machine.json
# 测试
cargo test --workspace
硬件与平台定位
- 平台定位: ShowenV2 是通用数字生命窗口平台，不局限于“全息宠物播放器”
- 分辨率支持: 支持 8K 以内所有分辨率显示
- 显示类型: 支持 AR、VR、XR、普通屏幕、全息显示、投影、LED 矩阵，以及任何可运行的显示设备
- 当前调试环境: Debian 11 KDE 桌面 (
ARM64/aarch64) - 跨平台策略: 当前以 Linux/ARM64 为主，架构已为扩展到其他平台预留空间