ooodc/PicoBot
ooodc/PicoBot
1
0
Fork 0
Code Pull Requests Activity
574 Commits 1 Branch 0 Tags
Commit Graph

68 Commits

Author SHA1 Message Date
oudecheng
d5c0b50e63 fix(storage): 归一化历史前缀累积污染的会话 ID（一次性迁移） 
- 早期版本重复拼接通道前缀产生 websocket:websocket:<uuid> 一类的污染会话记录，会话列表因此出现多条前缀逐层累积的重复会话

- 新增 user_version=2 迁移：子表数据改指归一化 ID，污染会话并入既有会话或重命名，seq 按时间重编号，整体事务保证原子性

- 新增回归测试覆盖合并、重命名、seq 连续性与幂等重跑
 2026-08-17 17:52:30 +08:00
oudecheng
4517e4a724 perf(db): 热路径同步 SQLite 操作改 spawn_blocking 并定向查询 
- processor/session 热点 DB 调用放到 blocking 线程池，避免阻塞 tokio worker
- 定向查询 topic 首条用户消息（DB 侧 LIMIT 1），不再全量加载历史
- 新增 first_user_message_content 访问方法
 2026-08-17 09:54:54 +08:00
oudecheng
1019dbe8cc refactor(code-quality): 清理 clippy 存量告警（unwrap/clone/redundant 等） 
- 移除无用克隆与冗余引用，减少不必要内存分配
- 规范 unwrap/expect 使用，修复可提前失败路径
- 修复 anthropic provider llm_timeout_secs 死代码并补全超时日志
- cargo fmt 统一格式
 2026-08-16 23:22:22 +08:00
oudecheng
b26a2c2512 feat(token): 新增缓存占比统计，聚合查询收敛到共享列清单 
- 解析: OpenAIUsage 支持 DeepSeek prompt_cache_hit_tokens + OpenAI prompt_tokens_details.cached_tokens fallback；Anthropic 接入 cache_read_input_tokens

- 存储: messages 表新增 cached_tokens 列(幂等迁移)，贯穿 INSERT/SELECT/聚合

- 解耦加固: 抽取 MESSAGE_LOAD_COLUMNS 收敛 6 处消息加载 SELECT；抽取 USAGE_SUM_COLUMNS + read_usage_sum_row 收敛 topic/session 两份重复 SUM 聚合

- 协议: SessionTokenStats/TopicTokenStats 新增 cached_tokens 字段

- 前端: 面板新增缓存命中行 + 缓存命中率进度条(命中率越高越绿，与 ctx 占用方向相反)
 2026-08-15 19:21:51 +08:00
oudecheng
414105d419 feat(model): 话题级模型选择持久化与 API（topics 表加 provider/model 列 + 双写内存缓存） 
- topics 表迁移新增 provider/model 列，记录话题级显式模型选择
- storage 层新增 update_topic_model / list_topic_model_selections
- 新增 POST /api/topic/select-model 与 GET /api/topic/selected-model
- 双写 key 取 topic 行自带 session_id（不信任请求体，防污染其他会话）
- 清除时同步清 session 级选择，避免'重置为默认'被物化逻辑重新覆盖
 2026-08-15 15:33:58 +08:00
oudecheng
fc3a95b152 feat: 异步子代理 v8 实现与 /stop 取消流程修复 
后端核心实现：
- 新增 wait_coordinator：释放/重获取 serial_lock 的 in-tool waiting 模式，替代旧的 break-exit 方案
- 新增 wait_for_subagents 工具：select! 等待子代理完成/用户消息/超时，支持 try_drain 批量消费
- task 工具异步 spawn 路径：CancellationToken 注册表 + RAII guard + Semaphore 并发限流
- process exit 安全检查：pending 子代理存在时抑制 ExecutionCompleted
- 崩溃恢复：启动时标记 running->interrupted，history 加载时对账占位

/stop 取消流程修复：
- wait_coordinator select! 添加 cancel 分支，完整清理状态
- ToolContext 注入 cancel_rx（watch::Receiver clone）
- agent_loop 工具执行 select! 对 wait 工具跳过竞速，防止 drop coordinator 清理逻辑
- 子代理完成状态通过 execution_completed metadata 传播

存储层：
- pending_subagents 表 + 条件 UPDATE
- mark_all_running_as_interrupted 崩溃恢复
 2026-08-13 22:12:20 +08:00
oudecheng
510520e08e refactor: 提取公共工具函数，修复飞书正则重复编译和网关路由DRY问题，添加CI安全审计 2026-08-07 08:33:15 +08:00
oudecheng
81fbee4878 feat(storage): 历史压缩保留原消息，前端展示完整对话、LLM 用压缩摘要 
将压缩流程从物理删除原消息改为标记位 is_compacted 分离两个视图：
- LLM 视角(load_messages_for_topic)：只看 is_compacted=0 的压缩摘要+新消息
- UI 视角(load_messages_for_topic_full)：看原消息(含 is_compacted=1)+新消息，排除摘要

新增 compact_topic_history：不删除原消息，仅打标记+插入摘要，
同事务内删除旧摘要避免累积。修复 token 统计因压缩丢失 usage 的问题。
 2026-08-05 12:46:43 +08:00
oudecheng
bb2774c6b5 feat(web): token 统计从侧边栏迁移到右侧面板，支持子代理每轮刷新 
- 新增 TopicTokenStatsPanel 面板，显示五字段 + 上下文占用进度条

- 移除 TopicList 侧边栏的 token 统计显示

- 后端新增 get_session_token_stats，按 session_id 精确查询子代理 token

- TaskMessagesLoaded 协议扩展 token_stats 字段，ws.rs 转发至前端

- useMessages/useSubAgentView 每轮 assistant_response/execution_completed 触发刷新

- App.tsx 根据当前视图分派 list_topics（主代理）或 load_task_messages（子代理）

- 抽取 utils/tokenStats.ts 共享格式化与占用率计算函数
 2026-08-05 12:09:40 +08:00
oudecheng
deab3699fe fix(web): token 统计按 topic_id 聚合，避免同 session 多 topic 共享总和 
batch_session_token_stats 重命名为 batch_topic_token_stats，SQL 从 GROUP BY session_id 改为 GROUP BY topic_id，修复同一 session 下多个 topic 显示相同 token 总和的问题。

子代理天然隔离：子代理消息的 topic_id 属于子代理自身的 topic，不在主 topic 列表中。topic_id IN (...) 自动排除 NULL topic_id 的旧消息。

对抗性审查补充：latest assistant 消息查询的 JOIN 条件 m.topic_id = latest.topic_id AND m.seq = latest.max_seq 可能匹配到子代理消息（seq 是 session 级递增，主/子 session 可能有相同 seq）。在外层 JOIN 添加 WHERE m.session_id NOT LIKE 'sub:%'，避免重复行导致 stats.entry(tid) 被覆盖、结果不确定。
 2026-08-05 09:43:59 +08:00
oudecheng
2e4b1931a6 feat(tokens): 添加 topic 维度 token 消耗与上下文窗口占用统计 
后端：
- openai provider 流式响应启用 stream_options.include_usage，从 SSE 末帧捕获 usage
- ChatMessage 新增 MessageUsage（prompt/completion/total/context_window_tokens）
- agent_loop 三处 LLM 调用点持久化 usage，含 context_window_tokens
- storage 新增 context_window_tokens 列及 migration，batch_session_token_stats 聚合查询
- last_prompt_tokens 查询过滤 prompt_tokens IS NOT NULL，跳过 error/cancel 消息
- build_topic_summaries 简化签名，context_window_tokens 从消息记录读取
- protocol 扩展 TopicTokenStats，按 session_id 聚合天然隔离子代理

前端：
- protocol.ts 新增 TopicTokenStats 类型
- useTopics 映射 token_stats 到 Topic
- TopicList 展示总 token 消耗与上下文占用百分比（绿/黄/红三色）

测试：outbound_dispatcher 4 个测试修复（drop(bus) 不关闭 bus，改用 abort）
 2026-08-04 17:01:54 +08:00
oudecheng
07247ed140 perf(storage): get_topic_message_count 改用 COUNT(*) 查询 
原实现调用 load_messages_for_topic 加载该 topic 的所有消息
（含 content、tool_calls_json 等大字段反序列化）到内存，
仅为调用 .len() 计数。长会话可能加载数千条消息，且在
list_sessions 列出所有 topic 时会按 topic 数量倍增。

改为 SELECT COUNT(*) FROM messages WHERE topic_id = ?1，
在数据库侧计数：无需反序列化任何字段，命中已有的
idx_messages_topic_seq(topic_id, seq) 索引。

对 N 条消息的 topic，从 O(N) 内存 + 反序列化降为 O(1)
内存 + 索引扫描。新增测试覆盖计数正确性与隔离性。
 2026-08-04 15:18:21 +08:00
oudecheng
cda14360af chore: 建立工程化基线（rustfmt + clippy + CI + eslint + prettier） 
配置:
- rustfmt.toml: 固化 max_width=100 / 4 空格缩进，cargo fmt 全量格式化
- Cargo.toml: 配置 [lints.rust] 与 [lints.clippy] 渐进式规则
- .github/workflows/ci.yml: Rust(fmt+clippy+test) + 前端(eslint+tsc+test) 双平台 CI
- Makefile: 新增 check/fmt/fix 目标，clippy 对齐 --all-targets --all-features
- web: eslint flat config + prettier 配置 + package.json 脚本与依赖
- src/main.rs: loop→while 修复 clippy::never_loop

对抗性审查发现并修复:
- eslint 缺 caughtErrorsIgnorePattern 导致 catch(_) 误报为 error
- 前端 lint 未接入 CI，现已补上 Lint 步骤
- Makefile 与 CI 的 clippy flags 不一致，已对齐
 2026-08-03 23:24:02 +08:00
oudecheng
c7ee6bb519 fix: 修复并发 sub-agent 持久化时 SQLite database is locked 错误 
将 7 个写事务从 BEGIN DEFERRED 改为 BEGIN IMMEDIATE,在事务开始即获取写锁,消除多 sub-agent 并发写入时的死锁路径。同时将 busy_timeout 从 5s 提升至 30s,为并发写者排队提供 100 倍余量。

根因:BEGIN DEFERRED 下多个事务可同时读 MAX(seq) 不持写锁,提交时互相阻塞,5s timeout 耗尽后返回 SQLITE_BUSY。BEGIN IMMEDIATE 强制写者串行排队,顺带消除 MAX(seq)+1 竞态导致的 UNIQUE 约束冲突。
 2026-08-03 22:15:13 +08:00
oudecheng
7f05545488 fix: session pool 锁范围收敛与 replace_todos 原子性 
- SessionPool.ensure_session_internal 改为 double-checked locking：
  先短暂持锁检查存在性，释放锁后执行耗时的 session 创建（含配置加载、
  agent 工厂构造），再次持锁插入并处理竞态。避免跨 session_factory.create().await
  持有全局锁导致所有 channel 的 session 访问串行化。
- storage::replace_todos 用 transaction() 包裹 DELETE + INSERT，保证原子性：
  中途失败自动回滚，避免 todos 列表丢失且无法恢复。事务内复用同一连接
  查询返回值，消除 drop(conn) 后重新 pool.get() 的冗余。
 2026-07-31 08:23:13 +08:00
oudecheng
4baa8e7a6b fix: 内存历史按 topic_id 键化，新增 replace_topic_history 修复 DB 压缩覆盖 
- SessionHistory.chat_histories 改为 topic_histories 按 topic_id 键化，消除多话题并发时内存历史互相覆盖的根因

- is_current_turn 改用 current_topic == original_topic_id 直接比较，替代失效的内存最新消息匹配判断

- 新增 ConversationRepository::replace_topic_history 按 topic 删除/插入消息，解决 replace_active_history 删除整个 session 消息的 pre-existing 问题

- compaction 路径改用 replace_topic_history，避免压缩时覆盖其他 topic 的 DB 消息

- switch_topic 不再 remove_history，不同 topic 历史独立存储互斥

- append_persisted_message 仅当 topic_id == current_topic 时更新内存，防止延迟消息污染新话题历史
 2026-07-28 15:32:42 +08:00
oudecheng
c8660df14b refactor: 拆分 storage/mod.rs 与 ConfigPage.tsx (P2) 
storage/mod.rs (2957 -> 1834 行):
- 抽出 tests.rs: 17 个测试函数
- 抽出 row_mapping.rs: 8 个 row<->record 映射与单记录查询函数
- 抽出 migrations.rs: 7 个 schema 迁移函数 (ensure_*_schema, has_column, add_column_if_missing)

ConfigPage.tsx (1568 -> 1235 行):
- 抽出 types.ts: 所有接口/类型定义
- 抽出 constants.ts: TABS, inputCls, selectCls, TIMEZONE_OPTIONS
- 抽出 ui.tsx: Field, Toggle, TagEditor, SectionCard, SourceEditor, MapEntryHeader
- 抽出 api/expert.ts: getSelectedExpert, selectExpert (经 ConfigPage 再导出保持兼容)

验证: cargo build, cargo test --lib storage:: 17/17, npm run build
对抗性检查: 8/8 通过 (无丢失/重复函数, 无循环依赖, 无未使用导入)
 2026-07-07 18:36:23 +08:00
oudecheng
4766f838a2 fix: 过滤 subagent session 避免污染会话列表 
subagent session（id 形如 sub:...）存入 DB 时 channel_name=websocket，会被 list_sessions 查出并显示在前端右上角。SQL 添加 AND id NOT LIKE 'sub:%' 过滤。
 2026-07-03 19:32:28 +08:00
oudecheng
7e24e57af4 fix: 修复 persistent_session_id 前缀重复累积问题 2026-07-03 16:32:24 +08:00
oudecheng
2a02adc7c3 feat: 将 StreamingAccumulator 中的 tool_calls 类型从 HashMap 更改为 BTreeMap；在 SkillSource 中添加自定义源支持 2026-07-03 11:34:30 +08:00
oudecheng
51e06c8f73 feat: 实现两段历史压缩的同步处理，替换会话的活动历史记录 2026-07-03 09:52:45 +08:00
oudecheng
7f262c9af2 feat(todos): 在 todos 表中添加 created_by_message_id 字段以支持消息关联 2026-06-23 17:37:54 +08:00
oudecheng
3be9c1e646 feat(storage): 添加 todos 表的 created_by_message_id 字段迁移 
- 检查 todos 表中是否存在 created_by_message_id 列
- 若不存在则添加该列，类型为 TEXT
- 记录添加列的迁移过程日志
- 确保数据库表结构更新完成后返回成功状态
 2026-06-22 14:55:13 +08:00
oudecheng
4efc8b51e7 feat(todo): 添加待办项关联的创建消息ID并支持消息高亮 
- 在待办相关数据结构和存储中新增 created_by_message_id 字段
- 记录待办项创建时对应的消息ID，支持追溯来源
- 在前端待办列表项增加点击事件，点击后滚动并高亮对应消息
- 在消息列表组件中实现高亮动画及自动滚动功能
- 更新相关工具、协议和数据库查询，确保新字段正确传递和存储
- 增加 CSS 动画实现待办对应消息的高亮闪烁效果
- 优化前端状态管理，支持设置与获取高亮消息ID
 2026-06-22 14:50:37 +08:00
oudecheng
edc1a50d1c feat(todos): 修改 todos 表结构，迁移至复合主键并添加索引 2026-06-16 16:17:12 +08:00
oudecheng
6f8c4a7ce8 feat: 更新 load_messages_for_topic 方法，支持按 session_id 过滤消息 2026-06-12 19:05:06 +08:00
oudecheng
881fcace47 feat: 添加 todo_write 工具，支持全量替换和增量合并两种模式 
- Tool: 纯内存实现 (Arc<RwLock<HashMap>>)，零 DB 依赖，解耦持久化
- 状态机: pending → in_progress → completed/cancelled，单 in_progress 约束
- merge=false: 全量替换模式（默认）
- merge=true: 增量更新模式，只传变更的项，其余保留
- 隔离: scope_key = topic_id.unwrap_or(session_id)，topic 和子代理隔离
- 持久化: TodoRepository trait + SessionStore SQLite 实现，在 Session 拦截器层完成
- 前端推送: WsOutbound::TodoList 事件
- Prompt: TodoPromptProvider 中文指令，子代理模板也包含
- 测试: 16 个单元测试，全部通过

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-12 14:19:07 +08:00
ooodc
c0d4f65de4 feat: 更新数据库连接管理，使用连接池优化会话存储，添加新的错误处理 2026-06-07 21:35:47 +08:00
ooodc
cf1152571d feat: 实现内存记录的去重和统一 scope_key 为 "default" 2026-06-06 15:07:06 +08:00
ooodc
abb2d596f4 feat: 统一记忆 scope_key 为 "default"，简化上下文依赖 2026-06-06 14:52:54 +08:00
oudecheng
2f529e96d0 feat: 添加滚动控制功能，支持回到顶部和回到底部的按钮 2026-06-04 16:00:43 +08:00
oudecheng
025c355c7d feat: 在消息查询中添加工具执行时长字段，增强消息记录功能 2026-06-02 17:27:29 +08:00
oudecheng
590ea9abb0 feat: 添加工具执行时长字段到消息存储，增强消息记录功能 2026-06-02 17:17:06 +08:00
oudecheng
4d6d989247 feat: 添加工具执行时长字段，增强消息处理功能 2026-06-02 16:52:47 +08:00
ooodc
1288ba268f feat: 限定记忆命名空间为7种分类 
- 新增 ALLOWED_MEMORY_NAMESPACES 常量定义允许的命名空间
- 添加 namespace 验证函数 is_valid_namespace()
- memory_manage 工具 schema 使用 enum 限制 namespace
- memory_search 工具 schema 使用 enum 提示可用 namespace
- 更新系统提示词添加命名空间分类说明
- 更新记忆维护提示词添加命名空间分类说明
- 修复测试中使用旧 namespace 的问题

命名空间分类:
- user: 用户记忆
- semantic: 语义记忆
- episodic: 情景记忆
- skill: 技能记忆
- environment: 环境记忆
- reflection: 反思记忆
- other: 其他记忆
 2026-05-30 13:06:55 +08:00
oudecheng
3b0b4c1f2e refactor: 消息持久化改为批量单事务插入 
- 新增 append_messages_batch 方法，所有消息在一个事务内插入
- session_history 移除逐条 append_persisted_message，统一走批量路径
- 子智能体消息保存从 for 循环改为批量调用

Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>
 2026-05-29 13:02:15 +08:00
oudecheng
4cb26b5b67 feat: 子智能体任务消息查看，实时广播工具调用事件 
- 新增 LoadTaskMessages 命令，加载子智能体任务的历史消息
- SubAgentEmitter 通过 MessageBus 实时广播子智能体工具调用
- 前端新增子智能体视图，支持导航进入/退出子智能体会话
- 外部渠道过滤子智能体事件，避免推送到飞书/微信
- ToolCall/ToolResult 新增 subagent_task_id 字段

Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>
 2026-05-29 11:15:38 +08:00
oudecheng
598d425c28 feat: 话题添加描述字段，工具消息按 tool_call_id 合并展示 
- TopicSummary 新增 description 字段，侧边栏优先显示描述
- ToolPanel 使用 toolCallId 将 tool_call 和 tool_result 配对合并展示
- 保存消息时同步更新 topics 表的 message_count 和 last_active_at
- ChatMessage 新增 toolCallId 字段

Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>
 2026-05-28 14:30:21 +08:00
ooodc
0732b31e6b feat: 添加主题描述生成和更新功能，优化会话信息展示 2026-05-24 08:32:34 +08:00
ooodc
b6f2de053d refactor: 移除会话重置逻辑中的 reset_cutoff_seq 字段，优化会话管理和历史压缩逻辑 2026-05-23 18:38:34 +08:00
oudecheng
8d530dcd6b feat: 添加确保会话存在的功能，优化子智能体会话管理 2026-05-20 17:21:14 +08:00
oudecheng
8f82009c32 feat: 重命名工具名称，简化工具调用接口 2026-05-19 15:18:04 +08:00
ooodc
4eb6193d0c feat: 添加获取话题消息数量的方法，优化话题列表和切换话题的反馈信息 2026-05-16 22:03:32 +08:00
oudecheng
2e13f6932c feat: Enhance session management with topic support 
- Added topic management capabilities, allowing users to create, switch, and query topics within sessions.
- Updated command structure to include new commands: SwitchSession and GetCurrentSession.
- Introduced TopicRecord for managing topic data in the storage layer.
- Modified session handlers to accommodate topic operations, including listing and loading topics.
- Enhanced database schema to support topics, including new tables and relationships.
- Updated input adapters to recognize new commands and handle topic-related actions.
- Improved logging for session and topic operations to aid in debugging and monitoring.
 2026-05-15 15:01:58 +08:00
ooodc
5eb9a26843 feat: 添加会话查询命令处理器，支持列出和加载会话功能 2026-05-14 23:27:23 +08:00
oudecheng
7238bd20d8 feat: 添加恢复中断调度任务的功能，支持从上次会话中恢复运行中的任务 2026-05-12 16:18:45 +08:00
ooodc
597881f72e feat: Implement WeChatBot SDK with error handling and message protocol 
- Add WeChatBotError enum for error handling with various error types.
- Create a Result type alias for easier error management.
- Implement ILinkClient for low-level API interactions including QR code generation, message sending, and updates retrieval.
- Define message types and structures for handling incoming messages and media content.
- Add tests for error handling and message parsing to ensure reliability.

Co-authored-by: Copilot <copilot@github.com>
 2026-05-06 14:18:47 +08:00
ooodc
3f5ed6e4e4 feat: 移除不必要的 list_memory_scope_keys_updated_since 方法及其测试，优化代码结构 2026-05-05 19:53:55 +08:00
ooodc
891830779f feat: 重构存储逻辑，使用 ConversationRepository 和 PromptInjectionRepository 替代 SessionStore，优化会话和提示注入管理 
Co-authored-by: Copilot <copilot@github.com>
 2026-04-28 15:55:27 +08:00
ooodc
396504dffb Refactor agent and storage components to introduce SkillProvider and repository patterns 
- Introduced `SkillProvider` trait to abstract skill-related functionalities.
- Replaced `SkillRuntime` with `EmptySkillProvider` in `AgentLoop` for default behavior.
- Updated `AgentFactory` to accept `SkillProvider` instead of `SkillRuntime`.
- Created `SessionHistory` struct to manage chat histories and interactions.
- Added `MemoryRepository`, `SchedulerJobRepository`, and `SkillEventRepository` traits for better storage abstraction.
- Refactored tools to use new repository traits for memory and scheduler management.
- Cleaned up session management logic by consolidating chat history handling into `SessionHistory`.

Co-authored-by: Copilot <copilot@github.com>
 2026-04-28 15:12:45 +08:00