xai_agent
从源码理解本地推理
面向 20260905 视频课程版本的工程文档。沿着界面、会话线程与 llmclass 封装阅读源码,并在本机完成构建与运行。
01 / DESIGN
设计文档
模块边界、线程协作、推理时序、采样配置与会话磁盘格式。
阅读设计 →02 / INSTALLATION安装与运行
运行课程包、构建 Qt 桌面程序、独立使用 llmclass 与排错。
开始安装 →按目标开始
- 想运行程序:先读安装文档第 3 节,确认模型与工作目录。
- 想理解源码:从设计文档的分层结构和启动时序开始。
- 想修改封装:先核对上下文、采样与缓存接口约定,再检查已知限制。
本次为自有源码补充中文注释,包含 llmclass;llama.cpp 上游源码保持原样。设计文档按当前实现说明,并明确标出尚待完善的行为。