岗位定位
面向AIPC及搭载新型推理芯片的智能计算设备,研发本地大模型应用与Agent系统。结合设备算力、内存与推理架构特点,完成模型部署、推理运行时集成、应用开发与性能优化,将硬件推理能力转化为可交付的产品体验。
岗位职责
- 研发本地AI应用与Agent:围绕知识助手、内容处理、研发辅助、办公自动化等场景,完成需求分析、架构设计、开发与交付。
- 对接芯片SDK与推理运行时:集成设备厂商提供的模型接口、运行时及工具链,完成模型加载、推理调用、流式输出、取消与资源释放,封装统一的应用接口。
- 完成模型适配与部署:根据硬件支持情况,开展模型选型、格式转换、量化方案验证与兼容性测试,评估模型质量、上下文长度和资源消耗。
- 构建Agent执行能力:实现工具调用、任务编排、上下文与记忆管理、状态持久化、异常恢复,连接本地文件、知识库、应用与系统工具。
- 优化整机应用性能:分析模型加载、Prefill、Decode、检索和工具执行等环节的瓶颈,优化首Token延迟、生成速度、峰值内存与任务完成时间,兼顾功耗和持续运行表现。
- 适配异构计算环境:根据CPU、GPU、NPU或专用推理加速器的能力,设计任务分配、模型执行与回退策略。
- 建设评测与调试体系:建立覆盖模型效果、Agent任务成功率、设备性能与稳定性的测试集,支持跨模型、跨芯片与跨运行时版本的对比和回归。
- 与芯片、编译器、推理引擎及产品团队协作,定位软硬件集成问题,推动新型推理架构在真实应用中的验证与落地。
任职要求
- 计算机、软件工程、电子工程或相关专业硕士学历;具备3年及以上软件开发经验,有本地AI应用、推理部署或软硬件集成项目经验。
- 熟练掌握Python、C++、Rust中至少一种语言;能够阅读SDK文档与示例,完成原生库调用、接口封装和集成调试。
- 熟悉Windows或Linux环境开发,理解多线程、异步任务、进程通信、内存管理与性能分析,能够独立定位应用稳定性问题。
- 理解大模型推理机制,包括模型权重、Tokenizer、Prefill/Decode、KVCache、上下文长度与量化精度,能够分析其对设备资源与应用体验的影响。
- 有至少一种本地推理框架或芯片工具链的实践经验,如llama.cpp、ONNXRuntime、OpenVINO、TensorRT,或芯片厂商提供的推理SDK。
- 能够针对目标设备完成模型部署与性能验证,理解算子支持、模型转换、动态形状、数据搬运与硬件回退等常见适配问题。
- 具备大模型应用或Agent开发经验,熟悉Prompt、结构化输出、ToolCalling、RAG与上下文管理,能够处理本地模型在指令遵循和工具调用上的能力限制。
- 具备实验与评测能力,能够在明确硬件配置、模型版本和测试条件的前提下,量化分析效果、延迟、吞吐与内存之间的取舍。
- 对新型AI推理架构有兴趣,能够在工具链持续迭代、文档尚不完善的环境中独立排查问题,并与底层团队有效协作。
加分项
- 有AIPC、工作站、本地AI一体机或专用推理设备的产品交付经验。
- 有新型NPU、数据流架构、存算一体或其他专用推理架构的适配与应用开发经验。
- 熟悉异构计算、内存带宽约束、零拷贝或模型分层执行,具备相应优化实践。
- 有模型量化与精度回归、混合精度、长上下文优化或推测解码经验。
- 有编译器、算子、推理引擎开发经验,能够协助定位底层性能与兼容性问题。
- 有本地多模态、语音交互、文档理解、CodingAgent或桌面自动化项目经验。
- 有离线部署、模型分发更新、设备兼容性测试与可观测性建设经验。
应聘时欢迎提供
项目演示或代码仓库,并说明:目标设备与芯片、模型及量化规格、使用的推理运行时、本人负责部分,以及实测性能与任务效果。