BLOG
知识分享
技术文章、实战教程、经验心得
共找到 3 篇文章
代码库知识库ChunkingAST
代码库知识库系列(04):三种 Chunking 策略对比——AST 精确分割反而输了?
对 266 行 Python 代码跑三种 Chunking 策略:固定行(Recall@5=1.000)、文件级(1.000)、AST 函数级(0.958)。反直觉结论:AST 精确分割得分最低。根因是 free-rider 效应——大 chunk 把语义相邻函数捆绑在一起,单一的语义距离远的查询能通过近邻搭便车命中。但文件级 precision 为零,固定行在大型项目里会切断函数。工程选择取决于代码库规模和 precision 要求。
·约 11 分钟阅读
RAGChunkingEmbedding
RAG 系列(三):调对这 4 个参数,让你的 RAG 从「能用」变「好用」
RAG 系列第三篇。Chunk Size、Chunk Overlap、Top-K、Embedding Model 这四个参数怎么选?用控制变量实验对比不同参数组合的效果,附参数选择决策树和 5 个最常踩的坑。
·约 13 分钟阅读
RAGChunkingText Splitting
RAG 系列(四):文档处理——从原始文件到高质量 Chunk
RAG 系列第四篇。4 种分块策略深度对比:固定大小、递归字符、语义分块、文档结构分块。用同一份 Markdown 文档实测每种策略的效果差异,附可视化对比和选型决策表。
·约 11 分钟阅读