免责声明:网站内容仅供个人学习记录,禁做商业用途,转载请注明出处。

版权所有 © 2017-2020 NEUSNCP个人学习笔记 辽ICP备17017855号-2

Windows系统安装RUST环境

1. 配置环境变量 配置国内镜像源: RUSTUP_DIST_SERVER=https://mirrors.ustc.edu.cn/rust-static RUSTUP_UPDATE_ROOT=https://mirrors.ustc.edu.cn/rust-static/rustup 运行rust_init.exe安装程序,默认选1,安装visual studio依赖库 安装包下载900多M 等待安装完成 安装完成后,进入:C:\Users\admin\.cargo,新建文件config.toml,内容如...

继续阅读 »
分享到:

RAG自适应切分器初探

Rule-based adaptive splitter这种切分器的核心思想是: 不依赖于固定的字符数,而是通过识别文本中的语义边界标记来进行切分 。这些标记通常是语言或格式中固有的、表示一个完整思想结束的信号。 一、 设计思路 我们将采用一种 分层优先级的规则引擎 来设计这个切分器。 定义语义边界规则 :我们将定义一系列规则,每条规则对应一种语义边界。这些规则可以用正则表达式来表示,以匹配复杂的模式。 设置规则优先级 :不是所有边界的语义强度都一样。例如,一个新章节的开始( ## 新章节 )比一个段落结...

继续阅读 »
分享到: