语料库
HanLP — HMM隐马尔可夫模型 -- 语料库
BMES => B:词语开始、M：词语中间、E：词语结束、S:单独成词 并非所有中文任务都需要分词 语料库 每行是一篇“文章” 每篇文章用空格分开 语料库的准确性，严重影响分词结果 理论上，语料库越大越好 每个字都有一个标识（隐藏状态），可以根据语料库得到所有标识 中文分词就是为了得到状态 麻 辣 ......
语料库 第十一章 Section4
□ code [kJUd] n. 密码 □ maximum ['m&ksImJm] adj. 最大的，最多的 □ coconut ['kJUkJnVt] n. 椰子 □ mould [mJUld] n. 模具 □ elastic [I'lA:stIk] adj. 有弹性的 □ vertical [' ......
业务场景(用户交互) + Corpus语料库/数据库建立 + Attention 与 Self-Attention：世界常识库|全局信息|语法信息|句法信息|Context上下文信息
一、场景(用户交互)： 1. 用户发起新会话Session，初始化交互系统，等待 用户输入 或 传入任务文档； 2. 用户实时输入，触发实时交互，设当前输入句子为S: 当前输入句子 S 长度未定，并且可能是动态字符流式输入： 因此可以用 Sliding Window滑动窗口, 提取 当前输入单词Wo ......
背单词方法论【雅思听力语料库】
用纸板挡住小程序单词表，听写，正确直接下一个，错了写三遍。边念发音，边默写 chatGpt查询相近的词，构词法，词根，怎么记。 百度翻译app查询怎么记。 fanyi.com查询发音区别。 重点错词记录到卡片上，卡片正面是英文，背面是生词 有道词典，桌面版 chatgpt fanyi.com 百度翻 ......
COIG：开源四类中文指令语料库
CHINESE OPEN INSTRUCTION GENERALIST: A PRELIMINARY RELEASE 论文：https://arxiv.org/pdf/2304.07987v1.pdf 数据地址：https://huggingface.co/datasets/BAAI/COIG Pa ......