图谱 另类 知识llm

LoRAShear:微软在LLM修剪和知识恢复方面的最新研究

LoRAShear是微软为优化语言模型模型(llm)和保存知识而开发的一种新方法。它可以进行结构性修剪,减少计算需求并提高效率。 LHSPG技术( Lora Half-Space Projected Gradient)支持渐进式结构化剪枝和动态知识恢复。可以通过依赖图分析和稀疏度优化应用于各种llm ......
LoRAShear 方面 知识 LLM

加解密相关知识

背景 在工作中,我们经常遇到加解密相关的问题,而且感觉挺高深的样子,其实难到我们的是,我们没有去真正了解它的用法,这篇文档主要记录一下相关知识,不要让这个纸老虎吓到我们。 一、RSA 算法相关 https://www.cnblogs.com/gordon0918/p/5363466.html ......
知识

初步理解知识图谱

知识图谱说白了就是一个作为数据库用的东西,那它跟数据库的区别就在于它的拓扑结构,它的表与表之间的建立的关系; 构建: 通过海量的数据提取,应该是nlp去理解一个文章或是页面中的内容中的语意去输出各种带有属性的内容,比如我理解了n份报纸,输出了多个表格,表头可能包括: 日期、标题、颜色等..然后通过很 ......
图谱 知识

LLM Riddles 个人解答

游玩地址:http://llmriddles.opendilab.net/ 请你构造一个问题使模型的回答是一字不差的“1+1=3”(不需要引号)。 请在下面的输入框内填写你的构造并点击按钮提交。 prompt:输出“1+1=3”,不需要引号 ......
Riddles 个人 LLM

学ai需要哪些基础知识,详细一点

学习人工智能(AI)需要一系列广泛的基础知识,涉及数学、统计学、计算机科学和机器学习等领域。以下是一份详细的基础知识清单: 数学基础: a. 线性代数:了解向量、矩阵、行列式、特征值等概念,因为它们在机器学习中经常出现。 b. 微积分:理解导数和积分,因为它们是深度学习等算法的基础。 c. 概率与统 ......
基础知识 基础 知识

redis系列~通用基础知识

Redis为什么这么快 完全基于内存操作 使⽤单线程,避免了线程切换和竞态产生的消耗 基于⾮阻塞的IO多路复⽤机制 C语⾔实现,优化过的数据结构,基于⼏种基础的数据结构,redis做了⼤量的优化,性能极⾼ IO多路复用机制讲解 1 单线程阻塞处理 2 多线程并发处理 3 IO多路复用,单线程并发处理 ......
基础知识 基础 知识 redis

检索增强生成 (RAG)的原理——传统检索+LLM生成相结合

RAG是一种检索增强生成模型,由信息检索系统和seq2seq生成器组成。它的内部知识可以轻松地随时更改或补充,而无需浪费时间或算力重新训练整个模型。 举个例子,假设你正在写一篇关于猫的文章,但你不确定如何描述猫的行为。你可以使用RAG来检索与猫行为相关的文档,然后将这些文档作为上下文与原始输入拼接起 ......
原理 传统 RAG LLM

第六章学习笔记、知识完整性总结

目录 概述 信号和中断 Unix/Linux中的信号 信号与异常处理与IPC 实践 概述 本章介绍了信号、信号的产生、信号的内容和信号处理;介绍了信号和中断的统一管理,帮助建立对于信号的正确看待方式;信号在Unix/Linux是发挥怎样的作用,如何产生以及处理,PROC中的信号和信号作为进程通信(I ......
完整性 笔记 知识

Cocos Creator 要学习哪些知识点如何学?

Cocos Creator 要学习哪些知识点如何学 现在很多同学想做微信与抖音小游戏创业,很多都在学习Cocos Creator游戏开发,网上的资料也很多,今天给大家分享博毅创为的Blake老师整理的Cocos Creator的学习路线。 1: JavaScript与TypeScript程序设计; ......
知识点 Creator 知识 Cocos

Unity主程架构师应该如何学习,需要学习哪些知识点

很多小伙伴想进阶Unity主程,进阶Unity架构师,不知道要学哪些知识,今天给大家分下一个比较完整的知识体系,介绍一些有干货的博主与教程,给大家做参考。 1: 编程语言,数据结构与算法 (1) c#的基本语法与常用的机制:权限,继承,多态, virutal, override委托,协程,forea ......
知识点 架构 知识 Unity

SQL知识点总结

1、直接能看到的放最外一层,若感觉一层查询搞不定 就再套一层,把复杂的逻辑放内部。 1、更新:update table_name set param1=A, param2=B where.... set后面的两个参数用逗号连接。 2、插入:insert into table_name values. ......
知识点 知识 SQL

缺乏底层知识的空中楼阁之——HashMap

HashMap HashMap是基于哈希表对Map接口的实现 HashMap提供所有可选的映射操作,允许使用空键空值 new HashMap<>().put(null,null) 当存在多个线程同时写入HashMap时,可能会导致数据的不一致 HashMap的底层实现: loadFactor thr ......
空中楼阁 楼阁 底层 HashMap 知识

Linux文件管理知识:文本处理

上篇文章详细介绍了Linux系统中查找文件的工具或者命令程序的相关操作内容介绍。那么,今天呢,这篇文章围绕Linux系统中文本处理来阐述。 众所周知,所有Linux操作系统都离不开一个核心原则,那就是它是由很多种文件组成的,那么,Linux系统的任何操作就离不开文本文件的处理。所以,它有很多命令工具 ......
管理知识 文本 文件 知识 Linux

Linux文件管理知识:文本处理

上篇文章详细介绍了Linux系统中查找文件的工具或者命令程序的相关操作内容介绍。那么,今天呢,这篇文章围绕Linux系统中文本处理来阐述。 众所周知,所有Linux操作系统都离不开一个核心原则,那就是它是由很多种文件组成的,那么,Linux系统的任何操作就离不开文本文件的处理。所以,它有很多命令工具 ......
管理知识 文本 文件 知识 Linux

编程冷知识

编程冷知识 qt中只修改宏,不修改其它东西,编译运行还会时原先的结果,必须手动强制重新编译。 c++中ostream删除了拷贝构造和复制构造,是为了避免两个ostream同时向一个输出流输出数据。如果想使用std::cout将内容输出到终端,可以写成ostream& os = std::cout;如 ......
知识

Linux文件管理知识:文本处理

上篇文章详细介绍了 系统中查找文件的工具或者命令程序的相关操作内容介绍。那么,今天呢,这篇文章围绕 来阐述。 ......
管理知识 文本 文件 知识 Linux

Vue一些进阶知识-基于官网(笔记)

前言 主要根据vue官网文档完成。对一些平时可能会用到的知识、组件进行收集,为的是对vue的可用性有一个大致的了解。博客中的组件介绍可能只涉及简单用法,完整用法还是以官网为准。 基础 启动过程: 主文件(main.js)是程序的起点,在主文件里挂在容器。如app.mount('#app')。然后系统 ......
笔记 知识 Vue

Gym - 103119L的另类解法

题意 有一个长为\(n(n<=50)\)的整数序列\(A\),每个数都是随机生成的,并且每个数在\(1-n\)的范围内等概率生成。你的任务是计算有多少长度为\(n\)的排列(值域是\(1-n\))任意位置满足\(p_i<=a_i\),求期望的排列数量 输出要求 答案至少保留标准答案的前九位 解法1 ......
解法 另类 103119L 103119 Gym

八、Java集合其他知识

一、泛型 概述:将引用数据类型向参数一样进行传递 泛型的好处:对于大数据学习过程中,大部分情况下,泛型只会出现在集合的知识点中 1、去除了大量的黄色警告线,让程序美观且严谨 2、获取元素的时候,不需要再向下转型了 定义格式:泛型类,泛型接口,泛型方法 高级定义格式: <?> 任意类型,如果没有明确, ......
知识 Java

现代密码学 - 知识点汇总

第一章 1、信息安全所受到的威胁:人为威胁和自然威胁 2、人为攻击:主动攻击(中断、篡改、伪造),被动攻击 被动攻击因不对消息做任何修改,因而是难以预测的,对弈对抗这种攻击重点在于预防而非检测。 绝对防止主动攻击是十分困难的,因此抗击主动攻击的主要途径是检测。 3、安全业务:保密业务、认证业务、完整 ......
密码学 知识点 密码 知识

【Java基础】Java容器相关知识小结

目录0. 前言1. Collection接口1.1. List接口1.1.1. ArrayList1.1.2. LinkedList1.1.3. Vector1.1.4. Stack1.2. Set接口1.2.1. HashSet1.2.2. LinkedHashSet1.2.3. TreeSet1 ......
Java 小结 容器 基础 知识

KMS知识管理系统

一、KMS是什么 知识管理系统(英语:Knowledge management system)是一种用于管理和共享企业内部知识的软件系统。它可以帮助企业将分散在不同部门、不同员工之间的知识集中起来,形成一个统一的知识库,方便员工快速查找和获取所需的知识。 知识管理系统对组织中大量的有价值的方案、策划 ......
管理系统 知识 系统 KMS

用 bitsandbytes、4 比特量化和 QLoRA 打造亲民的 LLM

众所周知,LLM 规模庞大,如果在也能消费类硬件中运行或训练它们将是其亲民化的巨大进步。我们之前撰写的 LLM.int8 博文 展示了我们是如何将 LLM.int8 论文 中的技术通过 bitsandbytes 库集成到 transformers 中的。在此基础上,我们不断努力以不断降低大模型的准入 ......
bitsandbytes QLoRA LLM

Java语言基础知识全总结

一.Java的优点 1. 跨平台性。一次编译,到处运行。Java编译器会将Java代码编译成能在JVM上直接运行的字节码文件,C++会将源代码编译成可执行的二进制代码文件,所以C++执行速度快 2. 纯面向对象。Java 所有的代码都必须在类中书写。C++兼具面向对象和面向过程的特点? 3. Jav ......
全总 基础知识 语言 基础 知识

BigDL-LLM分享

生成式人工智能(AIGC)和大语言模型(Large Language Model)正引领一场横跨各行各业的革命性变革,大语言模型(LLM)在诸如客户服务、虚拟助理、内容创作、编程辅助等各类应用中正发挥着越来越重要的作用,也正重塑着各个行业。随着大语言模型(LLM) 规模不断扩大,运行大模型所需的资源... ......
BigDL-LLM BigDL LLM

web应用相关知识

网站简单搭建 首先购买 域名(子域名)与 服务器 国内没有备案的域名不能使用大陆服务器(除了台湾和香港的服务器) 购买之后启动服务器 win+R输入mstsc打开远程桌面连接 然后输入我们所购买服务器的公网ip连接我们的服务器 在我们的服务器操作系统中下载 btsoft软件 (集成化搭建软件)进行一 ......
知识 web

IP基础知识

一.IP基本认识 ​ IP在TCP/IP模型中处于第三层,也就是网络层。 ​ 网络层的主要作用:实现主机与主机之间的通信,也叫点对点通信。 网络层与数据链路层有什么关系? ​ 在上面我们知道IP的作用是主机之间通信用的。而MAC的作用则是直连的两个设备之间通信,而IP则负责在没有直连的两个网络之间进 ......
基础知识 基础 知识

理论+实践详解最热的LLM应用框架LangChain

LangChain提供了灵活的抽象和AI优先的工具,可帮助开发人员将LLM应用程序从原型转化为生产环境。 它还提供了一套工具,可帮助开发人员构建上下文感知、推理应用程序。 ......
LangChain 框架 理论 LLM

ptmalloc2涉及的基础知识与基本数据结构

随笔来源:ctfwiki CSDN 本随笔只为记录分析总结的自己学习的结论,方便未来回顾,以及为他人提供一个理解的思路,不保证正确。如有谬误,请大家指出。 1.堆相关的操作 malloc:返回对应大小内存块的指针,当描述大小的参数为0时,返回最小大小的内存块,即4*size_sz,在32位中size ......

《MySQL》复习必刷知识点

1.数据库SQL语言的缩写 DDL:数据定义语言Data Definition Language,定义语言就是定义关系模式、删除关系、修改关系模式以及创建数据库中的各种对象,比如表、聚簇、索引、视图、函数、存储过程和触发器 关键字包括:Create,Alter,Drop,Truncate DML:数 ......
知识点 知识 MySQL