pagelocked memory cuda
Kernel Memory 入门系列：快速开始
Kernel Memory 入门：Quick Start 了解了用户问答和文档预处理的流程之后，我们就可以直接开始使用Kernel Memory了。 1. 安装 项目中只需要通过NuGet安装Microsoft.KernelMemory.Core包即可。 dotnet add package Mic ......
安装 deepspeed 报错 | 【CUDA_HOME does not exist, unable to compile CUDA op(s)】
原因是因为 deepspeed 需要安装 cuda toolkit (runtime cuda), 不能使用 torch 内置的 cuda toolkit。 安装完成之后使用 nvcc -V， 输出版本则证明安装cuda toolkit 成功。 参考：[https://github.com/micr ......
Linux CentOS安装CUDA
查看CUDA版本 nvidia-smi 一、卸载显卡驱动 sh cuda_11.3.1_465.19.01_linux.run --uninstall 二、下载显卡驱动 ⚠️注意：建议不提前安装显卡驱动，通过cuda统一进行安装，以防版本问题！ 首先确定GPU服务器类型，驱动下载地址 三、下载CUD ......
Kernel Memory 入门系列：文档预处理
Kernel Memory 入门系列：文档预处理 Embedding为我们提供了问题理解和文档检索的方法，但是面对大量的文档，如果在用于提问的时候再进行文档的Embedding的话，那这个过程是非常耗时的，再加之我们的文档并不会频繁变化，所以我们可以对文档进行预处理，提升检索的效率。 文档的预处理大 ......
Go - error: panic: runtime error: invalid memory address or nil pointer dereference
Then looking at this code: res, err := client.Do(req) defer res.Body.Close() if err != nil { return nil, err } I'm guessing that err is not nil. You'r ......
Kernel Memory 入门系列： Embedding 简介
Kernel Memory 入门系列： Embedding 简介 在 RAG模式 其实留了一个问题。 我们对于的用户问题的理解和文档的检索并没有提供合适的方法。 当然我们可以通过相对比较传统的方法。 例如对用户的问题进行关键词提取，然后通过关键词检索文档。这样的话，就需要我们提前对文档做好相关关键词 ......
Kernel Memory 入门系列： RAG 简介
Kernel Memory 入门系列： RAG 简介 开一个新坑，Semantic Kernel系列会在 Release 1.0 之后陆续更新。 当我们有了一定的产品资料或者知识内容之后，自然想着提供一个更加方便的方式让用户能够快速地找到自己想要的信息，或者得到一个更加智能的答案。 以往的时候可能需 ......
一句话解决加载模型时的CUDA out of memory
在加载模型一行后加上max_memory即可，超出显存后会自动移到内存。 model = AutoModel.from_pretrained('your_model', trust_remote_code=True, max_memory={0: "6GiB", "cpu": "10GiB"}) 记 ......
cuda编程的简单案例
一个简单的案例： header.h void addKernel(const int* a, const int* b, int* c, int size); test.cu #include "cuda_runtime.h" #include "device_launch_parameters.h ......
windows安装tensorflow-gpu / CUDA / cuDNN
最终安装内容：windows10 + 3060显卡 + tensorflow-gpu 2.10.0 + CUDA 11.2 + cuDNN 8.1 1. 命令行输入nvidia-smi，查看显卡对应的cuda版本。如下图，CUDA Version为12.1，则安装的CUDA版本不能高于12.1。 2 ......
C++代码cuda版本的opencv实现图片BGR转RGB-HWC转CHW
前几天聊天的时候，有人疑问无法实现这种转换，因为原先实践过的缘故，就把解决方案写下 int Detect::dataProcess(unsigned char *img_ptr, int h, int w){ img = cv::Mat(h, w, CV_8UC3, img_ptr); cuda:: ......
使用ubuntu根据cuda11.2安装pytorch
在使用镜像新建了一个cuda11.2-python3.9 容器配置环境的过程中需要安装PyTorch。一开始我直接使用 pip install torch 来进行安装，但是运行程序时出现报错： RuntimeError: The NVIDIA driver on your system is too ......
Linux安装cuda环境
安装cuda驱动时 需要先卸载开源的cuda驱动 参看是否安装了开源驱动nouveau lsmod | grep nouveau 关闭 cat <<EOF | sudo tee /etc/modprobe.d/blacklist-nouveau.conf blacklist nouveau opti ......
写cuda程序bug调通以后记得不要用gdb编译代码！
一次并行与分布式计算的作业编写cuda程序使用 shared memory 进行优化，写出来的代码有错误，然后边开启了gdb调试，用 -G -g 选项编译。 结果后面使用 __shared__ 优化后跑出来竟然还没有不用跑出来快 急得我甚至都把PPT上的代码抄上去还是很寄 最后把 Makefile ......
Linux kernel memory barriers 【ChatGPT】
https://www.kernel.org/doc/html/v6.6/core-api/wrappers/memory-barriers.html Linux内核内存屏障 免责声明 本文档不是一个规范；它故意（为了简洁）和无意（因为是人类）不完整。本文档旨在指导如何使用Linux提供的各种内存屏 ......
The IDE is running low on memory
WebStorm 内存不足 提示：The IDE is running low on memory and this might affect performance. Please consider increasing the heap size. 翻译：IDE 内存不足，这可能会影响性能。请考 ......
Physical Memory (翻译 by chatgpt)
原文： https://www.kernel.org/doc/html/latest/mm/physical_memory.html Linux is available for a wide range of architectures so there is a need for an arch ......
OpenCV4.1.0与CUDAcuda_10.1.105联合进行图像特征点提取和特征匹配时，运行程序时错误提示：无法定位程序输入点?createBFMatchercv@DescriptorMatcher@cuda@cv......于动态链接库......
问题描述： OpenCV4.1.0与CUDAcuda_10.1.105联合进行图像特征点提取和特征匹配时，运行程序时错误提示：无法定位程序输入点?createBFMatchercv@DescriptorMatcher@cuda@cv......于动态链接库......，如下图所示： 解决办法： 如果 ......
conda环境下Python报错：raise MissingCUDAException("CUDA_HOME does not exist, unable to compile CUDA op(s)") CUDA_HOME does not exist, unable to compile CUDA op(s)
conda环境下Python报错： (pytorch) devil@Monster:~$ pip install deepspeed Collecting deepspeed Using cached deepspeed-0.12.4.tar.gz (1.2 MB) Preparing metada ......
cat /var/log/messages | grep memory 查看内存溢出 OOM
[root@test /]# cat /var/log/messages | grep memoryNov 29 18:14:35 test kernel: [<ffffffffaddcdaaa>] out_of_memory+0x31a/0x500Nov 29 18:14:36 test kern ......
论文：Predicting the performance of green stormwater infrastructure using multivariate long short-term memory (LSTM) neural network
题目“Predicting the performance of green stormwater infrastructure using multivariate long short-term memory (LSTM) neural network” (Al Mehedi 等, 2023, ......
论文：FEED-FORWARD NETWORKS WITH ATTENTION CAN SOLVE SOME LONG-TERM MEMORY PROBLEMS
题目：FEED-FORWARD NETWORKS WITH ATTENTION CAN SOLVE SOME LONG-TERM MEMORY PROBLEMS” (Raffel 和 Ellis, 2016, p. 1) “带有注意力的前馈网络可以解决一些长期记忆问题” (Raffel 和 Elli ......
软件测试/人工智能|LangChain Memory模块：开启语言数据的存储与回忆之旅
简介 大多数大模型应用中都包含对话功能，而对话功能的基础就是参与者能够基于已经发生的对话和获取到的知识产生新的对话内容。 更复杂一点的场景中对话者甚至需要具有一个完整的对世界的认知，再根据对话中的信息对认知不断的进行迭代更新。 随着人工智能和自然语言处理技术的飞速发展，语言数据的存储和处理变得越来越 ......
Windows10 下 CUDA 新旧多版本共存
前言 为了运行一个 Tensorflow1.6.0 的项目，CPU 跑了三个多小时才完成一个 epoch，还得用 GPU。但这个版本的 TF 只能在 10 以下的 CUDA 平台，但是以前的 Pytorch 也要继续啊。所以需要在本地 Windows 下安装多个版本 CUDA，其实有两种方式让 CU ......
torch.cuda
什么时候需要将计算放置再gpt，cuda上 数据，模型放在cuda上计算之后，还用导回cpu吗 用法 torch.cuda.is_available() torch.cuda.device() ......
使用NVIDIA HPC SDK构建cuda-samples
NVIDIA HPC SDK虽然附带了CUDA、cuBLAS等库，但安装路径与CUDA Toolkit有差异。cuda-samples有些示例用到了cuBLAS等数学库，按照文档直接make会找不到库文件。 翻找示例的Makefile想找全局的设置，发现有行ALL_CCFLAGS += $(EXTR ......
fork: Cannot allocate memory
环境背景 项目 值 操作系统 CentOS 7.9 KVM Libvirt 4.5.0 问题现象 -bash-4.2$ sudo -i -bash: fork: Cannot allocate memory -bash: fork: Cannot allocate memory -bash-4.2$ ......
CUDA编程-性能优化
参考文档： CUDA C++ Best Practices Guide 持续更新中。。。 指令优化 使用数学库 在速度胜过精度的情况时，可以考虑使用数学库函数接口。函数名称前带有__下划线的函数名，此类函数在硬件级别上的映射，速度更快，精度稍低。例如：__sinf(x) 另请注意，每当计算同一参数的 ......
Linux CentOS安装CUDA
查看CUDA版本 nvidia-smi 一、卸载显卡驱动 sh cuda_11.3.1_465.19.01_linux.run --uninstall 二、下载显卡驱动 首先确定GPU服务器类型，驱动下载地址 三、下载CUDA 1、选择正确的CUDA版本 下载地址 这里我选择11.3版本，下载地址为 ......