手记chatglm cpp
使用vLLM和ChatGLM3-6b批量推理
当数据量大的时候，比如百万级别，使用 ChatGLM3-6b 推理的速度是很慢的。发现使用 vLLM 和 ChatGLM3-6b 批量推理极大的提高了推理效率。本文主要通过一个简单的例子进行实践。 1.安装 vLLM 和PyTorch [2] 除了 Python（本文使用 3.11）、CUDA（本文 ......
cpp-strtok-s
title: strtok_s()函数用法 author: Tokisaki Galaxy top: false cover: false toc: true comments: true mathjax: false noindex: false sitemap: true date: 2020- ......
cpp-vector
title: vector 用法 author: Tokisaki Galaxy top: false cover: false toc: true comments: true mathjax: false noindex: false sitemap: true date: 2020-09-04 ......
cpp-opt-mysql
title: c++ 操作mysql数据库 author: Tokisaki Galaxy top: false cover: false toc: true comments: true mathjax: false noindex: false sitemap: true date: 2020- ......
cpp-Array-element-count
title: C++数组元素个数计算 author: Tokisaki Galaxy top: false cover: false toc: true mathjax: false date: 2019-12-03 img: coverImg: excerpt: C++数组元素个数计算 tags: ......
cpp-project-calc-for-Average
title: 平均数及方差计算器 author: Tokisaki Galaxy top: false cover: false toc: true comments: true mathjax: false noindex: false sitemap: true date: 2020-08-26 ......
cpp环境搭建 - VSCode创建CMakeLists项目
1) 先要安装插件CMake Tools 2) 没配置CMakeLists.txt前的项目文件，直接用之前配置的Build Task构建，会报main.cpp找不到头文件，因为它在./include/Test.h下，在main.cpp所在的文件夹搜肯定是没有的 3) 下面开始配置CMakeLists ......
cpp环境搭建 - vs2017编译CMakeLists项目（Box2dLite）
box2dlite地址：GitHub - erincatto/box2d-lite: A small 2D physics engine vs2017不支持utf-8 without bom问题 box2d lite的源码文件是utf-8 without bom的，如果在里面写了中文注释，就会出现编 ......
开发环境: googletest + abseil-cpp-20230802.1 + protobuf
googletest: mkdir build && cd build && cmake .. && sudo make -j16 install && cd .. abseil-cpp-20230802.1 cmake -DCMAKE_CXX_STANDARD=17 -DABSL_USE_EXTE ......
cpp: enum in C,C++
C: C11 以上 第一种方式： /** * @file duLangMap.h * @author geovindu,Geovin Du(geovindu@163.com) * @brief vscode c11 * @version 0.1 * @date 2023-12-18 * * @cop ......
cpp环境搭建 - MinGW和cmake安装
【MinGW】 MinGW主要用于在Windows上使用gnu下的相关编译工具，比如：gcc。 下载地址1：MinGW-w64 - for 32 and 64 bit Windows - Browse /mingw-w64 at SourceForge.net 下载地址2：Releases · ni ......
cpp环境搭建 - CLion下使用cmake编译项目
CLion是JetBrains旗下的一款cpp开发工具，用过IDEA的就知道JetBrains旗下的开发工具好用又强大。 这边使用了CLion的2021.2.2版本，为啥用这么老的版本？因为这个版本还能用ide-eval-resetter插件 下载地址：Other Versions - CLion ......
记Linux跑ChatGLM2的坑
记录一下踩过的坑… 0. 环境配置: 全程国内网 Ubuntu 20.04 with Python 3.8 and CUDA 12.2 RTX3060 Laptop (6G) 1. ChatGLM的下载: # clone 仓库 git clone https://gitclone.com/githu ......
vscode编译多个C/CPP文件
修改vscode里面的tasks.json文件,下面是修改好的，参考 "args": [ "-fdiagnostics-color=always", "-g", //"${file}", //只执行当前文件 "${workspaceFolder}\\*.cpp", //工作区内，执行多个关联cpp文 ......
鲜花.cpp
ovo Never gonna give you up~ Never gonna let you down~ 昨天 T2 求调捏qwq 得分 \(55\)，分别在 #3，#5，#7 wa 了。 //transport #include<bits/stdc++.h> #define N 1010 #d ......
cpp configuration for vscode on Mac
直接运行 https://zhuanlan.zhihu.com/p/103308900 调试 //cpp_.... { "configurations": [ { "name": "Mac", "includePath": ["${workspaceFolder}/**"], "defines": ......
Typescript入门手记
准备： 检查npm代理，是否使用国内镜像；否则，npm install容易卡住不动 npm config set registry=https://registry.npmmirror.com #执行以下命令查看是否配置成功 npm config get registry 详情：https://bl ......
cpp mysql lmysqlcppconn call procedure
mysql> show create table t5; + + + | Table | Create Table | + + + | t5 | CREATE TABLE `t5` ( `id` bigint unsigned NOT NULL AUTO_INCREMENT, `name` varc ......
ChatGLM2-6B模型的微调
概述 GLM模型底层还是基于Transformer，因此其设计、优化都是围绕Transformer的各个组件的。从注意力层的掩码、位置编码等方面优化与设计。 ChatGLM3/ChatGLM2的源码中，比如finetune、trainer等代码，其实是copy自HuggingFace，而且其使用流程 ......
VS+QT联合编程序移动文件后遇到找不到XXX.h,XXX.cpp,XXX.ui
想把自己的模块在文件系统中弄得清楚一点，移动文件并删除文件夹，重新连接并且重新编译却出现了找不到XXX.文件的问题，而且多次出现，问题均为带ui的模块 之前怎么处理的我忘了，现在记录一下现在知道的方法： 1.用文本形式打开.vcxproj工程文件 2.搜索提示找不到的文件路径，发现有/原路径/xxx ......
【Cpp 语言基础】简单聊一聊to_string
头文件 ：#include<string> 功能：将数字常量转换为字符串 参数：value 返回值：转换好的字符串 重载版本： std::string to_string(int value); (1) (C++11起) std::string to_string(long value); (2) ......
cpp的编译过程
C++程序的编译过程通常分为四个主要步骤： 预处理（Preprocessing）：这个阶段主要处理源代码文件中的以“#”开头的预编译指令4。例如，对宏进行展开，对include的文件进行展开，处理条件编译选项判断，清理注释等。预处理后生成的文件通常以.i或.ii结尾2。 编译（Compilation ......
【Cpp 基础】泛型算法 stable_sort() 的应用
最近在刷牛客的题。经常遇到排序问题，经常有一个附加的规则：相同的数值的，按照录入的顺序排序。 可是C++的sort()的底层是快速排序，并不能保证相同数值的顺序不改变。所以最后我不得不自己写冒泡排序。（冒泡排序不改变相同数值的录入顺序） 写了那么多的排序，但是其实C++里封装有排序函数，而且功能非常 ......
opencv cpp的安装
搞了半天, 可算弄好了. vs opencv cpp: https://blog.csdn.net/weixin_50918736/article/details/130176469?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevan ......
ChatGLM 模型部署
ChatGLM 模型部署 模型地址： huggingface：https://huggingface.co/THUDM/chatglm3-6b modelscope：https://modelscope.cn/models/ZhipuAI/chatglm3-6b/summary 搭建环境 # 下载代 ......
结合SK和ChatGLM3B+whisper+Avalonia实现语音切换城市
结合SK和ChatGLM3B+whisper+Avalonia实现语音切换城市 先创建一个Avalonia的MVVM项目模板,项目名称GisApp 项目创建完成以后添加以下nuget依赖 <PackageReference Include="Mapsui.Avalonia" Version="4.1 ......
cpp-houjie
CPP Houjie Subtitle: 侯捷 C++ 课程笔记 Created: 2023-11-25T10:40+08:00 Categories: CPP 目录面向对象编程（上）C++ 程序设计（Ⅱ）兼谈对象模型C++ 标准库体系结构与内核分析附Component 和 Inheritance ......
使用Langchain与ChatGLM实现本地知识库（二）
大语言模型也只是将用户提供的大规模数据集训练而来，也并非万能的什么都知道，特别是一些小众知识、内部数据或私密的个人数据等，此时ChatGLM3肯定会胡乱回答就是ChatGPT4也不一定能给出满意回答；不少公司、个人都有自己的知识库或日志等此时如有可将这些数据以某种方式挂在大模型上此时在知识库存在的知 ......
MinGW安装，解决想用g++命令编译.cpp源文件
下载MinGW： 下载地址：MinGW - Minimalist GNU for Windows download | SourceForge.net 安装MinGW： 例如安装在D:\MinGW文件夹下，安装好后选择需要下载的与The GNU C++ Compiler相关的4个安装包 选好安装包后 ......