白鲸 数据分析 模型dataops
手把手教你在Ubuntu上部署中文LLAMA-2大模型
一、前言 llama2作为目前最优秀的的开源大模型，相较于chatGPT，llama2占用的资源更少，推理过程更快，本文将借助llama.cpp工具在ubuntu(x86\ARM64）平台上搭建纯CPU运行的中文LLAMA2中文模型。 二、准备工作 1、一个Ubuntu环境（本教程基于Ubuntu2 ......
基本数据类型及转换
基本数据类型及转换 代码 // example.go package test import "fmt" func BasicDataTypes() { fmt.Println("整数类型") var ( n1 = 0b0101 //二进制,默认为int n2 int8 = 0o77 //八进制 n ......
目录结构分析
CORE ├─changelogs // 更新日志 ├─packages // 源码和测试代码 │ ├─compiler-core // 跨平台的框架 │ ├─compiler-dom // 浏览器端编译器 │ ├─compiler-sfc // .vue 文件解析器 │ ├─compiler-ss ......
全新注意力算法PagedAttention：LLM吞吐量提高2-4倍，模型越大效果越好
前言 吞吐量上不去有可能是内存背锅！无需修改模型架构，减少内存浪费就能提高吞吐量！ 本文转载自新智元 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV ......
基于pandas的数据清洗 -- 异常值的清洗
博客地址：https://www.cnblogs.com/zylyehuo/ 开发环境 anaconda 集成环境：集成好了数据分析和机器学习中所需要的全部环境 安装目录不可以有中文和特殊符号 jupyter anaconda提供的一个基于浏览器的可视化开发工具 自定义一个1000行3列（A，B，C ......
基于pandas的数据清洗 -- 重复值的清洗
博客地址：https://www.cnblogs.com/zylyehuo/ 开发环境 anaconda 集成环境：集成好了数据分析和机器学习中所需要的全部环境 安装目录不可以有中文和特殊符号 jupyter anaconda提供的一个基于浏览器的可视化开发工具 df = DataFrame(dat ......
基于pandas的数据清洗 -- 缺失值（空值）的清洗
博客地址：https://www.cnblogs.com/zylyehuo/ 开发环境 anaconda 集成环境：集成好了数据分析和机器学习中所需要的全部环境 安装目录不可以有中文和特殊符号 jupyter anaconda提供的一个基于浏览器的可视化开发工具 丢失数据的类型 原始数据中会存在两种 ......
【8.0】Fastapi响应模型
【一】自定义响应模型 【1】定义视图函数 from fastapi import APIRouter from pydantic import BaseModel, EmailStr from typing import Optional app04 = APIRouter() ### 响应模型 # ......
【9.0】Fastapi表单数据处理
【一】表单参数 【1】定义视图 from fastapi import APIRouter, status, Form from pydantic import BaseModel, EmailStr from typing import Optional, Union, List app04 = ......
【5.0】Fastapi路径参数和数据的解析验证
【一】小项目构建 【1】文档结构树 projects ├─coronavirus ├─__init__.py ├─....py ├─turtorial ├─__init__.py ├─chapter03.py ├─chapter04.py ├─chapter05.py ├─chapter06.py ......
【12.0】Fastapi中的数据库SQLAlchemy ORM 操作
【一】大型项目结构树 coronavirus ├─static # 静态文件 ├─templates # 前端页面 ├─__init__.py # 初始化文件 ├─database.py # 数据库操作 ├─models.py # 数据库表模型类 ├─schemas.py # 响应体模型类 ├─cu ......
利用PHP的数组splice方法进行高效数据删除和插入
PHP数组是一个非常强大的数据结构，它可以存储多个值，并按照需要对这些值进行添加、删除或修改。在PHP中，我们可以使用splice方法对数组进行删除和插入操作，以实现高效的数据操作。本文将介绍如何使用数组splice方法进行数据删除和插入，并给出示例代码。一、使用splice方法进行数据删除数组sp ......
【十分钟一个知识点】数据、信息、编码
数据 数据是对客观事物的符号表示 信息 没有统一的定义，但是我们日常生活中所认为的信息都只是信息的载体 特征： 载体依附性：信息无法独立存在，依附于载体 时效性：信息反映事物某一时间的状态、内容 共享性：信息可以共享，同一种信息可以同时被不同的接收者获取 可加工处理性、真伪性：信息有真伪，可以被人工 ......
卡尔曼滤波器在实际工程中考虑的问题-------新息的分析
一、本文重点 本篇文章主要讨论的是什么可以称为卡尔曼滤波器工程的问题，该部分主要是根据卡尔曼滤波器在长期的应用和误用实践中发展出来的。本篇文章的参考内容来自《卡尔曼滤波理论和实践》，同时结合自己的项目开发挑出部分自己测试过程中经常调试的内容。如果有侵权请联系删除。 主要涵盖内容： 1、舍入误差并不是 ......
Llama2-Chinese项目：2.3-预训练使用QA还是Text数据集？
Llama2-Chinese项目给出pretrain的data为QA数据格式，可能会有疑问pretrain不应该是Text数据格式吗？而在Chinese-LLaMA-Alpaca-2和open-llama2预训练使用的LoRA技术，给出pretrain的data为Text数据格式。所以推测应该pre ......
Llama2-Chinese项目：1-项目介绍和模型推理
Atom-7B与Llama2间的关系：Atom-7B是基于Llama2进行中文预训练的开源大模型。为什么叫原子呢？因为原子生万物，Llama中文社区希望原子大模型未来可以成为构建AI世界的基础单位。目前社区发布了6个模型，如下所示： FlagAlpha/Atom-7B FlagAlpha/Llama ......
Llama2-Chinese项目：2.2-大语言模型词表扩充
因为原生LLaMA对中文的支持很弱，一个中文汉子往往被切分成多个token，因此需要对其进行中文词表扩展。思路通常是在中文语料库上训练一个中文tokenizer模型，然后将中文tokenizer与LLaMA原生tokenizer进行合并，最终得到一个扩展后的tokenizer模型。国内Chinese ......
mongodb 导入导出数据
导入数据 C:\mongodb\bin>mongoimport --db chapterenglish --collection userTable--file c:\userTable.json C:\mongodb\bin>mongoimport --db junxin --collection ......
金融量化项目案例 -- 股票分析
博客地址：https://www.cnblogs.com/zylyehuo/ 股票分析 使用tushare包获取某股票的历史行情数据。 输出该股票所有收盘比开盘上涨3%以上的日期。 输出该股票所有开盘比前日收盘跌幅超过2%的日期。 tushare财经数据接口包 !pip install -i htt ......
pandas 加载minio 文件数据
就是一个简单记录，基于s3 进行文件存储还是比较方便的 环境准备 docker-compose.yaml version: '3' services: minio: image: minio/minio ports: - "9002:9000" - "19001:19001" environment ......
Go每日一库之158：termtables（表格形式数据输出）
## 简介 今天学个简单点的，`[termtables](https://github.com/scylladb/termtables)`处理表格形式数据的输出。适用于随时随地的输出一些状态或统计数据，便于观察和调试。是一个很小巧的工具库。我在学习`[dateparse](https://darju ......
Go每日一库之153：categraf （数据采集 Agent）
## 简介 Categraf 是夜莺监控的默认数据采集 Agent，主打开箱即用和all-in-one，同时支持对metrics、log、trace 的收集，由夜莺监控核心开发团队开发。 Categraf的代码托管在两个地方： - 中国计算学会确实开源平台： - [https://www.gitli ......
Go每日一库之157：tproxy （TCP连接代理与分析 ）
## 你有同感吗？ 当大家在开发服务端代码的时候，会不会经常有如下疑问？ - 纳闷 MySQL 连接池到底有多少连接？ - 每个连接的生命周期持续多久？ - 连接异常断开的时候到底是服务端主动断的，还是客户端主动断的？ - 当长时间没有请求的时候，底层库是否有 KeepAlive 请求？ 复杂网络情 ......
Go每日一库之155：go-spew（输出 Go 数据结构）
对于应用的调试，我们经常会使用 fmt.Println来输出关键变量的数据。或者使用 log 库，将数据以 log 的形式输出。对于基础数据类型，上面两种方法都可以比较方便地满足需求。对于一些结构体类型数据，通常我们可以先将其序列化后再输出。 如果结构体中包含不可序列化的字段，比如 func 类型， ......
机器学习之数据处理及分析库Pandas
简介 Pandas工具包是专门用作数据处理和分析的，其底层的计算其实都是由Numpy来完成，再把复杂的操作全部封装起来，使其用起来十分高效、简洁。在数据科学领域，无论哪个方向都是跟数据打交道，所以Pandas工具包是非常实用的。 数据预处理 import pandas as pd df = pd.r ......
机器学习之数据可视化库Matplotlib
简介 用Python做可视化展示是非常便捷的，现成的工具包有很多，不仅可以做成一个平面图，而且还可以交互展示。Matplotlib算是最老牌且使用范围最广的画图工具了。 常规绘图方法 import matplotlib.pyplot as plt import numpy as mp %matplo ......
如何下载全国建筑轮廓(基底)数据？
通过以下方法可以将全国建筑轮廓(基底)数据下载到本机。 方法/步骤 下载GIS地图下载器 http://www.geosaas.com/download/mapdownloader.zip，下载解压后，双击“GISSaaS.MapDownloader.Client.exe”文件。 2、在要下载的 ......
如何下载全国POI兴趣点数据？
通过以下方法可以将全国POI兴趣点数据下载到本机。 方法/步骤 下载GIS地图下载器 http://www.geosaas.com/download/mapdownloader.zip，下载解压后，双击“GISSaaS.MapDownloader.Client.exe”文件。 2、在要下载的县级 ......
数据库、数据表的基本操作
1.数据库的基本操作 创建一个数据库 创建数据库就是在数据库系统中划分一块空间存储数据，语法如下： create database alice2; 创建一个叫alice2的数据库MySQL命令; show create database alice2; 创建数据库后查看该数据库基本信息MySQL命令 ......