白鲸 数据分析 模型dataops
金融领域预训练模型用于分类任务，大模型应用参考
在bert的基础上加了一个分类层： 代码实现： output = bert.model.output output = Lambda(lambda x: x[:, 0], name='CLS-token')(output) output = Dense( units=num_classes, act ......
应用程序读取磁盘的数据流程
应用程序请求文件读取： 用户态的应用程序发起文件读取请求，通常是通过标准的文件操作函数（例如，在Linux中是 read()，在Windows中是 ReadFile()） 系统调用： 操作系统内核接收到应用程序的读取请求，这将触发一个系统调用（system call）。系统调用是用户态和内核态之间的 ......
6. 简单基因家族分析
2023.09.24 1. 任务背景 芝麻是一种油料作物.产油比其他作物高很多,这里以基因的背景来研究芝麻产油的原因.这里我们专门研究FAD4基因,它在油脂合成中也起到重要作用.我们对比不同作物的FAD4基因的拷贝数,研究它对产油的影响. 下图是我们要得出的结论,我们发现FAD4在拟南芥中有3个拷贝 ......
Redis源码分析之启动流程
源码版本：5.0 图形工具：http://www.plantuml.com/plantuml/uml 时序图源码： @startuml group main server.c -> setproctitle.c : spt_init():为函数setproctitle调用做初始化工作 server. ......
【4.0】Pandas Panel三维数据结构
【一】三维数据结构 Panel 结构也称“面板结构”，它源自于 Panel Data 一词，翻译为“面板数据”。 如果您使用的是 Pandas 0.25 以前的版本，那么您需要掌握本节内容，否则，作为了解内容即可。 自 Pandas 0.25 版本后， Panel 结构已经被废弃。 Panel 是一 ......
数据结构
链表的建立 #include <bits/stdc++.h> //#pragma GCC optimize("Ofast") #include <iostream> #include <cstdio> #include <cstring> #include <algorithm> #include ......
Docker容器数据卷（命令的方式）
Docker容器数据卷（持久化数据 + 数据共享） 具体操作： 1-创建连接： 1- docker images //查看镜像名字 2- （小提示：pwd可以查看绝对路径） 公式：docker run -it -v 宿主机绝对目录(文件) : 容器内绝对目录（文件） [镜像名字] 公式2：docke ......
crash —— 获取系统内存使用统计数据
crash> kmem -i PAGES TOTAL PERCENTAGE TOTAL MEM 197646761 754 GB FREE 33983015 129.6 GB 17% of TOTAL MEM USED 163663746 624.3 GB 82% of TOTAL MEM SHAR ......
MySQL数据库备份命令
转载自：https://www.cnblogs.com/acpp/archive/2010/01/06/1640542.html mysqldump -hhostname -uusername -ppassword databasename > backupfile.sql备份MySQL数据库为带删 ......
传输过中如何保证 数据既能不被篡改，又能不被窃取
公加私解，私加公解 公钥加密私钥解密，只能保证数据不会篡改，但是可以被窃取 私钥加密公钥解密，只能保证数据不会窃取，但是可能被整个替换 签名和信封 数据取摘要，然后私钥加密这种做法可以加快速度，保证数据不被篡改，这种方式叫做签名 数据取摘要，然后公钥加密这种方式可以加快速度，保证数据不被窃取，这种方 ......
使用 FHE 实现加密大语言模型
近来，大语言模型 (LLM) 已被证明是提高编程、内容生成、文本分析、网络搜索及远程学习等诸多领域生产力的可靠工具。 大语言模型对用户隐私的影响 尽管 LLM 很有吸引力，但如何保护好 输入给这些模型的用户查询中的隐私 这一问题仍然存在。一方面，我们想充分利用 LLM 的力量，但另一方面，存在向 L ......
crash —— 如何知道哪些数据结构内嵌了指定的数据结构或者内嵌了指向指定数据结构的指针
需求 有时我们有这样的需求，比如我们知道了结构体task_struct，然后我们又想知道内核中有哪些数据结构中包含了task_struct，或者包含了指向task_struct的指针。 做法 用whatis -m可以做到： crash> whatis -m task_struct SIZE TYPE ......
crash —— 查看数据结构内部成员的偏移量和地址
whatis 如果提前知道数据类型的定义，可以直接用struct、union等，否则可以直接用whatis。 crash> whatis -o page struct page { [0] unsigned long flags; union { struct { union { [8] struc ......
多表数据动态图表
问题：一簿若干工作表，每表结构相同，现需要制作动态图表，通过勾选等方式动态显示不同维度的数据。 解决思路： 第一步：多表合并 第二步：打开新生成的合并表中的“总表”工作表 第三步：删除A列 第四步：制作数据透视图 第五步：通过勾选或勾销字段的方式实现动态显示，或插入切片器后以点选切片器的方式实现动态 ......
crash —— 如何查看数据是什么类型以及函数原型
在crash中可以用whatis命令查看数据类型信息以及函数的原型。 如果想知道某个数据是什么类型那么可以用下面的方法： 查看结构体的定义 crash> whatis mm_struct struct mm_struct { struct { struct maple_tree mm_mt; uns ......
基于Python + SnowNLP实现一个文本情感分析系统
当你浏览社交媒体、新闻或任何数字内容时，你有没有想过背后的技术是如何分析和理解这些文本的情感的？有没有想过在数百万条评论、帖子或文章中，如何快速地识别出其中的积极和消极情绪？在这篇文章中，我们将揭示其中的奥秘，并教你如何使用Python和SnowNLP来轻松地实现一个文本情感分析系统。 什么是文本情 ......
Linux数据库备份：高效使用mysqldump工具
在现代企业管理中，数据库是企业重要的数据资产linux 备份数据库，因此备份数据库显得尤为重要。Linux系统下有各种不同的工具可以用于备份数据库，其中最常用的是 mysqldump 工具。在本文中，我们将介绍如何使用 mysqldump 工具备份 MySQL 数据库，并探讨其他备份工具和备份策略。 ......
使用sqoop export命令将hive数据导入mysql
描述一下 因为我前两天的测试里面，用的是另外一种方法，所以今天想要尝试一下sqoop export的方法，这个方法我之前也试过，但是一直报错，但是！我又来啦！！！ 相关步骤 自己设置一个数量不多的csv文件： 然后按照之前的步骤：上传，导入数据库： 然后在mysql里面同时创建一个与hive数据库中 ......
主流大语言模型的技术原理细节
1.比较 LLaMA、ChatGLM、Falcon 等大语言模型的细节：tokenizer、位置编码、Layer Normalization、激活函数等。2. 大语言模型的分布式训练技术：数据并行、张量模型并行、流水线并行、3D 并行、零冗余优化器 ZeRO、CPU 卸载技术 ZeRo-offloa... ......
2023数据采集与融合技术实践第一次作业
作业①: 要求：用requests和BeautifulSoup库方法定向爬取给定网址（http://www.shanghairanking.cn/rankings/bcur/2020 ）的数据，屏幕打印爬取的大学排名信息。 输出信息： 排名 学校名称 省市 学校类型 总分 1 清华大学 北京 综合 ......
【基本数据结构】队列
一、先进先出（FIFO） 队列是一种操作受限的线性表，只允许在队头进行删除操作，在队尾进行添加操作。向队尾添加元素叫做入队，从队头删除元素叫做出队。 适用场景：对于大部分资源有限的场景，当没有空闲资源时，基本上都可以通过队列来实现请求排队。比如，线程池、连接池、消息队列等。 二、队列的实现 队列可以 ......
解密TCP连接断开：四次挥手的奥秘和数据传输的安全
本文将介绍TCP连接的断开过程，重点关注四次挥手的过程和状态变迁，以及为什么挥手需要四次和为什么需要TIME_WAIT状态。在TCP连接断开的过程中，双方需要发送FIN和ACK报文来确保数据的可靠传输和连接的正确关闭。挥手需要四次的原因是为了确保数据的完整传输和连接的可靠关闭。 ......
数据通信与网络必背考点（黑书）
补充部分 数据通信与网络必背考点（黑书） 填空题 1. 数据通信效率取决于 传递性、准确性、及时性、抖动性。2. 数据通信系统的组成 报文、发送方、接收方、传输介质、协议。3. 网络准则为 性能、可靠性、安全性。4. 协议三要素为 语义、语法、时序。5. 4层地址为 物理地址、逻辑地址、端口地址、专 ......
交通地理空间分析上课笔记 - 第 2 节课：复杂网络及其指标的计算
在上一节课当中，我们介绍了一连串基本的图论概念，包括节点和边的概念、如何用矩阵表示图等等，也给出了一些简单的图论方法的完整的 python 实现。我们介绍了一些关于网络的概念，并且进入了复杂网络概念的讲述。（包含详细python代码及讲解） ......
用okhttp提交post数据（json，java,后端netcore(frombody)）
用okhttp提交post数据（json，java,后端netcore(frombody)） 2023年09月23日 点提交按钮，把拼接好的JSON字符串提交到后端接口,okhttp的github上列出来的示例就是提交POST JSON字符串的，照抄就是了，这里只是把自己写的代码列出来 https: ......
黄靖—102102151 数据采集与融合第一次实践课
作业一 （1）要求： 用requests和BeautifulSoup库方法定向爬取给定网址（http://www.shanghairanking.cn/rankings/bcur/2020 ）的数据，屏幕打印爬取的大学排名信息。 (2) 下面给出代码实现： import requests impor ......
数据库
redis + mysql，对这一块没有像c++那么上心，后端必备技术栈，涉及资源简单出包，笔记记录同样不好记录 黑马不错的redis，适合入门 黑马mysql同上 小林coding八股，但不错的mysql redis回顾[ 小孩子mysql进阶书籍必神书 redis书籍，经验之谈不错 笔记记录补充 ......
.Net Linq语句去除A集合中存在的B集合数据
这算是一个取巧的场景,在添加数据库的时候,存在一种场景,主数据表的Id和关系表的Id关联,那么在添加子表的时候,为了避免重复,就可以使用到,当然避免重复的方法有很多,这算是一种偷懒的方式,以下是用过C#代码模拟场景,本片随笔为了记录..... using System.Collections.Gen ......