知识学习 客户端webview客户
spark的学习1-11
大数据第36期打卡-Day9-p102-p106学习笔记Spark并行度spark的并行：在同一时间内，有多少个tes k在同时运行并行度：并行能力的设置比如设置并行度6，其实是6个tast才并行在跑在有了6个tast并行的前提下，rdd的分区被规划成6个分区Driver的两个组件DAG调度器工作内 ......
机器学习-决策树系列-贝叶斯算法-概率图模型-29
目录1. 复习条件概率2. 正式进入3. 生成式 与判别式 这个阶段的内容，采用概率论的思想，从样本里面学到知识（训练模型），并对新来的样本进行预测。 主要算法：贝叶斯分类算法、隐含马尔可夫模型、最大熵模型、条件随机场。 通过本阶段学习，掌握NLP自然语言处理的一些基本算法，本阶段的理解对于后续完成 ......
跨境直连服务-提升客户于云服务的企业生产力
中国联通提供的AWS跨境直连服务(China Unicom China Cross-border Direct Connection Service),简称ChinaDX,为企业客户提供快速连接、高性能、安全、灵活的AWS云互聊服务，提升客户于云服务的企业生产力 跨境直连服务是一种将不同地域、不同网 ......
1.10学习进度
．使用 Linux 系统的常用命令 启动 Linux 虚拟机，进入 Linux 系统，通过查阅相关 Linux 书籍和网络资料，或者参考 本教程官网的“实验指南”的“Linux 系统常用命令”，完成如下操作： （1）切换到目录 /usr/bin； （2）查看目录/usr/local 下所有的文件； ......
数据库基本理论知识
1. 数据库 数据库是一个以某种有组织的方式存储的数据集合。最简单的方法是将数据库想象为一个文件柜。这个文件柜是一个存放数据的物理位置，不管数据是什么，也不管数据如何组织。 数据库 (database)：保存有组织的数据的容器（通常是一个文件或者一组文件）。 数据库软件应该称为数据库管理系统（DBM ......
C语言学习之前序
C语言位运算 C语言主要提供了六种位运算：与、或、取反、异或、左移和右移 1、按位与运算(&) 仅当相同位置的两个bit都为1时，与操作结果为1，否则为0 正&正 —— 直接运算 正&负 —— 将负数转换成补码后直接运算 2、按位或运算(|) 相同位置的两个bit有一个为1时，结果为1 运算方式同上 ......
getdents_ogworw学习总结
一:getdents是什么 "getdents" 是一个系统调用（system call）在一些类Unix操作系统中用于获取目录中的条目列表。它接受一个文件描述符和一个缓冲区作为参数，并从目录中读取目录项的信息到缓冲区中。 二:getdents有什么用 目前我觉得的用处只有当我做pwn题目的时候，有 ......
学习进度笔记1
今天对寒假的学习任务进行了时间上的规划，需要完成的主要有下面三个任务： 1.完成Spark的实验及实验报告； 2.三人结组参加中国服务外包杯大赛（1月13日之前提交题目，1月31日前后验收第一阶段成果（需求原型））； 3.大型数据库技术大作业-信息领域热词分析（开学第一节课验收）； 根据完成时间的先 ......
学习记录1-10
今天学习了spark， 环境介绍： 系统：centos7 python：python2.7.5 java：java1.8.0 hadoop：hadoop2.7 spark：spark3.0 参考文档：http://spark.apache.org/docs/latest/quick-start.ht ......
redis分布式锁学习
redis分布式锁 原理是通过setnx命令 setnx key value 如果key不存在 则设置value,如果存在则不做操作 jedis clientId = uuid; 1、stringRedisTemplate.opsForValue.setIfAbsent(lockKey,client ......
koa学习中控制台报错Rethrow non-MySQL errors
控制台报错 throw err; // Rethrow non-MySQL errors ^ TypeError: Cannot read properties of undefined (reading 'query') 原因是MySQL8.0.4以前MySQL的密码认证插件是mysql_nati ......
学习笔记1
Spark特性Spark使用简练优雅的Scala语言编写，基于Scala提供了交互式编程体验，同时提供多种方便易用的API。Spark遵循“一个软件栈满足不同应用场景”的设计理念，逐渐形成了一套完整的生态系统（包括 Spark提供内存计算框架、SQL即席查询（Spark SQL）、流式计算（Spar ......
机器学习-梯度下降法
1、名称解释 （1）什么是无约束优化问题？ 无约束优化问题是指在给定目标函数的情况下，寻找使目标函数取得最大值或最小值的变量取值，而不受任何约束条件限制的优化问题。 具体来说，无约束优化问题可以形式化地表示为以下形式： 最小化 f(x)，其中 x 是 n 维向量，f(x) 是一个实值函数，称为目标函 ......
机器学习-半正定规划
1、概念解释 （1）什么是半正定规划？ 半正定规划(Semi-Definite Programming，简称SDP) 是一类凸优化问题，其中的变量可组织成半正定对称矩阵形式，且优化问题的目标函数和约束都是这些变量的线性函数。 （2）什么是对称矩阵？ 对称矩阵是指一个矩阵的元素关于主对角线对称。换句话 ......
『学习笔记』浅谈莫比乌斯反演
莫比乌斯反演是数论中的重要内容。对于一些函数 \(f(n)\)，如果很难直接求出它的值，而容易求出其倍数和或约数和 \(g(n)\)，那么可以通过莫比乌斯反演简化运算，求得 \(f(n)\) 的值。——OI-wiki 可见莫反的强大。 前置知识：数论分块 数论分块可以快速计算一些含有除法向下取整的和 ......
Golang学习笔记（十）—— 协程调度
协程调度 调度流程 Go程序运行和调度初始化 Go 程序运行会经过以下几个阶段： 从磁盘上读取可执行文件，加载到内存 操作系统执行 runtime 包中的程序入口 runtime 执行初始化，最后调用 main 函数 上图中的流程是根据源码文件 src/runtime/asm_amd64.s 和 s ......
机器学习-二次规划
1、概念解释 （1）什么是半正定矩阵？ 半正定矩阵是指一个方阵（即行数等于列数的矩阵），满足以下条件之一： 对于任意非零向量x，都有x^T * A * x ≥ 0，其中 A 表示该矩阵的转置。 所有特征值（eigenvalue）都大于或等于零。 简单来说，一个半正定矩阵的特点是它的所有特征值非负，或 ......
spark学习
Spark提供了6大组件： Spark Core：Spark Core 是 Spark 的基础，它提供了内存计算的能力，是分布式处理大数据集的基础。它将分布式数据抽象为弹性分布式数据集（RDD），并为运行在其上的上层组件提供 API。所有 Spark 的上层组件都建立在 Spark Core 的基础 ......
机器学习-拉格朗日乘子法
1、概念解释 （1）什么是拉格朗日乘子法？ 拉格朗日乘于法(Lagrange multipliers) 是一种种寻找多元函数在一组约束下的极值的方法。通过引入拉格朗日乘子，可将有d个变量与k个约束条件的最优化问题转化为具有d+k个变量的无约束优化问题求解。 2、基本演算 ......
1/10 学习进度笔记
Spark StandAlone环境部署 新角色 历史服务器 历史服务器不是Spark环境的必要组件, 是可选的. 回忆: 在YARN中 有一个历史服务器, 功能: 将YARN运行的程序的历史日志记录下来, 通过历史服务器方便用户查看程序运行的历史信息. Spark的历史服务器, 功能: 将Spar ......
机器学习-奇异值分解
1、概念介绍 （1）什么是线性无关的行？ 线性无关的行指的是矩阵中不可由其中一个或多个行的线性组合表示的行。换句话说，如果一个矩阵中有两个或多个行，且它们不能通过某些系数相乘和相加得到一个零向量，则这些行就是线性无关的。 例如，考虑一个包含三行的3x3矩阵： 1 2 3 4 5 6 7 8 9 我们 ......
寒假学习（1)
列表是Python中最常用的数据结构之一，可以存储多个元素，并且可以进行增删改查等操作。 创建列表：可以使用方括号 [] 或者 list() 函数来创建一个列表。例如： fruits = ['apple', 'banana', 'orange'] 访问列表元素：可以使用索引来访问列表中的元素，索引从 ......
学习进度笔记
Python基础语法： （1）打印出hello world # -*- coding: utf-8 -*- print "hello world" print "你好 世界" （2）注释 1、（单行注释）以 # 开头，后面的文字直到行尾都算注释 2、（多行注释）多行注释是用三引号''' '''包含的 ......
搜索学习笔记+杂题 （基础一 简单的dfs+bfs）
搜索杂题： 一、基础的BFS与DFS： 深搜和广搜都可以遍历出在一定限制下可能出现的所有情况，但是朴素的搜索一般复杂度极高，成指数级别，需要用到各种五花八门的优化方式，后面会一一介绍，但基础很重要，几乎不用考虑优化，直接模拟题意就可以了。这篇博文讲的是习题ing。 深搜一般处理有分支的情况，广搜一般 ......
2024.1.10-学习进度笔记
今天，主要尝试安装了Anaconda3并进行了一些基础配置。 参考：https://blog.csdn.net/weixin_52677672/article/details/133632708 安装Anaconda3-2023.09-0-Windows-x86_64.exe 配置环境变量 D:\s ......
C# 接口IBufferWriter<T>学习理解
IBufferWriter<T>是同步缓冲写入的协定，实现这个接口就拥有一个输出接收器 我是最近研究Protobuf序列化时发现它有个传递IBufferWriter<T>的构造，使用者只需要自己实现一个IBufferWriter<T>，创建后传递给Protobuf-net的序列化函数，就能得到其序列 ......
【C/C++】知识点笔记
1 - 联合体内嵌结构体初始化赋值 union { struct { int i; float f; char *p; }; int o; } obj3 = { 1, 2.2, "sk", 4, 9 }; printf("struct inlay union: %d, %f, %s, %d\n", ......