基础 笔记 数据spark
学习笔记1
Spark特性Spark使用简练优雅的Scala语言编写，基于Scala提供了交互式编程体验，同时提供多种方便易用的API。Spark遵循“一个软件栈满足不同应用场景”的设计理念，逐渐形成了一套完整的生态系统（包括 Spark提供内存计算框架、SQL即席查询（Spark SQL）、流式计算（Spar ......
12_Java基础-运算符
运算符 算术运算符：+，-，*，/，++，-- 赋值运算符：= 关系运算符：>，<，>=，<=，==（等于号），%（取余/模运算），！=（不等于），instance of 逻辑运算符：&&（与），||（或），！（非） 算术运算符 注意：运算中有Long，结果为Long；运算中有double，结果为d ......
『学习笔记』浅谈莫比乌斯反演
莫比乌斯反演是数论中的重要内容。对于一些函数 \(f(n)\)，如果很难直接求出它的值，而容易求出其倍数和或约数和 \(g(n)\)，那么可以通过莫比乌斯反演简化运算，求得 \(f(n)\) 的值。——OI-wiki 可见莫反的强大。 前置知识：数论分块 数论分块可以快速计算一些含有除法向下取整的和 ......
Golang学习笔记（十）—— 协程调度
协程调度 调度流程 Go程序运行和调度初始化 Go 程序运行会经过以下几个阶段： 从磁盘上读取可执行文件，加载到内存 操作系统执行 runtime 包中的程序入口 runtime 执行初始化，最后调用 main 函数 上图中的流程是根据源码文件 src/runtime/asm_amd64.s 和 s ......
spark学习
Spark提供了6大组件： Spark Core：Spark Core 是 Spark 的基础，它提供了内存计算的能力，是分布式处理大数据集的基础。它将分布式数据抽象为弹性分布式数据集（RDD），并为运行在其上的上层组件提供 API。所有 Spark 的上层组件都建立在 Spark Core 的基础 ......
1/10 学习进度笔记
Spark StandAlone环境部署 新角色 历史服务器 历史服务器不是Spark环境的必要组件, 是可选的. 回忆: 在YARN中 有一个历史服务器, 功能: 将YARN运行的程序的历史日志记录下来, 通过历史服务器方便用户查看程序运行的历史信息. Spark的历史服务器, 功能: 将Spar ......
学习进度笔记
Python基础语法： （1）打印出hello world # -*- coding: utf-8 -*- print "hello world" print "你好 世界" （2）注释 1、（单行注释）以 # 开头，后面的文字直到行尾都算注释 2、（多行注释）多行注释是用三引号''' '''包含的 ......
大数据 - 安装部署 Apache开源大数据集群
Step1：前期准备 虚拟机软件：VMware workstation 16 pro 网盘链接：https://pan.baidu.com/s/1Yd0JUqiM-N6rpQbO0RjG_w --来自百度网盘超级会员V2的分享 集群信息如下 主机名 IP 操作系统 node01 192.168.24 ......
【专题】2023人工智能基础数据服务白皮书报告PDF合集分享（附原数据表）
报告链接：https://tecdat.cn/?p=33276 原文出处：拓端数据部落公众号 人工智能是推动新一轮科技革命和产业变革的核心驱动力。目前，中国的人工智能产业正处于高速增长阶段，并正在快速渗透到各个行业，包括互联网娱乐、智能制造、智慧医疗、智能安防和自动驾驶等。其中，自动驾驶由于场景的复 ......
apache2服务器数据爬取
代码如下 1 # -*-encoding:utf-8 -*- 2 """ 3 @Time ： 2024/1/10 18:57 4 @Auth ： ruqing 5 @File ：selenium apache2服务器数据爬取.py 6 @IDE ：PyCharm 7 @Motto：ABC(Alway ......
11_Java基础-变量+常量
变量 Java是一种强类型语言，每个变量都必须声明其类型。 Java变量时程序中最基本的存储单元，包括 变量名 + 变量类型 + 作用域。 type varName [=value] [{,varName[=value]}]; //数据类型 变量名=值；可以用逗号隔开来声明多个同类型变量。 注意事项 ......
【专题】2022年中国跨境电商行业研究报告PDF合集分享（附原数据表）
报告链接：http://tecdat.cn/?p=32044 近年来，我国的跨境电子商务发展迅速，在过去五年中，其贸易额增长率达到了16.2%，已经成为稳定对外贸易的一支重要力量。 阅读原文，获取专题报告合集全文，解锁文末52份跨境电商行业相关报告。 一方面，随着跨境电子商务的发展，跨境电子商务的监 ......
Eviews回归分析股权集中度、股权制衡度与公司绩效关系：中小板上市公司数据
全文链接：http://tecdat.cn/?p=32345 原文出处：拓端数据部落公众号 本文深入分析了国内外关于股权结构与公司绩效的影响因素; 帮助客户运用回归分析法，以ROE作为公司绩效的度量指标，考察中小企业板上市公司股权集中度、股权制衡度对公司绩效的影响因素。 为了进行实证研究，选取了部分 ......
【专题】2023年保险合伙人白皮书及优增深度洞察报告PDF合集分享（附原数据表）
原文链接：https://tecdat.cn/?p=34800 原文出处：拓端数据部落公众号 2023年，中国经济从高速向高质量转型，众多保险公司将队伍转型视为寿险行业供给侧改革的关键。以招募和培养专业、职业绩优人才为核心的策略，成为代理人队伍转型的重要方向。阅读原文，获取专题报告合集全文，解锁文末 ......
想要数据去伪存真？不知道数据的真假？企查查开放平台的API来告诉你
企查查开放平台使用说明：数据接入与应用实践 在数字化时代，企业信息的透明度和可获取性对于商业决策至关重要。企查查开放平台作为一个提供企业数据服务的平台，为用户提供了便捷的数据接入方式和丰富的信息查询功能。本文将详细介绍如何使用企查查开放平台，以及如何将其应用于实际业务场景中。 注册与接入 首先，用户 ......
colab使用笔记
常用命令码住 %cd /content/drive/My\ Drive/ME-D2N-test # 进入文件夹` %pwd` !mkdir /content/datasets # 在当前目录下("/content")创建一个叫datasets的文件夹 1如何运行Github项目 # 克隆仓库到/co ......
搜索学习笔记+杂题 （基础一 简单的dfs+bfs）
搜索杂题： 一、基础的BFS与DFS： 深搜和广搜都可以遍历出在一定限制下可能出现的所有情况，但是朴素的搜索一般复杂度极高，成指数级别，需要用到各种五花八门的优化方式，后面会一一介绍，但基础很重要，几乎不用考虑优化，直接模拟题意就可以了。这篇博文讲的是习题ing。 深搜一般处理有分支的情况，广搜一般 ......
2024.1.10-学习进度笔记
今天，主要尝试安装了Anaconda3并进行了一些基础配置。 参考：https://blog.csdn.net/weixin_52677672/article/details/133632708 安装Anaconda3-2023.09-0-Windows-x86_64.exe 配置环境变量 D:\s ......
C# 数据接收器 LoopReader
最近在使用C#的命名管道进行数据通讯，到了接收数据比较难搞， 由于不知道数据流具体的长度（调用NamedPipeServerStream的Length会报错），缓冲区的大小就无法确定，因此写了个功能类，用来接收这种数据流长度未知的数据 测试使用没有问题，但是不敢保证一定没有问题，请谨慎参考 /// ......
测试驱动的Spring Boot应用程序开发数据层示例
前言 在敏捷开发中，学会纵向划分产品需求，可以在构建软件时节省大量时间。这意味着不需要等待一个完整的层完成后再进行下一层的开发，而是要进行多层开发确保业务功能可正常运行。这种开发方式也有助于构建更好的产品或服务。 通过前面的前后端开发，完成了用户猜数游戏，可以进行试用，那么，就可能得到更进一步的需求 ......
16.PG的索引基础
索引类似于书籍的目录，方便对表中的记录快速查找或者排序，但是建索引会有以下代价： 增减数据库的存储空间 在插入和更新数据时，所以也会被更新 索引的分类 BTree：PG默认的索引类型，适合等值和范围查询 Hash：只能处理简单的等职查询 Gist:不是单独一种索引类型，而是一种架构，可以在这种架构上 ......
flutter中InheritedWidget共享数据
InheritedWidget是Flutter框架中用于在Widget树中共享数据的机制。它是一个特殊的Widget，可以将其放置在Widget树的上层，并向下传递共享的数据给其子Widget。子Widget可以通过InheritedWidget来获取共享的数据，而不需要通过显式地将数据传递给它们。 ......
工业智能网关如何保障数据通信安全
工业物联网的数据安全不仅关乎单个设备的运行安全，更关乎整个工业生态系统的可靠和稳定，选用佰马工业智能网关，实现包括数据加密、访问控制、专网传输等，能够确保工业通信数据的完整性、可用性和机密性，打造安全可靠的工业物联网应用 ......
【C/C++】知识点笔记
1 - 联合体内嵌结构体初始化赋值 union { struct { int i; float f; char *p; }; int o; } obj3 = { 1, 2.2, "sk", 4, 9 }; printf("struct inlay union: %d, %f, %s, %d\n", ......
数据的标准化处理
np.mean和np.std是NumPy库中用于计算数组或矩阵的平均值和标准差的函数。它们通常用于数据标准化。 数据标准化是将数据转换为具有零均值和单位标准差的标准分布。标准化后的数据具有统一的尺度，可以帮助数据处理和分析。下面是使用np.mean和np.std进行数据标准化的步骤： 计算数据的平均 ......
学习笔记-24.1.10
今日新建一个类数组后，对其内容赋值出现了以下问题。 Pd[] pdd = new Pd[20]; Cannot assign field "mingcheng" because "pdd2[0]" is null 翻阅资料后得知 当我从数组中获取第i个元素并访问其字段时， 但是您的数组中有null（ ......
【Oracle】列拆行/对多行数据的单行数据进行分割并多行显示
【Oracle】列拆行/对多行数据的单行数据进行分割并多行显示 参考链接：Oracle 一行字符串拆分为多行_oracle一行拆分成多行-CSDN博客 背景：要对一个表的字段的内容进行分割，分隔符都是指定的 原数据： '1','2','3','4' '5','6','7','8' 新数据(按照逗号分 ......
常见的几种数据同步方案
常见的几种数据同步方案微微一笑 码易有道 2024-01-07 16:25 发表于北京关键词：数据同步、数据异构、数据迁移引言 当今时代，数据是企业运营的核心。随着业务的扩张和用户规模的增加，确保不同部分之间的数据一致性、实时性和可靠性变得尤为关键。本文将探讨几种常见的数据同步方案，涵盖了数据库主从 ......
从数据库读写分离到CQRS
1. 数据库读写分离 对于数据库的操作就四种：CRUD 我们把这四种操作，又划分为两类，读和写 当我们的系统并发量高的时候，自然会考虑到提高数据库性能，数据库读写分离， 但是，实际测试下来，总是有各种不满意的地方。其中最麻烦的就是各种复杂查询的性能，写库有单点故障问题 2. CQRS 有了数据库层面 ......
（五十六）C#编程基础复习——C#多线程
多线程就是多个线程同时工作的过程，我们可以将线程看作是程序的执行路径，每个线程都定义了一个独特的控制流，用来完成特定的任务。如果你的应用程序涉及到复杂且耗时的操作，那么使用多线程来执行是非常有益的。使用多线程可以节省CPU资源，同时提高应用程序的执行效率，例如现代操作系统对编程的视线就用到了多线程。 ......