基础 笔记 数据spark
Dating Java8系列之并行数据处理
翎野君/文 分支合并框架 分支合并框架介绍 分支/合并框架的目的是以递归的方式将可以并行的任务拆分成更小的任务，然后将每个子任务的结果合并起来生成整体结果。 它是ExecutorService接口的一个实现，它把子任务分配给线程池(称为ForkJoinPool)中的工作线程。把任务提交到这个池，必须 ......
UCB Data100：数据科学的原理和技巧：第一章到第五章
一、引言 原文：Introduction 译者：飞龙 协议：CC BY-NC-SA 4.0 学习成果 了解 Data 100 的总体目标 了解数据科学生命周期的阶段 数据科学是一个跨学科领域，具有各种应用，并且在解决具有挑战性的社会问题方面具有巨大潜力。通过建立数据科学技能，您可以赋予自己参与和引领 ......
UCB Data100：数据科学的原理和技巧：第六章到第十章
六、正则表达式 原文：Regular Expressions 译者：飞龙 协议：CC BY-NC-SA 4.0 学习成果 了解 Python 字符串操作，pandas Series方法 解析和创建正则表达式，使用参考表 使用词汇（闭包、元字符、组等）描述正则表达式元字符 这些内容在第 6 和第 7 ......
路由--基础入门
Vue Router，是一个用于 Vue.js 的官方路由管理器。 它和 Vue.js 核心深度集成，使得构建单页面应用（SPA）变得简单。 在单页面应用中，页面不会重新加载整个页面，而是通过动态加载和替换页面的某些部分来实现与用户的交互 router index.js // 1. 定义路由组件. ......
【opencv学习笔记】028之模板匹配——matchTemplate函数详解
目录 一、前言 二、模板匹配 1、模板匹配是个啥 2、常用匹配算法 1.平方差匹配-CV_TM_SQDIFF 2.标准平方差匹配-CV_TM_SQDIFF_NORMED 3.相关匹配-CV_TM_CCORR 4.标准相关匹配 ......
mybatis-generator:generate生成器将另外的数据库内同名表生成
问题： 在使用mybatis-generator:generate生成器时，会生成别的数据库内同表名； 因为是相同表名。 解决： 在生成器的配置文件中的数据库连接地址内添加： <!--放置生成其他库同名表--> <property name="nullCatalogMeansCurrent" val ......
学习笔记3
RDD概念/特性许多迭代式算法（比如机器学习、图算法等）和交互式数据挖掘工具，共同之处是不同计算阶段之间会重用中间结果， MapReduce框架把中间结果写入到稳定存储（如磁盘）中，带来大量的数据复制、磁盘IO和序列化开销。 RDD就是为了满足这种需求而出现的，它提供了一个抽象的数据架构，开发者不必 ......
荣耀笔记本锐龙版 网络连接不上怎么办？
我的电脑型号： 荣耀MagicBook Pro 2020 锐龙版 R5 集显 16GB+512GB (HYLR-WFQ9) 背景： 我的电脑是荣耀锐龙版的，本来是买了个网线的转接口连接有线的，但是一种连接不上。 于是想下载一个鲁大师来更新下驱动，怀疑是驱动问题。 升级的时候，不小心把wifi的网线升 ......
CT107D竞赛板外部中断的基础应用
外部中断的含义 外部中断是单片机实时地处理外部事件的一种内部机制。 当某种外部事件发生时，单片机的中断系统将迫使CPU暂停正在执行的程序， 转而去进行中断事件的处理；中断处理完毕后．又返回被中断的程序处，继续执行下去。 使用前将J5并到2，3脚，即S5按键接到P32/INT0,S4按键接到P33/I ......
Python第一天学习笔记
今日学习内容 1.什么是编程 2.计算机组成原理 3.计算机操作系统 4.编程语言是什么 什么是编程 什么是编程语言 编程语言是什么：人与计算机交流的介质 什么是编程 编程：利用编程语言写出一个个文件，这堆文件会达到一个目的 编程有什么用 就像近代奴隶主奴役黑奴干活一样，我们的目的是奴役计算机为我们 ......
学习进度笔记三
实验五：Spark SQL编程初级实践 实验六：Spark Streaming编程初级实践 实验七：Spark机器学习库Mtlib编程实践 今日总结 完成了全部的实验内容，之后就回归正轨啦~~~ ......
读元宇宙改变一切笔记06_虚拟世界引擎
1. 一棵虚拟的树在虚拟森林里倒下了 1.1. 它们都是数据和代码 1.2. 数据可以描述虚拟对象的属性 1.2.1. 尺寸或颜色 1.3. 为了让我们的树由CPU处理并由GPU渲染，这些数据需要通过代码运行 1.4. 该代码必须是运行虚拟世界的更广泛代码框架的一部分 2. 现实世界 2.1. 现实 ......
开发医疗保险欺诈识别监测模型如何进行数据集分析与预处理
数据集加载： 使用工具如Pandas库加载数据。使用pd.read_csv()等函数加载数据集到DataFrame。 初步数据探索： 使用head()、info()、describe()等方法查看数据的前几行、基本信息和统计摘要。 使用shape属性获取数据集的大小。 处理缺失值： 使用isnull ......
2024年更新「GIS数据」全国的GeoJSON、shp格式数据下载获取(精确到乡镇街道级)
发现个可以免费下载全国 geojson 数据的网站，推荐一下。支持全国、省级、市级、区/县级、街道/乡镇级以及各级的联动数据，支持导入矢量地图渲染框架中使用，例如：D3、Echarts等 geojson 数据下载地址：https://geojson.hxkj.vip 该项目 github 地址：ht ......
gin学习笔记（二）—— 获取参数和文件上传
获取参数和文件上传 获取参数 url传参 在我们使用网页时，我们有时会看到地址栏上带有 ？后面还跟着一些数据，这就是 url 传参，？后面携带的就是参数。例如：用必应搜索 what is a url，地址栏为 https://cn.bing.com/search?q=what is a url，携带 ......
学习进度笔记
今天我花了几个小时学习了关于安卓应用开发的基础知识，包括应用程序结构、Android Studio中的工具和界面设计。接下来，我开始创建我的第一个安卓应用程序。 首先，我创建了一个新项目并设置了应用程序的名称和最低SDK版本。然后，我添加了一个主要的活动（activity），以便在应用程序启动时显示 ......
云平台大数据系统需求有哪些？
高性能计算资源：需要具备强大的计算能力来处理大规模的数据和进行复杂的数据分析、机器学习训练等任务。这可以通过采购高性能的服务器和配备适当的处理器、内存和存储设备来实现。同时，需要选择适合的数据处理和机器学习框架，如TensorFlow、PyTorch等，以提高计算效率和性能。 大规模存储能力：需要足 ......
第六天：shell脚本编程基础格式规范及变量
一、脚本基本格式 1、首行为一些命令或声明 #！/bin/bash #!/usr/bin/python #!/usr/bin/perl #!/usr/bin/ruby #!/usr/bin/lua 2、脚本注释规范 第一行一般为调用 程序名 版本号 更改后的时间 作者相关信息 该程序的作用 简要说明 ......
Mysql 数据同步
本地数据库 同步到远程数据库 表结构 表数据 如果 远程数据库是8.0 需要注意事项： mysql> select host,user,plugin from mysql.user; | % | admin_user | mysql_native_password | 需要设置 为 mysql_na ......
Spark On YARN架构
Spark On YARN模式遵循YARN的官方规范，YARN只负责资源的管理和调度，运行哪种应用程序由用户自己决定，因此可能在YARN上同时运行MapReduce程序和Spark程序，YARN对每一个程序很好地实现了资源的隔离。这使得Spark与MapReduce可以运行于同一个集群中，共享集群存 ......
银行数据治理该怎么做
数据治理是银行数据建设必不可少的一个环节。好的数据治理体系可以盘活整条数据链路，最大化保障银行数据的采集、存储、计算和使用过程的可控和可追溯。本篇文章，作者介绍了银行数据治理该如何去做，包括数据治理有哪些环节，又有哪些误区，一起来看看吧，希望能够给你带来帮助。 数据治理的目的是什么？数据治理的最终目 ......
1/12 学习进度笔记
StandAlone HA的原理 基于Zookeeper做状态的维护，开启多个Master进程，一个作为活跃，其他的作为备份，当活跃进程宕机，备份Master进行接管。 Spark StandAlone HA 环境搭建 步骤 前提: 确保Zookeeper 和 HDFS 均已经启动 先在spark- ......
图解HTTP笔记
Web及网络基础 HTTP(HyperText Transfer Protocol)超文本传输协议，严谨点是超文本转移协议 简单来说，HTTP是一种协议，即规则的约定。Web就是将HTTP协议作为规范，完成从客户端到服务器端一系列操作的运作流程。所以说web是建立在HTTP协议上通信的 3项WWW构 ......
CPrimerPlus笔记
还没学 的 167页的wordcnt程序 199页的checking程序（太长了，不想看） 113页的第八章编程练习5（不想看） 125页的复习题9(有问题，有时间再来验证) 119页重定向和文件(nnd，有更强大的文件通信方法我干嘛学这个，装X吗) 307页的字符串排序和命令行参数还有字符串转换什 ......
【专题】2022云上新型电力系统报告PDF合集分享（附原数据表）
原文链接：https://tecdat.cn/?p=33446 原文出处：拓端数据部落公众号 报告合集根据实践创新，我们提出了“云上新型电力系统”，该系统将加速电力流、信息流和价值流的融通流动，通过更灵活高效的能源资源优化配置平台，支持大规模的新能源开发和利用。这一系统将为电力业务创新、电力行业发展 ......
【专题】新零售下品牌消费者为中心的数字化转型报告PDF合集分享（附原数据表）
报告链接：http://tecdat.cn/?p=32130 原文出处：拓端数据公众号 白皮书显示，阿里巴巴目前拥有超过五亿用户，成为中国领先的网上商城和各大品牌争相发力平台。作为B2C模式为代表的天猫，也逐渐成为了品牌运营的核心阵地。在数据银行、会员通等一系列数字化消费者运营工具被引入天猫平台后， ......
【专题】2023中国经济高质量发展中的商业地产趋势与机遇专题报告PDF合集分享（附原数据表）
原文链接：https://tecdat.cn/?p=34818 原文出处：拓端数据部落公众号 在摆脱了三年的新冠疫情后，2023年的中国经济开始复苏，但步伐仍显蹒跚。前三季度，GDP同比增长5.29%，但短期内仍面临诸多挑战，如外部经济和地缘政治环境的多变，以及企业和居民消费信心尚待修复。阅读原文， ......
数据结构里的一棵树
一、树是什么？ 有根有枝叶便是树！根只有一个，枝叶可以有，也可以没有，可以有一个，也可以有很多。 就像这样： 嗯，应该是这样： 二、一些概念 1、高度 树有多高，嗯，我一米八三！ 树的高度怎么算？ 高度是啥，就是从下往上到最顶端，从叶节点到根节点。 从每个叶节点开始，一个节点一个节点往上数，数到根节 ......
【jQuery基础】详解及使用教程
jQuery简介 jQuery 是一个高效、精简并且功能丰富的 JavaScript 工具库。它提供的 API 易于使用且兼容众多浏览器，这让诸如 HTML 文档遍历和操作、事件处理、动画和 Ajax 操作更加简单。 目前超过90%的网站都使用了jQuery库，jQuery的宗旨：写的更少，做得更多 ......
Unity3d_Rewired官方文档翻译：要点（一）：安装、快速开始、基础用法、部署、最佳做法
仅翻译了官方文档中的Essentials（要点）、Concepts（概念）两部分，这是文档中最重要的部分，理解了这两部分的内容应该足以让你将Rewired运用到你的项目中，之后再去阅读文档的其他部分也能更容易理解。 斜体加下划线部分为添加的注解，非官方文档内容。若你发现有翻译、注解不正确的，请留言告 ......