基础 笔记 数据spark
数据资产新规！《关于加强数据资产管理的指导意见》发布（附全文）
1月11日，《关于加强数据资产管理的指导意见》发布，构建“市场主导、政府引导、多方共建”的数据资产治理模式，逐步建立完善数据资产管理制度，不断拓展应用场景，不断提升和丰富数据资产经济价值和社会价值，推进数据资产全过程管理以及合规化、标准化、增值化。通过加强和规范公共数据资产基础管理工作，探索公共 ......
项目管理--PMBOK 读书笔记（9）【项目资源管理】
1、团队成员的角色与职责： 1）层级结构（OBS）：与 WBS 交叉确认部门的全部项目指责，项目组织结构图； 2）矩阵结构（RAM）：工作包（活动）与项目团队的关系，主要用于明确角色与期望（职责） 3）文字描述形式：角色、职责和职权等 2、PBS、WBS、OBS 三维关系 1）PBS：Project ......
旅游数据可视化大屏：旅游业数字化转型的关键
旅游数据可视化大屏作为旅游业数字化转型的重要一环，正逐渐改变着行业的传统运营模式。它不仅为管理者提供了科学决策的依据，还为从业者和游客带来了更加便捷、高效的旅游体验。在未来，随着技术的不断进步和应用场景的拓展，旅游数据可视化大屏将在旅游业中发挥更加重要的作用，助力行业持续繁荣发展。 ......
【系统设计】笔记4
web是怎么工作的？ URL：https://www.google.com 域名 首先访问最近的DNS服务器 domain name service DNS记录了这个域名的ip地址是什么 浏览器向该ip地址发送http/https请求。每台服务器/计算机联网都需要一个ip地址。通过ip地址就能找到该 ......
【Python基础】模块
简介 模块是一组Python代码的集合，可以使用其他模块，也可以被其他模块使用。 创建自己的模块时，要注意： 模块名要遵循Python变量命名规范，不要使用中文、特殊字符； 模块名不要和系统模块名冲突，最好先查看系统是否已存在该模块，检查方法是在Python交互环境执行import abc，若成功则 ......
项目管理--PMBOK 读书笔记（8）【项目质量管理】
1、数据表现—流程图： 流程图也称为过程图，用来显示在一个或者多个输入转化为一个或者多个输入出的过程。 2、质量工具图比较： 发现问题：控制图（七点规则等）、趋势图 寻找原因：因果图、流程图 分析原因：帕累托图、散点图、直方图、检查表/计数单 收集需求：亲和图 3、QP、QA、QC 区别 ......
项目管理--PMBOK 读书笔记（7）【项目成本管理】
1、成本术语： 2、三点估算（PERT）： 平均估算值=（最可能持续时间*4+最乐观+最悲观）/6 标准差=（最乐观-最悲观）/6 68.26%、95.46%、99.73% 3、估算成本的工具：质量成本 4、挣值管理（Earned Value Management,EVM） EV（Earned Va ......
读元宇宙改变一切笔记05_计算
1. 物理定律 1.1. 元宇宙是否需要如此遵从物理定律是存在争议的 1.2. 沉浸式模拟的下一步将远远超越更逼真的爆炸效果或更生动的虚拟化身这一水平 1.2.1. “粒子物理定律、引力定律、电磁定律、电磁波（包括光）和无线电波……压力和声音”应用到元宇宙中 1.3. 物理定律带入虚拟世界的愿望似乎 ......
【专题】2023年大语言模型综合评测报告PDF合集分享（附原数据表）
原文链接：https://tecdat.cn/?p=33624 原文出处：拓端数据部落公众号 自2022年年末以来，人工智能大模型已成为技术领域甚至全球创新领域最受关注的话题。以ChatGPT为代表的大模型产品发展迅速，预测数据显示，到2030年，AIGC市场规模有望超过万亿元。2023年，国内主要 ......
【专题】2023年人工智能全域变革图景展望报告PDF合集分享（附原数据表）
原文链接：https://tecdat.cn/?p=34571 原文出处：拓端数据部落公众号 近年来，人工智能的发展日新月异，整个行业都面临着如何有效融合和应用智能技术的关键问题。巨大的应用潜力背后，是新的硬件、新的算法和新的数据全面涌现。 阅读原文，获取专题报告合集全文，解锁文末353份人工智能相 ......
【计网笔记】互联网基础结构发展
互联网基础结构发展的三个阶段 目录互联网基础结构发展的三个阶段第一阶段：ARPANET第二阶段：三级结构互连网（主干网、地区网、校园网、企业网）第三阶段：ISP、IXP 互联网的基础结构大体上经历了三个阶段的演进。但这三个阶段在时间划分上并非截然分开而是有部分重叠的，这是因为网络的演进是逐步的，而并 ......
数据处理神器可不止 Pandas 哦，还有 Polars，全方位解析 Polars
楔子 Python 在数据处理领域有如今的地位，和 Pandas 的存在密不可分，然而除了 Pandas 之外，还有一个库也在为 Python 的数据处理添砖加瓦，它就是我们本次要介绍的 Polars。和 Pandas 相比，Polars 的速度更快，执行常见运算的速度是 Pandas 的 5 到 ......
gin学习笔记（一）—— 了解gin
了解gin Web编程基础 客户端和服务端 HTTP 客户端和服务器之间的请求响应一般都是使用 HTTP/HTTPS 协议，它规定了如何从网站服务器传输超文本到本地浏览器。 HTTP请求 当你在网页上点击一个链接、提交一个表单、或者进行一次搜索的时候，浏览器会发送一个 HTTP 请求给服务器。HTT ......
浦语书生大模型实战训练营03笔记和作业
1.1配置环境 进入命令行，安装pytorch环境 bash /root/share/install_conda_env_internlm_base.sh InternLM conda activate InternLM # 升级pippython -m pip install --upgrade ......
【计网笔记】什么是计算机网络？
什么是计算机网络？ 目录什么是计算机网络？什么是计算机网络？什么是互连网（internet）？什么是主机（host）？互联网（Internet）与互连网（internet）的区别 什么是计算机网络？ 计算机网络（简称为网络）由若干 节点（node） 和连接这些节点的 链路（link） 组成。网络中的 ......
【专题】2023AIGC人才趋势报告PDF合集分享（附原数据表）
原文链接：https://tecdat.cn/?p=33544 自2022年11月ChatGPT发布以来，其超出预期的“涌现”能力彻底点燃了AIGC赛道。从人力资源角度来看，AIGC相关职位数量明显增加，并且人才对于这些职位的投递也更加积极。阅读原文，获取专题报告合集全文，解锁文末190份AIGC行 ......
【专题】2023粤港澳大湾区交通净零碳排放路线图研究报告PDF合集分享（附原数据表）
原文链接：https://tecdat.cn/?p=34803 原文出处：拓端数据部落公众号 全球气候变化的主要原因是二氧化碳为主的温室气体排放。尽管各国提出更严格的减排目标，但碳减排仍面临巨大挑战。2022年全球地表CO2浓度上升了2.13ppm，远超过去十年增速，比工业化前高出50%。国际能源署 ......
R语言PLS-DA模型分析不同中医组别患者间差异指标数据可视化
全文链接 :https://tecdat.cn/?p=34809 原文出处：拓端数据部落公众号 PLS-DA (Partial Least Squares Discriminant Analysis) 是一种多变量统计分析方法，常用于处理具有多个预测变量和多个响应变量的数据。在本文中，我们帮助客户使 ......
学习笔记2
Spark启动和验证直接无参数启动./spark-shell ，运行的是本地模式： 启动./spark-shell –master yarn，运行的是on yarn模式，前提是yarn配置成功并可用： 在hdfs文件系统中创建文件README.md，并读入RDD中，使用RDD自带的参数转换，RDD默 ......
（坚持每天写算法）算法复习与学习part1基础算法1-6——高精度加法
高精度加法，其实就是模拟我们普通算式的步骤，比如是267+58，首先个位相加，7 + 8 = 15 ， 1给到十位（也就是进位），留下5，然后算十位，同样的步骤直到算完。通过这个步骤我们直到了我们每次循环（个位到十位到百位……）都需要一个t来充当进位，使用数组来存储或者使用vector（容器），我这 ......
python-数据容器
1.字符串（str）概念：单引号，双引号，三引号包围的字符组 下标索引：即编号，我们可以根据下标找到对于元素 切片：对操作对象截取其中一部分的操作 切片语法：[起始：结束：步长] str（abcd） 空格会算一个小标 len（str1） 查字符串里面的数字字母个数 索引就是abcd数数的1234（正 ......
升讯威在线客服系统的并发高性能数据处理技术：为多线程处理同步数据
我在业余时间开发维护了一款免费开源的升讯威在线客服系统，也收获了许多用户。对我来说，只要能获得用户的认可，就是我最大的动力。 最近客服系统成功经受住了客户现场组织的压力测试，获得了客户的认可。 客户组织多名客服上线后，所有员工同一时间打开访客页面疯狂不停的给在线客服发消息，系统稳定无异常无掉线，客服 ......
Spark - spark on yarn 的作业提交流程
客户端（Client）通过YARN的ResourceManager提交应用程序。在此过程中，客户端进行权限验证，生成Job ID和资源上传路径，并将这些信息返回给客户端。 客户端将jar包、配置文件、第三方包等文件上传到指定的HDFS路径。完成后，客户端再次向ResourceManager提交作业执 ......
升讯威在线客服系统的并发高性能数据处理技术：实现拔网线也不丢消息的高可靠通信（附视频）
我在业余时间开发维护了一款免费开源的升讯威在线客服系统，也收获了许多用户。对我来说，只要能获得用户的认可，就是我最大的动力。 客服系统开发过程中，最让我意外的是对 TCP/IP 协议的认识。过去一直认为 TCP/IP 是可靠的连接，加上过去开发的软件网络环境比较稳定，很少在这个问题上纠结。 直到客服 ......
Spark - 面试题
Spark是什么？答案：Apache Spark是一个快速、通用的大数据处理引擎，它提供了大规模数据集的内存计算和分布式计算能力。Spark可以处理各种数据源，如HDFS、Hive、Cassandra等，并提供了丰富的API和工具集，用于批处理、流处理、机器学习、图处理等多种计算场景。 Spark的 ......
Gorm实战，轻松掌握数据库增删改查技巧！
Gorm实战，轻松掌握数据库增删改查技巧！ CRUD通常指数据库的增删改查操作，本文详细介绍了如何使用GORM实现创建、查询、更新和删除操作。 目录Gorm实战，轻松掌握数据库增删改查技巧！一、Create（创建）1.1 创建记录1.2 用指定的字段创建记录1.3 批量插入1.4 创建钩子1.5 根 ......
C 语言结构体和枚举完全指南：成员访问、字符串操作、枚举基础
访问结构体成员 要访问结构体的成员，请使用点语法 (.): // 创建名为 myStructure 的结构体 struct MyStructure { int myNum; char myLetter; }; int main() { // 创建名为 s1 的 myStructure 的结构体变量 ......
mall商城笔记-02
项目的搭建 一、搭建父工程 这里要注意父工程的boot版本与cloud版本的对照，否则无法启动 <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-parent</artifactId> <vers ......
Gorm 数据库表迁移与表模型定义
Gorm 数据库表迁移与表模型定义 一、Docker快速创建MySQL实例 1.1 创建 因为这里我们是测试学习使用，单独安装MySQL 比较费时费力，所以这里使用Docker方便快速掌握Gorm 相关知识。 如果你没有docker环境，可以参考：【一文搞定】Linux、Mac、Windows安装D ......