基础 笔记 数据spark
大数据拾遗
MapReduce record reader读取到输入文件根据指定FileInputFormat格式解析内容并组织输入的(k,v),不同的输入文件的Key代表的含义不一样好比text的hdfs文件key表示的物理文件的字符偏移量，然后对(k,v)进行自定义的map逻辑处理处理完成后交给collec ......
【scikit-learn基础】--『监督学习』之 决策树分类
决策树分类算法是一种监督学习算法，它的基本原理是将数据集通过一系列的问题进行拆分，这些问题被视为决策树的叶子节点和内部节点。决策树的每个分支代表一个可能的决策结果，而每个叶子节点代表一个最终的分类结果。 决策树分类算法的历史可以追溯到1980年代初，当时研究者开始探索用机器学习来解决分类问题。在19 ......
（五十五）C#编程基础复习——C#指针变量与unsafe
为了保持类型的安全性，默认情况下C#是不支持指针的，但是如果使用unsafe关键字来修饰类或类中的成员，这样的类或类中的成员就会被视为不安全代码，C#允许在不安全代码中使用指针变量。在公共语言运行时（CLR）中，不安全代码是指无法验证的代码，不安全代码不一定是危险的，只是公共语言运行时（CLR）无法 ......
使用JavaScript函数实现数据可视化的多维分析
Laravel是一个流行的PHP框架，它具有出色的可测试性，可以帮助开发人员在更短的时间内编写可靠的代码。但是，即使使用了这个框架，也可能会出现测试覆盖率较低的情况。测试覆盖率是指代码中已由测试案例覆盖的部分比例。测试覆盖率越高，代码质量越高。在本文中，我们将分享几种技巧，帮助您提高Laravel应 ......
学习JavaScript中的数据可视化和图表库
Laravel是一个流行的PHP框架，它具有出色的可测试性，可以帮助开发人员在更短的时间内编写可靠的代码。但是，即使使用了这个框架，也可能会出现测试覆盖率较低的情况。测试覆盖率是指代码中已由测试案例覆盖的部分比例。测试覆盖率越高，代码质量越高。在本文中，我们将分享几种技巧，帮助您提高Laravel应 ......
掌握JavaScript中的数据存储和本地数据库
Laravel是一个流行的PHP框架，它具有出色的可测试性，可以帮助开发人员在更短的时间内编写可靠的代码。但是，即使使用了这个框架，也可能会出现测试覆盖率较低的情况。测试覆盖率是指代码中已由测试案例覆盖的部分比例。测试覆盖率越高，代码质量越高。在本文中，我们将分享几种技巧，帮助您提高Laravel应 ......
掌握JavaScript中的数据可视化和报表生成
Laravel是一个流行的PHP框架，它具有出色的可测试性，可以帮助开发人员在更短的时间内编写可靠的代码。但是，即使使用了这个框架，也可能会出现测试覆盖率较低的情况。测试覆盖率是指代码中已由测试案例覆盖的部分比例。测试覆盖率越高，代码质量越高。在本文中，我们将分享几种技巧，帮助您提高Laravel应 ......
使用JavaScript函数实现数据可视化的动画效果
Laravel是一个流行的PHP框架，它具有出色的可测试性，可以帮助开发人员在更短的时间内编写可靠的代码。但是，即使使用了这个框架，也可能会出现测试覆盖率较低的情况。测试覆盖率是指代码中已由测试案例覆盖的部分比例。测试覆盖率越高，代码质量越高。在本文中，我们将分享几种技巧，帮助您提高Laravel应 ......
达梦数据库常用命令
https://blog.csdn.net/qq_44819536/article/details/124235560 SELECT DISTINCT object_name FROM ALL_OBJECTS WHERE OBJECT_TYPE = 'SCH' ##模式这里就是指database，查 ......
Go基础
Go（又称Golang）是Google开发的一种静态强类型、编译型、并发型，并具有垃圾回收功能的编程语言。 —— Go - wikipedia.org 1 Go 安装 最新版本下载地址官方下载 golang.org，当前是 1.21.5。如无法访问，可以在 https://go.dev/dl/ 下载 ......
Python爬上不得姐 并将段子写入数据库
#Python2.7 可以优化一下 前10页 每页点赞最多的段子 百思不得姐 # -*- coding: utf-8 -*-import MySQLdbimport urllib,urllib2import sys,rereload(sys)sys.setdefaultencoding('utf-8 ......
【系统设计】笔记3
尽管此刻没有如愿以偿找到合适的ft，但我希望能够充分认识到自己的不足，积蓄力量。相信在不久的将来未来会有爆发的机会。 知识的广度（component, 目的）和深度(sde1: 3年以内，sde2: 4年以上，sde3：team lead，org impact可小可大，深度，3+：org lead, ......
【Python基础】Pycharm创建文件时，自动生成文件头注释
在pycharm创建文件时需要备注文件信息 可以创建模板，以后创建文件会自动带出文件信息 设置路径 文件-设置-编辑器-文件和代码模板-Python Script 设置模板内容 例如 # -*- coding: utf-8 -*- #@Project :${PROJECT_NAME} #@File ......
Java实现大批量数据导入导出(100W以上)
一、文件导入 一、为什么一定要在代码实现 说说为什么不能通过SQL直接导入到数据库，而是通过程序实现： 首先，这个导入功能开始提供页面导入，只是开始业务方保证的一次只有<3W的数据导入； 其次，业务方导入的内容需要做校验，比如门店号，商品号等是否系统存在，需要程序校验； 最后，业务方导入的都是编码， ......
元数据管理平台对比预研 Atlas VS Datahub VS Openmetadata
大家好，我是独孤风。元数据管理平台层出不穷，但目前主流的还是Atlas、Datahub、Openmetadata三家，那么我们该如何选择呢？ 本文就带大家对比一下。要了解元数据管理平台，先要从架构说起。 元数据管理的架构与开源方案 下面介绍元数据管理的架构实现，不同的架构都对应了不同的开源实现。 下 ......
FileOutputStream第二个参数怎么理解 默认第二个参数是false，表示不追加，每次new对象都会清空之前的内容创建新的内容，ture表示在之前的基础上追加内容
FileOutputStream第二个参数怎么理解 new FileOutputStream(“b.txt”,true); 默认第二个参数是false，表示不追加，每次new对象都会清空之前的内容创建新的内容，ture表示在之前的基础上追加内容 比如，以下代码执行两次，结果是dfdf,如果是fals ......
C++基础 -18-继承中类继承的区别
———————继承中类继承的区别——————— 🎄无论使用公有，保护，私有继承 都无法访问基类私有成员 🎄在多级继承中，使用公有继承，派生的派生可以访问基类的公有，保护成员 🎄在多级继承中，使用保护继承，派生的派生可以访问基类的公有，保护成员 🎄在多级继承中，使用私有继承，派生的派生无法访问 ......
读元宇宙改变一切笔记03_元素（下）
1. 元素2：3D，互联网的下一个伟大迈进 1.1. 3D的必要性不仅仅是因为它预示着新事物的出现 1.1.1. 为了使人类文化和劳动实现从物理世界向数字世界的过渡，必须借助3D环境 1.2. 用户通过几乎源源不断的高分辨率照片甚至视频来表达自己，其中许多照片和视频都是在旅途中拍摄的 1.2.1. ......
zookeeper源码(05)数据存储
本文详细分析一下zookeeper的数据存储。 ZKDatabase 维护zookeeper服务器内存数据库，包括session、dataTree和committedlog数据，从磁盘读取日志和快照后启动。 关键字段 // 数据节点树 protected DataTree dataTree; pro ......
Kotlin系列一(快速入门,kotlin的数据类型)
1.如何编写kotlin脚本
2.如何编写kotlin程序
3.kotlin中的变量和常量
4.kotlin中的数据类型,类型转换,类型判断,类型别名 ......
《Span-Based Joint Entity and Relation Extraction with Transformer Pre-Training》阅读笔记
代码 原文地址 预备知识： 1.什么是束搜索算法（beam search）? beam search是一种用于许多自然语言处理和语音识别模型的算法，作为最终决策层，用于在给定目标变量(如最大概率或下一个输出字符)的情况下选择最佳输出。 2.什么是条件随机场（Conditional Random Fi ......
Docker 学习笔记 - 2
操作容器 终止 可以使用 docker container stop 来终止一个运行中的容器。 此外，当 Docker 容器中指定的应用终结时，容器也自动终止。 此外，docker container restart 命令会将一个运行态的容器终止，然后再重新启动它。 进入容器 在使用 -d 参数时， ......
贝叶斯分位数回归、lasso和自适应lasso贝叶斯分位数回归分析免疫球蛋白、前列腺癌数据|附代码数据
原文链接：http://tecdat.cn/?p=22702 最近我们被客户要求撰写关于贝叶斯分位数回归的研究报告，包括一些图形和统计输出。 贝叶斯回归分位数在最近的文献中受到广泛关注，本文实现了贝叶斯系数估计和回归分位数（RQ）中的变量选择，带有lasso和自适应lasso惩罚的贝叶斯 摘要 还包 ......
R语言GARCH族模型：正态分布、t、GED分布EGARCH、TGARCH的VaR分析股票指数|附代码数据
全文链接：http://tecdat.cn/?p=31023 最近我们被客户要求撰写关于GARCH族模型的研究报告，包括一些图形和统计输出。 如何构建合适的模型以恰当的方法对风险进行测量是当前金融研究领域的一个热门话题 （ 点击文末“阅读原文”获取完整代码数据******** ）。 VaR方法作为当 ......
Python中TensorFlow的长短期记忆神经网络(LSTM)、指数移动平均法预测股票市场和可视化|附代码数据
原文链接：http://tecdat.cn/?p=23689 最近我们被客户要求撰写关于LSTM的研究报告，包括一些图形和统计输出。 本文探索Python中的长短期记忆（LSTM）网络，以及如何使用它们来进行股市预测 （ 点击文末“阅读原文”获取完整代码数据）。 在本文中，你将看到如何使用一个被称为 ......
MySQL与Redis数据双写一致性工程落地案例
复习-面试题 多个线程同时去查询数据库的这条数据，那么我们可以在第一个查询数据的请求上使用一个 互斥锁来锁住它。 其他的线程走到这一步拿不到锁就等着，等第一个线程查询到了数据，然后做缓存。 后面的线程进来发现已经有缓存了，就直接走缓存。 canal canal [kə'næl]，中文翻译为 水道/管 ......
【学习笔记】并查集
并查集是一种树形数据结构。它管理一系列不相交的集合。它支持两种操作： 查询 Find 合并 Union 查询 有一个 fa 数组，里面存放了每个节点的父节点。这样下去，查询一个节点的父节点，再查询它的父节点的父节点，再查询它的父节点的父节点的父节点……我们就可以顺藤摸瓜，通过这个数组来查询这个节点的 ......
《软件工程—实践者的研究方法》读书笔记
《软件工程—实践者的研究方法》这本书内容丰富，从软件工程的定义、软件过程、建模、质量管理到管理软件项目和软件工程发展趋势的探讨，作者逐个展开并做了大量的讲解。内容丰富，当然书也是非常厚。借到这本书之后，一开始没看，一再推迟，大概十一月末才鼓起勇气开始翻阅这本厚厚的书。 这本书不像之前翻阅的软件工程书 ......
【专题】2023中国数字平台开放性指数研究报告PDF合集分享（附原数据表）
原文链接：https://tecdat.cn/?p=34786 原文出处：拓端数据部落公众号 在数字平台的开放性持续向好的背景下，交易和转移两个方面成为推动数字平台总体开放性不断提升的主要动力。然而，接入和退出维度仍然是限制数字平台总体开放性的重要因素。电商交易平台的整体开放性平均得分最高，而社交媒 ......