常用spark sql
spark 3.x idea linux远程开发环境搭建
依赖包 jdk 8或11都行，不要到jdk 17 jdk 17第一个问题是jdk内部类默认不允许反射，很多配置要改。 scala 2.13 scala 2.13版本是为scala 3.0版本准备的，改进挺多。可通过scala编程（第四版）学习。 hadoop 3.2.1 因为windows hado ......
SQL Server 检测是不是数字型数据的两种方法
检测是不是数字型的数据， 两种方法 ISNUMERIC ( expression ) PATINDEX ( ‘%pattern%’ , expression ) 1. ISNUMERIC ( expression ) 如果是数字类型则返回 1 ，不是则返回 0 但ISNUMERIC有时是不可靠的，如 ......
Python教程(23)——Python类中常用的特殊成员
在Python中，类特殊成员是指以双下划线开头和结尾的属性和方法，也被称为魔术方法（Magic methods）或特殊方法（Special methods）。这些特殊成员在类的定义中具有特殊的语法和功能，用于实现对象的特定行为和操作。 特殊方法一般由Python解释器调用，无需手动调用。通过在类中定 ......
SQL Join的一些总结
SQL Join的一些总结 1.1.1 摘要 Join是关系型数据库系统的重要操作之一，SQL Server中包含的常用Join：内联接、外联接和交叉联接等。如果我们想在两个或以上的表获取其中从一个表中的行与另一个表中的行匹配的数据，这时我们应该考虑使用Join，因为Join具体联接表或函数进行查询 ......
SQL Server 高性能写入的一些总结
SQL Server 高性能写入的一些总结 1.1.1 摘要 在开发过程中，我们不时会遇到系统性能瓶颈问题，而引起这一问题原因可以很多，有可能是代码不够高效、有可能是硬件或网络问题，也有可能是数据库设计的问题。 本篇博文将针对一些常用的数据库性能调休方法进行介绍，而且，为了编写高效的SQL代码，我们 ......
网络攻击技术开篇——SQL Injection
网络攻击技术开篇——SQL Injection 1.1.1 摘要 日前，国内最大的程序员社区CSDN网站的用户数据库被黑客公开发布，600万用户的登录名及密码被公开泄露，随后又有多家网站的用户密码被流传于网络，连日来引发众多网民对自己账号、密码等互联网信息被盗取的普遍担忧。 网络安全成为了现在互联网 ......
50个常用的Qt开源库
1. Qwt (https://qwt.sf.net): Qwt是一个基于Qt的数据可视化库，提供了绘制曲线、图表、仪表盘等功能。 2. QJson (https://qjson.sourceforge.net): QJson是一个用于JSON数据解析和生成的库，使Qt应用程序能够方便地处理JSON ......
GitHub常用搜索技巧
普通关键词搜索 搜索关键词为javascript的所有项目，可以搜索到数量为 2 百万的项目，数量庞大，不利于筛选。 高级搜索（添加限定词） 搜索写法 含义 in:name XXX 按照项目（仓库）名称搜索 in:description XXX 按照项目（仓库）描述搜索 in:readme XXX ......
JS常用工具：Webpack 和 JShaman分别有什么用？
Webpack和JShaman是两个不同的工具，它们的特点和用途也不同。 Webpack是一个前端资源模块打包工具，主要用于将各种静态资源（如JavaScript、CSS、图片等）视为模块，并将其打包成浏览器可以识别的代码。Webpack的特点包括： 1. 模块化：Webpack将各种资源视为模块， ......
实验七：Spark机器学习库Mtlib编程实践
1、数据导入 导入相关的jar包： import org.apache.spark.ml.feature.PCA import org.apache.spark.sql.Row import org.apache.spark.ml.linalg.{Vector,Vectors} import org ......
SQL SERVER日期时间转字符串
SQL SERVER日期时间转字符串 一、sql server日期时间函数 -- 当前系统日期、时间 select getdate() --dateadd 在向指定日期加上一段时间的基础上，返回新的 datetime 值 --例如：向日期加上2天 select dateadd(day,2,'2004 ......
sql server 保留2位小数
在SQL Server中，可以使用ROUND函数来将结果保留两位小数。 示例查询语句如下所示： SELECT ROUND(column_name, 2) AS rounded_value FROM table_name; 其中，column_name为要进行四舍五入的列名，table_name为表名 ......
Spark版本不兼容导致Standalone集群无法连接问题
一、Spark版本不一致报错现象 当使用client模式连接Spark的standalone集群时，报错所有的spark master的节点都没有回应。 二、问题排查思路 通过client端的日志产看没有什么有价值的信息，需要看下spark端的master的日志，docker logs spark- ......
Spark读写达梦数据库报错Decimal精度为负数以及解决方案
一、Spark读取DM数据库问题描述 当达梦的表格设计使用number数据类型时，如果没有指定精确，使用默认值，如下图所示 则在读取该表格数据时，报错如下： 24/01/12 10:43:48 ERROR Node: [47db01a8b6ff47e7840cb0a777033721]:compon ......
Mysql时间常用函数
查看当前系统的时间 select sysdate(); select curdate(),now(),DATE_FORMAT('2024-01-03', '%Y-%m-%d') 2024-01-13 | 2024-01-13 11:32:28 | 2024-01-03 目前常用的就 curdate ......
IDEA常用快捷键大全
为方便大家提升IDEA开发操作效率，参考了 IntelliJ IDEA 的官网，列举了IntelliJ IDEA（Windows 版本）的所有快捷键。 一、构建/编译Ctrl + F9：构建项目 使用此快捷键等同于菜单【Build】—>【Build Project】1使用此命令后，IntelliJ ......
Spark On YARN架构
Spark On YARN模式遵循YARN的官方规范，YARN只负责资源的管理和调度，运行哪种应用程序由用户自己决定，因此可能在YARN上同时运行MapReduce程序和Spark程序，YARN对每一个程序很好地实现了资源的隔离。这使得Spark与MapReduce可以运行于同一个集群中，共享集群存 ......
DBEAVER 23.0.2 调整SQL编辑器字体大小 ver:20240112
DBEAVER 23.0.2 调整SQL编辑器字体大小 ver:20240112 版本是：23.0.2. 菜单-窗口-首选项。用户界面-外观-颜色和字体。展开 DBeaver Font。“Monosapce font”就是SQL编辑器字体大小的控制。“Main Fonts”是DBeaver程序本体的 ......
用友 U9 【料品表】全字段Sql输出
版权声明：本文为CSDN博主「维C°」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.csdn.net/MM2286088551/article/details/129839984 版权侵删 —————————————————— ......
SQL Server 数据库备份成sql文件
安装有Microsoft SQL Server Management Studio 备份成sql文件，恢复时不受SQL Server的版本限制 连接本地数据库 连接远程数据库，服务器名称(ip,port) 右键选择数据库--任务--备份 数据库恢复或者导入时，注意修改ipt.mdf、ipt_log. ......
ms sql in 优化
原始sql 执行半小时， 临时表gl_tmp1里大概2万条数据 select distinct ( gl_detail.pk_voucher ) from gl_detail , gl_contrast where gl_detail.pk_detail = gl_contrast.fk_detai ......
常用通讯协议（UART、RS232、RS485、IIC、SPI）简单介绍
常用通讯协议随笔 这里主要对工作学习中常见常用的通信协议进行一个整理，在需要的时候可以进行回顾，内容主要根据创客学院，所做的学习笔记加上一些比较好理解的话语，内容如有错误还请各大佬批评指正。 通讯基础 并行通讯：数据线有8条，就代表总线传输数据时一次可传输8位数据； 串行通讯：数据线只有一条，需要一 ......
Spark on YARN的两种部署模式
Client模式和Cluster模式最最本质的区别是：Driver程序运行在哪里。 Client模式：学习测试时使用，生产不推荐(要用也可以,性能略低,稳定性略低) 1.Driver运行在Client上,和集群的通信成本高 2.Driver输出结果会在客户端显示 Cluster模式：生产环境 ......
电脑常用快捷键
电脑常用快捷键 1、超常用快捷键 Ctrl+A 选中全部内容 Ctrl+C 复制 Ctrl+V 粘贴 Ctrl+Z 撤销 Ctrl+Y 恢复上一步的撤销 Ctrl+S 保存文件 Ctrl+W 删除当前窗口 Ctrl+R 刷新页面 Ctrl+T 打开新的页面 Ctrl+tab 向右切换页面 Ctrl+ ......
JS的常用验证正则
密码正则 密码必须为8到16位且必须包含数字和字母以及特殊字符 const pattern2 =/^(?!([A-Z]*|[a-z]*|[0-9]*|[!-/:-@\[-`{-~]*|[A-Za-z]*|[A-Z0-9]*|[A-Z!-/:-@\[-`{-~]*|[a-z0-9]*|[a-z!-/: ......
cmd以及常用dos命令
打开cmd 常用DOS命令 #盘符切换 C:\Users\zhang>E: E:\> #查看当前目录下的所有文件 dir E:\>dir #切换目录 cd(change directory) E:\>cd f: F:\ #通过/d实现跨盘符的切换 E:\>cd /d f: F:\> #需要一个具体路 ......
关于一些常用却记不住的问题
1.pycharm关闭弱警告 使用pycharm写代码时出现的黄色波浪线为弱警告，通常只是warning，并不影响代码运行。 取消这种弱警告的方式如下： file->setting，在搜索框中输入weak warning 取消勾选Effects，然后点击Apply后再点击OK，即可取消。 2.pyc ......
Ubuntu下压缩、解压常用命令
.tar 文件 # 仅打包，并非压缩 tar -xvf FileName.tar # 解包 tar -cvf FileName.tar DirName # 将DirName和其下所有文件（夹）打包 .gz文件 # .gz gunzip FileName.gz # 解压1 gzip -d FileNa ......
12个常用Excel文本函数
1、EXACT： 描述：字符串的比较 解释：=EXACT(文本字符串1,文本字符串2)，对比两个文本字符串是否相同。 用法举例： = EXACT("ABC","abc")，结果等于FALSE = EXACT("汽车","汽车")，结果等于TRUE 2、FIND： 描述：用一个或几个字符(find_t ......