函数coalesce笔记hive
EMR-hive集成ranger
hive集成ranger：https://help.aliyun.com/zh/emr/emr-on-ecs/user-guide/enable-hive-in-ranger-and-configure-related-permissions ......
Cesium学习笔记11——坐标量测
代码： 1 var annotations; 2 function axToolCoordinate(layer) { 3 var handler=new Cesium.ScreenSpaceEventHandler(viewer.canvas); 4 annotations=viewer.scen ......
pytest框架学习-pytest_addoption钩子函数
适用场景：一套自动化代码，多套环境。 pytest_addoption 允许用户自定义注册一个命令行参数，方便用户通过命令行参数的形式给 pytest 传递不同的参数进行不同测试场景的切换。 pytest_addoption 钩子函数一般和内置 fixture pytestconfig 配合使用， ......
《架构师之路：软件架构之美》阅读笔记二
《架构师之路：软件架构之美》是一本关于软件架构的经典之作，作者通过丰富的案例和实践经验，向读者展示了软件架构的重要性、原则和方法。在阅读这本书的过程中，我深刻地认识到了软件架构对于整个软件开发过程的影响，以及如何成为一名优秀的架构师。以下是我在阅读过程中的一些笔记和心得。 软件架构的定义 软件架构是 ......
MYSQL常用函数
MYSQL常用函数 1.数值函数 函 数 功 能 ABS(x) 返回数值x的绝对值 MOD(x,y) 返回数值x除以数值y后的余数 CEIL(x) 返回大于数值x的最小整数值 FLOOR(x) 返回小于数值x的最大整数值 RAND() 返回0～1内的随机数 ROUND(x) 返回对参数x进行四舍五入 ......
学C笔记归纳 第十三篇——函数3 递归（重点）
1.什么叫递归？ 递归是一种编程技巧，程序调用自身的编程技巧称为 “递归”，应用广泛。 2.描述递归 递归把一个大型复杂问题层层转化为一个与原问题相似的规模较小的问题来求解， 只需要少量的程序就可以描述出解题过程所需要的多次重复计算，大大减少了程序代码量。 3.递归的核心思想 把大事化小。 来看一个 ......
Python:递归函数
一、函数的递归 什么是函数的递归：函数的递归就是函数的递归调用：是函数嵌套调用的一种形式。 具体是指：在调用一个函数的过程中又直接或者间接的调用到本身。 # 1、直接调用本身（简单理解为死循环 ） def f1(): print('直接调用本身实例：') f1() # 调用 f1()# 由于没有设定 ......
闭包函数
闭包函数 （一）什么是闭包函数 闭包是指包含对自由变量的函数和对这些变量的引用环境的组合。 基于函数对象的概念，可以将函数返回到任意位置去调用。 但作用域的关系是在定义完 函数时就已经呗确定了的，与函数的调用位置无关。 #闭包函数 #定义一个全局变量 x=1 #定义外层函数 def outer(): ......
软件架构读书笔记2
第二部分：计算机功底 主要讲解的是术。计算机功底、语言、框架、网络、数据库、操作系统等。 印象最深刻的是框架那一章。作者提到，熟悉一个框架之后，更多的是应该去关注它的缺点，而不是优点。更应该关注它不能做什么，而不是它能做什么。 它不能做什么往往是别的框架的改进点。 细想，如果你不关注它不能做什么，在 ......
软件架构设计读书笔记
第一部分：什么是架构？ 一句话:架构是针对所有重要问题做出的重要决策。 不同公司或者相同公司在不同的阶段所面临的问题不同，架构自然也会有所不同。 个人认为，不存在称之为完美的架构，只会存在最适合的。面对的场景，着重的目的不同，那么相应的决策也会不同(有点废话)。 架构的分类。 作者从技术的角度，把软 ......
SQL必知必会（第5版） 读书笔记
适用范围 本书涵盖的DBMS一般来说，本书中所讲授的SQL可以应用到任何数据库管理系统（DBMS）。但是，各种SQL实现不尽相同，本书介绍的SQL主要适用于以下系统（需要时会给出特殊说明和注释）： ❑ IBM DB2（包括云上DB2）；❑ Microsoft SQL Server（包括Microso ......
Linux系统中curl命令使用笔记
在Linux中curl是一个利用URL规则在命令行下工作的文件传输工具，用来请求 Web 服务器，它的名字就是客户端（client）的 URL 工具的意思，可以说是一款很强大的http命令行工具，它支持文件的上传和下载，是综合传输工具。 可以看出它的参数非常多，a-z的字母，几乎都用到了，参数这么说 ......
pyautogui.locateOnScreen()函数
如何在屏幕上搜索某个图像 假设桌面有个熟悉的图标如下： 我们该如何用pyautogui找到它呢？ 如果是你，你该怎么找呢？ 是不是首先得参照上面这个图片，然后在屏幕上逐行扫描，扫到为止。 pyautogui也是类似的： # 图像识别（一个） oneLocation = pyautogui.locat ......
atlas 2001 dk A2 研发笔记
atlas 2001 dk A2开发者套件: www.hiascend.com/hardware/devloper-kit-a2 课程:https://www.hiascend.com/zh/developer/courses/detail/1638576084570705922 os:https: ......
【虹科干货】触发器和函数：让代码更接近数据
Redis是一个强大的数据库平台，可以用于构建和维护实时应用程序。开发人员可以通过创建JavaScript函数，在Redis数据库中自动执行数据更改代码，从而确保较低的延迟。Redis的可编程性为应用程序开发提供了更灵活和高效的解决方案。 ......
Go函数参数传递到底是值传递还是引用传递？
在函数中，如果参数是非引用类型（int、string、array、struct等），这样就在函数中就无法修改原内容数据； 如果参数是引用类型（指针、map、slice、chan等），这样就可以修改原内容数据。 是否可以修改原内容数据，和传值、传引用没有必然的关系。在C++中，传引用肯定是可以修改原内 ......
四、Hive优化
1.1 hive的随机抓取策略 理论上来说，Hive中的所有sql都需要进行mapreduce，但是hive的抓取策略帮我们 省略掉了这个过程，把切片split的过程提前帮我们做了。 set hive.fetch.task.conversion=none; (一旦进行这么设置，select字段名也是 ......
[spark] coalesce() 和 repartition()的区别
coalesce(1) 的主要作用是将数据合并到尽可能少的分区中，而 repartition(1) 则是将数据随机重分区为一个分区。这使得 coalesce(1) 相对而言更加高效，因为它减少了数据移动的次数，只需要在当前 Executor 上将所有分区的数据都收集到当前应用程序的单个 Execut ......
阅读笔记《有效需求分析》2
有效需求分析的基本流程： 今天工作不算太忙，本来下午是要开会，由于这周的idea比较少，就把AT会议移到下周一起开，所有今天没有什么忙的，只是开了简单的idea评审会议，同时对组内的一些问题进行简单的整理，本来想整理出好的方案的，但是由于众多原因没有协议出比较好的解决方案。 上午就抽时间看了一个《有 ......
阅读笔记：《代码大全》阅读笔记十
《代码大全》是我在软件开发领域的一本必读书籍。这本书几乎涵盖了软件开发的方方面面，从编码到设计、测试到调试等各个环节都有详细的讲解和指导。 首先，我被作者对于代码的重视所深深吸引。他在书中强调，代码质量决定了软件的可靠性和可维护性。好的代码应该易读、易懂、易维护。通过书中的实例和案例，作者向我们展示 ......
三、Hive学习之SQL、函数
SQL练习 1、count(*)、count(1) 、count('字段名') 区别 从执行结果来看 count(*)包括了所有的列，相当于行数，在统计结果的时候，不会忽略列值为NULL 最慢的 count(1)包括了忽略所有列，用1代表代码行，在统计结果的时候，不会忽略列值为NULL 最快的 co ......
VLOOKUP函数基本使用
结构：=VLOOKUP(查找值,数据表,列序数,匹配条件) 说明：1、第一参数：查找值，比如说根据【姓名】来查找【工资】，【姓名】就是查找值，且在数据表中要位于第一列； 2、第二参数：数据表，查找的数据区域，建议设置为绝对引用，在选定区域后按F4键就可以快速切换，就是在行和列的前面添加$符号，拖动公 ......
[数字图像处理笔记] 第八章 图像分割
1. 概述 图像分割 是图像识别和图像理解的 前提 步骤，图像分割质量的好坏直接影响图像处理的结果。 图像分割是将一幅图像分解为若干互不相交、有意义的、具有 相同性质 的区域。 分割出来的各区域在灰度、纹理等方面具有相似性，区域内部是连通的 区域边界是明确的 相邻区域对分割所依据的性质有明显的差异 ......
机器学习-线性回归-损失函数+正则化regularization-06
目录1. 为什么要加上正则项2 L1稀疏 L2平滑3. 代码1--L2正则4 代码2--L2正则25. 代码3--l1正则 1. 为什么要加上正则项 防止模型的过拟合 需要在损失函数LOSS(MSE或者交叉熵)再加上正则项 常用的惩罚项有L1正则项或者L2正则项 其实L1和L2正则的公式数学里面的意 ......
函数写法 : 箭头函数+解构表达式
// 1. 函数参数的默认值 // 原方式 function add(a, b) { b = b || 1; return a + b; } //只传一个参数 函数里面设置了 b为 空的情况 值为1 console.log(add(10)); // 11 // 新写法 , 在参数中给定一个默认值 f ......
二十、函数(三)
二十、函数(三) 1、函数重载 函数重载技术运行我们创建函数名称相同的函数，但是为了编译器能够正确的编译这个程序，这些函数需要采用不同的参数列表来区分（即函数名相同，参数类型不同）。C语言中无法进行函数重载 1）项目设计 ①设计一个函数，能够使得函数求出两个int值的平均值 ②设计一个函数，能够使得 ......
sql学习笔记
数据库原理 1. 数据库概念 数据库定义 数据库的特点 2. 数据库管理系统（DBMS） DBMS的功能 常见的DBMS软件 3. 数据模型 关系模型的基本概念 数据库范式的概念和应用 4. 数据库事务和并发控制 事务的ACID特性 并发控制的方法和技术 SQL语言基础 1. SQL概述 SQL语言 ......
《软件需求模式》阅读笔记二
《软件需求模式》第3、4章阅读笔记 其中第3章描述了需求模式扮演的角色，解释了每个模式的一些具体内容和具体结构。而第4章则介绍了何时以及如何去使用需求模式，如何从原有的模式创造出新的模式或者直接编写新的模式。 第3章首先为我们解释了需求模式的概念：定义一种特定类型需求的方法。需求模式就是为我们提供一 ......