特性spark 3.0
Java 8新特性之Stream流
## Java8新特性之Stream流 ## 什么是Stream流 Stream 使用一种类似用 SQL 语句从[数据库](https://cloud.tencent.com/solution/database?from=20065&from_column=20065)查询数据的直观方式来提供一种对 ......
ENVI 5.7/IDL 8.9 新特性介绍
1ENVI 5.7 新特性 ENVI 5.7/IDL 8.9于2023年5月正式发布，ENVI具备如下新增和改进的特性： 新增支持数据类型 新增支持SAR数据 FLAASH模块更新 全新变化检测工作流 工具箱部分工具更新 全新交互式视域分析工具 新增菜单和操作选项 新增ENVITasks NITF更 ......
为什么使用Flink替代Spark？
一，Flink是真正的流处理，延迟在毫秒级，Spark Streaming是微批，延迟在秒级。 二，Flink可以处理事件时间，而Spark Streaming只能处理机器时间，无法保证时间语义的正确性。 三，Flink的检查点算法比Spark Streaming更加灵活，性能更高。Spark St ......
Spark性能优化
### 性能优化分析 一个计算任务的执行主要依赖于CPU、内存、带宽 Spark是一个基于内存的计算引擎，所以对它来说，影响最大的可能就是内存，一般我们的任务遇到了性能瓶颈大概率都是内存的问题，当然了CPU和带宽也可能会影响程序的性能，这个情况也不是没有的，只是比较少。 Spark性能优化，其实主要 ......
Spark扩展内容
### 宽依赖和窄依赖 - 窄依赖(Narrow Dependency)：指父RDD的每个分区只被子RDD的一个分区所使用，例如map、filter等这些算子 一个RDD，对它的父RDD只有简单的一对一的关系，也就是说，RDD的每个partition仅仅依赖于父RDD中的一个partition，父R ......
Spark之RDD相关
### 创建RDD RDD是Spark编程的核心，在进行Spark编程时，首要任务是创建一个初始的RDD，这样就相当于设置了Spark应用程序的输入源数据 然后在创建了初始的RDD之后，才可以通过Spark 提供的一些高阶函数，对这个RDD进行操作，来获取其它的RDD Spark提供三种创建RDD方 ......
Spark实战
### WordCount程序 这个需求就是类似于我们在学习MapReduce的时候写的案例 需求这样的：读取文件中的所有内容，计算每个单词出现的次数 注意：由于Spark支持Java、Scala这些语言，目前在企业中大部分公司都是使用Scala语言进行开发，个别公司会使用java进行开发，为了加深 ......
Spark详解
### 什么是Spark Spark是一个用于大规模数据处理的统一计算引擎 注意：Spark不仅仅可以做类似于MapReduce的离线数据计算，还可以做实时数据计算，并且它还可以实现类似于Hive的SQL计算，等等，所以说它是一个统一的计算引擎 既然说到了Spark，那就不得不提一下Spark里面最 ......
JDK8-JDK17新特性一览
官方文档：https://openjdk.org/projects 一、JDK8新特性 1、Lambda表达式 2、函数式编程 3、接口可以添加默认方法和静态方法，也就是定义不需要实现类实现的方法 4、方法引用 5、重复注解，同一个注解可以使用多次 6、引入Optional来避免空指针 7、引入St ......
Java8新特性
# Java8新特性 Java8已经出现了很久了，但是呢，还是有很多人都还在习惯使用以前的来版本JDK，或者是以前老版本的编程方式。通过一段时间对Java8新特性的学习之后，自己也深受感触，原来java8版本写代码可以这么简洁。Java8的新特性给我们编程的过程带来了很多便利，不仅仅是代码量少。更多 ......
spark 常用参数和默认配置
##常用的Spark任务参数及其作用： 1. `spark.driver.memory`：设置driver进程使用的内存大小，默认为1g。 2. `spark.executor.memory`：设置每个executor进程使用的内存大小，默认为1g。 3. `spark.executor.cores ......
ES6新特性
# ES6新特性 **ES6官方文档：** [https://es6.ruanyifeng.com](https://links.jianshu.com/go?to=http%3A%2F%2Fes6.ruanyifeng.com%2F%23docs%2Ffunction%23%E7%AE%AD%E5 ......
【博学谷学习记录】超强总结，用心分享 | spark知识点总结2
【博学谷IT技术支持】 #### Action动作算子 * reduce: 通过func函数聚集RDD中的所有元素，这个功能必须是可交换且可并联的 * collect: 在驱动程序中，以数组的形式返回数据集的所有元素 * count: 返回RDD的元素个数 * first: 返回RDD的第一个元素（ ......
JDK8.0新特性
Java8新特性介绍 1. Lambda 表达式2. 函数式接口3. 方法引用与构造器引用4. Stream API5. 接口中的默认方法与静态方法6. 新时间日期API7. 其他新特性 速度更快代码更少 Lambda 表达式强大的Stream API便于并行 多件事情一起做 时间变短 效率变高最大 ......
Windows 配置 Hadoop and Spark
一 JDK环境配置 由于项目用的JDK17，所以单独给Hadoop配了JDK11，建议直接配置JAVA_HOME环境变量为JDK11，因为后面Spark需要用到JAVA_HOME 下载JDK11 链接：https://www.oracle.com/java/technologies/javase/j ......
是 CI 也是阿拉伯飞毯——腾讯云 CODING CI 3.0 云原生构建
在没有神灯和飞毯前，阿拉丁只是一名普通的程序员。 一天，老板双手环臂，站在阿拉丁的工位旁说：“阿丁，咱们最近**公司业务变化快，发版节奏远远跟不上**，你思考一下，解决的话请你吃意大利烧饼。”听到意大利烧饼，阿拉丁的口水都流了下来，袖管一擦，鼓足干劲，说干就干，从此踏上寻找解决方案的漫漫征途。 穿越 ......
linux查看系统的日志------健康检查特性
以下看所有的重启、关机记录 last | grep reboot last | grep shutdown history 列出所有的历史记录： [zzs@Linux] # history 只列出最近10条记录： [zzs@linux] # history 10 (注,history和10中间有空格 ......
特性—[CallerMemberName]
[CallerMemberName] 是 C# 中的一个特性（Attribute），用于在方法参数中标记一个字符串参数，用来自动获取调用该方法的成员名称（方法、属性、字段等）。 当在方法参数中使用了 [CallerMemberName] 特性时，如果该参数没有被显式地传入值，编译器会自动将调用方法的 ......
OpenHarmony 3.2 Release新特性解读之驱动HCS
OpenHarmony 3.2 Release版本驱动框架在原来的HDF架构基础上进行了细化，新增HCS宏式解析，使得系统ROM空间得到进一步的节省，增加参数调用效率；新增HCS可视化编辑器,提供hcsView扩展工具,极大的提高了HCS编译效率，降低了门槛，减少了错误率；新增HDF驱动代码模板自动... ......
非对称纳米通道的整流特性研究及其在DNA检测中的应用
非对称纳米通道的整流特性研究及其在DNA检测中的应用 石晓雨 西北大学 摘要：纳米通道单分子检测技术具有方法简单、无需标签、实时监测的优点,在生物、化学领域受到广泛关注。与生物纳米通道相比,固态纳米通道孔径尺寸和形状可调,在各种条件(p H值、温度、浓度等)下均具有出色的热稳定性和化学稳定性,因此, ......
脱离 Spring 苦海，Solon v2.3.0 发布
Java 新的生态型应用开发框架：更快、更小、更简单。
启动快 5 ～ 10 倍；qps 高 2～ 3 倍；运行时内存节省 1/3 ~ 1/2；打包可以缩到 1/2 ~ 1/10；同时支持 jdk8, jdk11, jdk17, jdk20, graalvm native。 ......
vue的两个特性
# vue的特性 vue框架的特性，主要体现在如下两方面： 1. `数据驱动视图` 1. `双向数据绑定` # 数据驱动视图 进程执行检查点;当发生下列情况之一时，其进程将启动： 检查点间隔时间由checkpoint_timeout设置(默认间隔为300 ......
JAVA三大特性
封装 把对象的属性和具体行为看成一个私有的不可见的整体，不允许被外部修改，但是提供访问接口 这种对外简单使用，对内隐藏复杂性的形式 符合高内聚低耦合的程序设计 也提高了系统整体的可维护性 典型的是使用private 控制访问权限私有 继承 父类可以有多个子类，子类只能有一个分类 父类持有共性方法，子 ......