特性spark 3.0
org.apache.spark.shuffle.FetchFailedException: The relative remote executor(Id: 21), which maintains the block data to fetch is dead.
# 问题描述 org.apache.spark.shuffle.FetchFailedException: The relative remote executor(Id: 21), which maintains the block data to fetch is dead. 最近在做Spark ......
Redis 6.0 新特性-多线程连环13问！
导读：支持多线程的Redis6.0版本于2020-05-02终于发布了，为什么Redis忽然要支持多线程？如何开启多线程？开启后性能提升效果如何？线程数量该如何设置？开启多线程后会不会有线程安全问题？多线程的实现原理是怎样的？带着这些疑问，我们来开启Redis新特性-多线程连环13问。 image ......
Java17新特性及代码示例：还在使用Java8？ 这5个Java17新功能，你会喜欢的
SpringBoot3.0最低支持JDK17，各开源软件正在全面拥抱JDK17. 有升级计划的调查受访者中，37%的人计划在未来六个月内升级到2021年9月份发布的LTS版本JDK 17。另有25%的人计划在未来6到12个月内升级到JDK 17。 这5个你喜欢的JDK17新功能，会让你升级JDK17 ......
Java9-17新特性解读+案例+说明+注意+发展趋势
前言 Java8出来这么多年后，已经成为企业最成熟稳定的版本，相信绝大部分公司用的还是这个版本，但是一眨眼今年Java19都出来了，相信很多Java工程师忙于学习工作对新特性没什么了解，有的话也仅限于某一块。 本篇就是博主对自己感觉有用的新特性做了一个案例验证及简要说明，整合起来分享给大家。 特别说 ......
Spark中RDD的特殊算子和重要概念
# RDD特殊的算子 ## cache、persist 将数据缓存到内存，第一次触发Action，才会将数据放入内存，以后在触发Action，可以复用前面内存中缓存的数据，可以提升技术效率 cache和persist的使用场景：一个application多次触发Action，为了复用前面RDD的数据 ......
Spark
[spark官网](https://spark.apache.org/ "spark官网") ``` https://spark.apache.org/ ``` ##### Scala学习 [Scala学习](https://www.cnblogs.com/rbcd/articles/1752466 ......
Spark中RDD的Action算子
# RDD的Action算子 Action算子会触发Job的生成，底层调用的是sparkContext.runJob方法，根据最后一个RDD，从后往前，切分Stage，生成Task  concurrentMap 1.5以后的 java8加入了lambda表达式，接口新特性，日期新特性，可选项 。。。 lambda表达式： 注意：如果我们自定义的这种接口 ......
中移物联车联网项目，在 TDengine 3.0 的应用
小T导读：在中移物联网的智慧出行场景中，需要存储车联网设备的轨迹点，还要支持对车辆轨迹进行查询。为了更好地进行数据处理，他们在 2021 年上线了 TDengine 2.0 版本的 5 节点 3 副本集群。 3.0 发布后，它的众多特性吸引着中移物联网进行了大版本升级。本文详细分享了中移物联网在 3 ......
与 TDengine 性能直接相关——3.0 的落盘机制优化及使用原则
许多用户会有一个疑问，“落盘”俩字听起来就很底层，似乎无法和手头的性能问题联系到一起，本篇文章的目的就是让大家对它们俩建立起直观的认识。 ......
Spark中RDD的Transformation算子
# RDD的Transformation算子 ## map map算子的功能为做映射，即将原来的RDD中对应的每一个元素，应用外部传入的函数进行运算，返回一个新的RDD ```Scala val rdd1: RDD[Int] = sc.parallelize(List(1,2,3,4,5,6,7,8 ......
.NET 7 新特性全面解析
在 2021 年 11 月 8 日发布的 .NET 6 当前已经广泛使用。微软团队已经开始着手为.NET 7制定计划和新特性。本文将为您全面解析.NET 7 的新特性，并提供源代码示例。 1. 更好的性能 .NET 7 将继续提高运行时性能，改进 JIT 编译器，减少内存分配，优化 GC，以及提高 ......
TDengine 发布 IoT 场景下 3.0 性能对比分析报告，全方位超越 InfluxDB & TimescaleDB
6 月 26 日，涛思数据旗下时序数据库（Time Series Database） TDengine 正式发布 IoT 场景下 TDengine 3.0 性能对比分析报告，该报告在 IoT 场景下从数据写入、压缩和查询等维度，对比了 TDengine 与市场其他流行的时序数据库产品的性能差异，其中... ......
关于 3.0 和 2.0 的数据文件差异以及性能优化思路
如果需要对数据库性能优化，了解数据文件的存储方式和工作原理是必要的。 对于时序数据库（Time Series Database） TDengine 来说，在 2.x 版本中时序数据的保留策略是由keep和days这两个参数把控的。（详情可见：https://mp.weixin.qq.com/s/uJ ......
ASEMI代理光宝光耦LTV-155E：特性、应用与优势
编辑-Z 在电子设备的设计和制造过程中，光耦合器是一种至关重要的组件。它们在电路中起到隔离作用，防止电流反向流动，从而保护设备免受损坏。其中，光耦LTV-155E是一款广受欢迎的光耦合器，以其卓越的性能和可靠的稳定性赢得了工程师们的青睐。本文将深入探讨光耦LTV-155E的特性、应用以及其带来的优势 ......
Spark使用Python开发和RDD
# 使用PySpark ## 配置python环境 在所有节点上按照python3，版本必须是python3.6及以上版本 ```Shell yum install -y python3 ``` 修改所有节点的环境变量 ```Shell export JAVA_HOME=/usr/local/jdk ......
CallerMemberName特性的使用
C# 6.0引入的一个特性，在属性或方法的参数中使用，用来获取调用者的成员名。 1．在方法中使用 public class MyClass { private string _myProperty; public string MyProperty { get { return _myPropert ......
Java 17 新特性
如题： 基于垃圾回收器的内存分配： Java 17引入了垃圾回收器接口，允许开发人员实现自定义的垃圾回收器。这样可以提供更大的灵活性和性能优化的机会。 示例代码： 1 public class MyGarbageCollector implements GarbageCollector { 2 // ......
Java 16 新特性
如题： Records（记录类）的增强： Java 16进一步增强了记录类的功能，包括允许在记录类中添加静态成员和实现接口。 示例代码： 1 public class RecordExample { 2 public static void main(String[] args) { 3 Perso ......
spark常见问题
spark任务报错：KryoException: Buffer overflow. Available: xxx, required: xxx 可以适当增加spark.kryoserializer.buffer.max 的值, 默认是128m，可以尝试给到256m或512m ......
Java 15 新特性
如题： Sealed Classes（密封类）： 密封类是一种限制类继承的机制，它允许您控制哪些类可以继承自该类。通过使用sealed关键字修饰类，您可以指定允许继承的类的白名单。 示例代码： 1 sealed interface Shape permits Circle, Rectangle { ......
Java 14 新特性
如题： Switch表达式的增强： Java 14对Switch表达式进行了进一步增强，允许在Switch分支中使用多个匹配条件，以及在分支中使用箭头操作符(->)返回值。 示例代码： 1 public class SwitchExpressionExample { 2 public static ......
Java 13 新特性
如题： 文本块（Text Blocks）： Java 13引入了文本块，或称为多行字符串。使用三个双引号（"""）可以定义一个文本块， 这样可以更方便地编写多行字符串，而无需使用转义字符或连接符。 这在编写HTML、JSON、SQL等需要包含大量换行和格式的字符串时非常有用。 示例代码： 1 Str ......
groovy2.4.12+grails3.3.0+gradle4.8.1
先介绍一下，这三个东西 Groovy是一种基于JVM（Java虚拟机）的敏捷开发语言，它结合了Python、Ruby和Smalltalk的许多强大的特性，Groovy 代码能够与 Java 代码很好地结合，也能用于扩展现有代码。（它是个语言，运行在java虚拟机） Grails是一套用于快速Web应 ......
c#反射和特性配合使用案例说明
在C#中，反射（Reflection）是一个强大的特性，它允许我们在运行时动态地获取和操作类型、成员、方法等信息。以下是一个使用反射的案例，配合特性一起使用，来实现属性验证的功能： 假设我们有一个用户类（User），其中包含了一些属性（如姓名、年龄等），我们想要在设置这些属性值的时候进行一些验证。我 ......
Spark编程基础
# Scala编写Spark的WorkCount ## 创建一个Maven项目 在pom.xml中添加依赖和插件 ```XML 8 8 UTF-8 3.2.3 2.12.15 org.scala-lang scala-library ${scala.version} org.apache.spark ......
Java 12 新特性
Java 12是Java平台的另一个重要版本，它引入了一些新特性和改进。 以下是Java 12的一些新特性以及基于这些特性的Java代码案例： Switch表达式（Switch Expressions）： Java 12引入了新的Switch表达式，使得Switch语句更加灵活和易用。下面是一个使用 ......
Java 11 新特性
Java 11是在2018年发布的Java版本，它引入了一些新特性和改进。 以下是一些Java 11的新特性以及相关的Java代码案例： 局部变量语法改进（Local Variable Syntax for Lambda Parameters）： Java 11允许在Lambda表达式的参数中使用v ......
Java 10 新特性
Java 10是在2018年发布的Java版本，它引入了一些新特性和改进。 以下是一些Java 10的新特性以及相关的Java代码案例： 局部变量类型推断（Local Variable Type Inference）： 使用var关键字进行局部变量的类型推断： 案例： 1 var name = "A ......