实时 机器spark博客
笑死~我的博客美化脚本分享
笑死~我的博客美化脚本分享 前置提醒 本页面使用魔法代码，与其他页面的代码块不同，本页所有代码块不自动换行。 使用如下代码实现： <style> .cnblogs-markdown pre code, .blogpost-body pre code { white-space: nowrap !im ......
spark 3.x idea linux远程开发环境搭建
依赖包 jdk 8或11都行，不要到jdk 17 jdk 17第一个问题是jdk内部类默认不允许反射，很多配置要改。 scala 2.13 scala 2.13版本是为scala 3.0版本准备的，改进挺多。可通过scala编程（第四版）学习。 hadoop 3.2.1 因为windows hado ......
实验七：Spark机器学习库Mtlib编程实践
1、数据导入 导入相关的jar包： import org.apache.spark.ml.feature.PCA import org.apache.spark.sql.Row import org.apache.spark.ml.linalg.{Vector,Vectors} import org ......
Spark版本不兼容导致Standalone集群无法连接问题
一、Spark版本不一致报错现象 当使用client模式连接Spark的standalone集群时，报错所有的spark master的节点都没有回应。 二、问题排查思路 通过client端的日志产看没有什么有价值的信息，需要看下spark端的master的日志，docker logs spark- ......
机器视觉 - YoloV8 命令行安装
创建python 环境 下载并安装 miniconda 安装包, 注意miniconda和 python 版本对应关系, 不要选择python最新的版本, 以免yolo或pytorch不能兼容最新版python. 这里到安装到 C:\miniconda3 配置 conda 环境, 修改conda配置 ......
个人博客详细设计说明书
  1.Driver运行在Client上,和集群的通信成本高 2.Driver输出结果会在客户端显示 Cluster模式：生产环境 ......
实时数据流无忧：用 SpringBoot 和 SSE 打造动态前端更新的终极指南
用 SpringBoot 和 SSE 打造动态前端更新的终极指南 你知道什么是开发者的梦魇吗？慢！慢！慢！在一个需要实时数据更新的应用中，如果数据像乌龟一样慢吞吞地爬行，那用户体验就会像坐过山车一样直线下降。所以今天，我们要化身为数据传输的超级英雄，用 SpringBoot 和 SSE（服务器发送事 ......
一段简单的jquery代码，抓取抖音直播间的实时弹幕
代码： { let jq = null if (!document.querySelector('#jquery')) { jq = document.createElement('script') jq.id = 'jquery' jq.src = 'https://libs.baidu.com/ ......
MD-LIVE 3.4 (Windows) - 移动取证实时提取和分析
MD-LIVE 3.4 (Windows) - 移动取证实时提取和分析 Mobile Forensic Software 请访问原文链接：MD-LIVE 3.4 (Windows) - 移动取证实时提取和分析，查看最新版。原创作品，转载请保留出处。 作者主页：sysin.org MD-LIVE - ......
【机器学习】逻辑回归
目录感知器的种类sigmoid（logistics）函数代价/损失函数（cost function）——对数损失函数（log loss function）梯度下降算法（gradient descent algorithm）正则化逻辑回归（regularization logistics regres ......
【机器学习】多元线性回归
目录多元线性回归模型（multiple regression model）损失/代价函数（cost function）——均方误差（mean squared error）批量梯度下降算法（batch gradient descent algorithm）特征工程（feature engineerin ......
加速下载体验：C#多线程分块下载文件与实时进度展示
概述：该C#示例演示了如何使用多线程分块下载文件并显示下载进度。程序通过确定文件大小，创建多个线程，分配下载范围，同时下载文件块，最后合并文件。通过简单的控制台应用，用户可以清晰地看到下载进度。此方法提高了下载效率，更好地利用了网络带宽。 多线程分块下载文件的原理是将文件分成多个块，每个线程负责下载 ......
ubuntu14安装linux3.2.57实时内核
下载内核，可以见上一篇文档。 解压后，安装。在菜单里选择如图： 然后保存退出，再make即可。 ......
Spark - spark on yarn 的作业提交流程
客户端（Client）通过YARN的ResourceManager提交应用程序。在此过程中，客户端进行权限验证，生成Job ID和资源上传路径，并将这些信息返回给客户端。 客户端将jar包、配置文件、第三方包等文件上传到指定的HDFS路径。完成后，客户端再次向ResourceManager提交作业执 ......
Spark - 面试题
Spark是什么？答案：Apache Spark是一个快速、通用的大数据处理引擎，它提供了大规模数据集的内存计算和分布式计算能力。Spark可以处理各种数据源，如HDFS、Hive、Cassandra等，并提供了丰富的API和工具集，用于批处理、流处理、机器学习、图处理等多种计算场景。 Spark的 ......
深度学习之机器学习理论
（一）机器学习（Machine Learning）：就是让计算机具备从大量数据中学习的能力之一系列方法。机器学习使用很多统计方法，统计学家也称之为统计学习，但本质上起源于计算机科学的人工智能。 （二）机器学习的分类：机器学习主要分为两类，即监督学习(supervised learning)与非监督学 ......
Flink实时处理入门
Flink实时处理入门 1、Flink框架介绍 Flink 诞生于欧洲的一个大数据研究项目 StratoSphere。它是由 3 所地处柏林的大学和欧洲其他一 些大学在 2010~2014 年共同进行的研究项目，由柏林理工大学的教授沃克尔·马尔科（Volker Markl）领衔开发。2019年1月阿 ......
Hana 实时数据同步优化(3)
简述 CloudCanal 近期对 Hana 源端链路做了新一轮优化，优化点主要来自用户实际场景使用，这篇文章简要做下分享。 本轮优化主要包含: 新增任务级增量表 新增增量表定时清理能力 新增增量表表结构自动演进能力 任务延迟判定优化 Hana 1.x 的兼容 产品化和文档优化 优化点 任务级增量表 ......
爱奇艺大数据生态的实时化建设
作者｜爱奇艺大数据团队 数据作为互联网时代的基础生产资料，在各大公司企业拥有举足轻重的地位。数据的价值在互联网公司的体现，大致而言可以分成三类： 发掘数据中的信息来指导决策，如产品运营、用户增长相关的 BI 报表 依托数据优化用户体验和变现效率，如信息分发场景下的个性化推荐、效果广告等 基于数据统计 ......
机器学习如何改变缺陷检测的格局？
机器学习在缺陷检测中扮演着重要的角色，它能够通过自动学习和识别各种缺陷的模式和特征，改变缺陷检测的格局。以下是机器学习在缺陷检测中的一些应用和优势： 自动化检测：机器学习技术可以自动化处理大量的数据，通过学习和识别缺陷的模式和特征，实现自动化检测。这大大提高了缺陷检测的效率和准确性，减少了人工干 ......
引领文旅创新_实时云渲染赋能2023湾区文采会元宇宙虚拟展厅
2023粤港澳大湾区公共文化和旅游产品采购会开幕式在东莞市文化馆举行.3DCAT实时云渲染再一次为2023湾区文采会元宇宙虚拟展厅提供了基于云端强大的图形渲染算力,渲染3D应用并实时推送到终端的公有云解决方案。 ......
spark的学习1-11
大数据第36期打卡-Day9-p102-p106学习笔记Spark并行度spark的并行：在同一时间内，有多少个tes k在同时运行并行度：并行能力的设置比如设置并行度6，其实是6个tast才并行在跑在有了6个tast并行的前提下，rdd的分区被规划成6个分区Driver的两个组件DAG调度器工作内 ......
机器学习-决策树系列-贝叶斯算法-概率图模型-29
目录1. 复习条件概率2. 正式进入3. 生成式 与判别式 这个阶段的内容，采用概率论的思想，从样本里面学到知识（训练模型），并对新来的样本进行预测。 主要算法：贝叶斯分类算法、隐含马尔可夫模型、最大熵模型、条件随机场。 通过本阶段学习，掌握NLP自然语言处理的一些基本算法，本阶段的理解对于后续完成 ......
hadoop和spark
Spark和Hadoop是大数据处理领域两个重要的开源框架，它们之间既有紧密的联系也有显著的区别。 联系： 生态兼容：Spark可以无缝运行在Hadoop之上，利用Hadoop Distributed File System (HDFS) 进行数据存储，并且可以通过YARN（Yet Another ......