windows hadoop spark and
Windows10下安装docker 并启动 rabbitmq
1.官网下载docker：https://hub.docker.com/editions/community/docker-ce-desktop-windows 2.安装docker：运行下载好的Docker for Windows Installer.exe 3.安装好后启动docker： 4.修 ......
Windows11 操作系统 SysWOW64 文件夹的作用
Windows 11 操作系统中的 `SysWOW64` 文件夹是一个重要的系统目录，它在某些方面扮演着特殊的角色。在这篇文章中，我将详细介绍 `SysWOW64` 文件夹的作用，并举例说明它在操作系统中的具体应用。首先，让我们了解一下该文件夹的背景和目的。 `SysWOW64` 文件夹是 Wind ......
Spark概述
# Spark概述 ## 1.1认识Spark 背景：现有的计算框架有：批处理：MapReduce、Hive、Pig…，流式计算：Storm，交互式计算：Impala，Presto，但没有一种框架兼容以上所有的计算框架，spark应运而生 ### 1.1.1 Spark的发展 2009年由Berke ......
Spark编程
# Spark编程  ![image-2020042409271958 ......
Spark SQL
# Spark SQL ## 1.1Spark SQL简介 Spark SQL是一个用来处理结构化数据的Spark 组件。它可被视为一个分 布式的SQL查询引擎，并且提供了一个叫作DataFrame的可编程抽象数据模型。Spark SQL的前身是Shark,由于Shark需要依赖于Hive而制约了S ......
text-generation-webui试用 windows平台 以及目前比较好的开源中文模型 Baichuan-13B-Chat测试
随着llama的大模型发布，个人也可以在自己电脑上运行生成文本的大模型，建议用大显存的显卡，比如2080ti11g ， 3060 12g ， 3090 24g。 找这篇文章操作 https://openai.wiki/text-generation-webui.html 其中最麻烦的是安装依赖，这是 ......
maven系列：简介和安装配置（Mac、Linux、Windows、settings.xml、IDEA配置）
[TOC] ## 一、简介 官网：https://maven.apache.org maven 是一个项目管理工具，主要作用是在项目开发阶段对Java项目进行依赖管理和项目构建。 依赖管理：就是对jar包的管理。通过导入maven坐标，就相当于将仓库中的jar包导入了当前项目中。 项目构建：通过ma ......
CF643F Bears and Juice
[题面传送门](https://www.luogu.com.cn/problem/CF643F) 感觉这个从信息的角度去考虑比较高妙。 首先取 $p=\min(p,n-1)$。 我们来考虑每个桶对应喝的熊，这样会有一个长度为 $n$ 的数组，假设有 $t$ 天，那么每个位置会写一个 $[1,t+1] ......
Spark提交程序到Yarn任务状态一直为Accepted
正在学习《Spark快速大数据分析》第七章-在集群上运行Spark，写了一个单词数量统计的Spark程序提及到Yarn，但是状态一直是Accepted，等待运行。 1、排查了Yarn资源调度器配置，配置的是公平配置，确认无问题 ```xml yarn.scheduler.fair.allocatio ......
【Oracle】SEGMENT SHRINK and Details. (Doc ID 242090.1)
``` PURPOSE In Oracle10g and onwards, we have the option to shrink a segment, which will help DBAs to manage the space in better way. This feature als ......
[图论记录] CF1082G Petya and Graph
（[题目传送门](https://www.luogu.com.cn/problem/CF1082G)） 一道最大权闭合子图的模板题 把所有点当作负权点，所有边当作正权点。 考虑一条边 $e=(x,y,z)$ 能选择的条件，当 $x,y$ 均被选择时就可以选，那对应到最大权闭合子图的模型中，就可以将 ......
Superset基于Windows在线及离线搭建
Superset简介： 官网这么说：Superset is fast, lightweight, intuitive, and loaded with options that make it easy for users of all skill sets to explore and visua ......
windows WSL2避坑指南
对于不想安装windows/linux双系统的朋友来说，wsl2是不错的选择，但在使用过程中可能会遇到一些问题，以下是本人踩过的坑，记录于此： 一、安装前提 1.1 检测windows版本 windows10 版本必须高于 内部版本 19041 ，检测方法 ：ctrl+R，输入winver查看版本（ ......
Striving for Simplicity and Performance in Off-Policy DRL: Output Normalization and Non-Uniform Sampling
 **发表时间：**2020（ICML 2020） **文章要点：**这篇文章基于SAC做简单并且有效的改进来提升 ......
MySQL运行错误：‘mysql‘不是内部或外部命令，也不是可运行程序，Windows添加环境变量
**1、Windows电脑安装MySQL5.7，打开cmd出现“'mysql' 不是内部或外部命令，也不是可运行的程序或批处理文件。”**  量身定制体验(关闭) 2. windows+i 隐私和安全性 语音 在线语音识别(关闭) 3. windows+i 隐私和安全性 墨迹书写和键入个性化 使用我的键入历史记录和手写模式创建个人此点(关闭) 4. window ......
Hadoop----hdfs dfs常用命令的使用
-mkdir 创建目录 hdfs dfs -mkdir [-p] < paths> -ls 查看目录下内容，包括文件名，权限，所有者，大小和修改时间 hdfs dfs -ls [-R] < args> -put 将本地文件或目录上传到HDFS中的路径 hdfs dfs -put < localsrc ......
G. Vlad and the Mountains
G. Vlad and the Mountains Vlad decided to go on a trip to the mountains. He plans to move between $n$ mountains, some of which are connected by roads. ......
Windows下使用Visual Studio编译LLVM（三）-为什么没有Pass插件
title: Windows下使用Visual Studio编译LLVM（三）-为什么没有Pass插件 date: 2023-08-11 15:00:00 updated: 2023-08-11 15:00:00 lang: zh-CN categories: - [LLVM] tags: - LL ......
spark社区bug
1.SPARK-26114repartitionAndSortWithinPartitions 后合并时 PartitionedPairBuffer 的内存泄漏 原因 这个Spark源码的issue描述了在使用coalesce操作合并分区时可能会导致PartitionedPairBuffer内存泄漏 ......
C.Koxia and Number Theory goodbye2022
[Koxia and Number Theory 题目链接](https://codeforces.com/contest/1770/problem/C "Koxia and Number Theory") 分部考虑问题：1. $\gcd(a,a)=1$ 所以不能有两个相同的数字2. 从奇偶出发如果 ......
Windows环境下重启jar服务bat代码
问题：在Windows环境下部署java的jar包，若有多个服务同时启动，很难找到相应服务重启。每次都重启全部服务很麻烦。应用场景大多用于部署测试。 适用：jar部署，war部署不适用。 解决方案：找到相应jar服务关闭并重启。 注意： 1、正确设置端口，jar服务运行的端口； 2、正确设置jar文 ......
windows 10 安装 docker
1、下载docker desktop https://www.docker.com/products/docker-desktop 2、安装后报错 Docker Desktop requires a newer WSL kernel version. Update the WSL kernel by ......
and 树结构穿梭框
import React, { Component, useEffect, useState } from 'react'; import { Tree, Input, Button, Card } from 'antd'; // import requset from '@/utils/reque ......
Python错误：This error originates from a subprocess, and is likely not a problem with pip.
问题描述： 最近把Python升级到了3.11，重新下载了一些模块，但下载安装pymssql的时候发生了如下报错： 解决办法： 原因分析：之前下载pymssql的时候是没有发生如上情况的，但当时用的Python版本是3.7、3.10，所以猜想是版本不兼容的问题。输入 pip install pyms ......
windows子系统
wsl -l -v #查看子系统 导出子系统 wsl --export Ubuntu-22.04 d:\ubuntu2204.tar 注销系统 wsl --unregister Ubuntu-22.04 重新导入 wsl --import Ubuntu-22.04 d:\Ubuntu-22.04 d ......
使用 iPad 作为 Windows 的扩展屏幕
一个突发奇想的有趣尝试。 如果是 MAC 电脑，可以使用随航功能，将 iPad 作为 MAC 的扩展屏幕，在同一局域网即可。Windows 呢？ 其实有现成的软件可以用。 ## spacedesk Windows 端下载 `SPACEDESK DRIVER SOFTWARE for Windows ......
Windows下使用Visual Studio编译LLVM（一）-最简编译
title: Windows下使用Visual Studio编译LLVM（一）-最简编译 date: 2023-08-10 19:00:00 updated: 2023-08-10 19:00:00 lang: zh-CN categories: - [LLVM] tags: - LLVM - 编译 ......