hadoop3环境hadoop hive3
生产环境Java应用服务内存泄漏分析与解决
有个生产环境CRM业务应用服务,情况有些奇怪,监控数据显示内存异常。内存使用率99.%多。通过生产监控看板发现,CRM内存超配或内存泄漏的现象,下面分析一下这个问题过程记录。 1、服务器硬件配置部署情况 生产服务器采用阿里云ECS机器,配置是2HZ、8GB,单个应用服务独占,CRM应用独立部署,即单 ......
pip换源和制作虚拟环境操作步骤讲解
一、pip换源及虚拟环境 我们Python的强大之处就是有非常多的牛逼的第三方模块,后面的程序员只需要下载第三方模块,然后站在大佬们的肩膀上开发,第三方开发者,开发了第三方模块,把模块打包传到了pypi上根据名字,把这个打包好的模块下载下来了在公司中出现的情如果不能上外网 xx.whl 文件提交下好 ......
驱动开发:配置Visual Studio驱动开发环境
在正式开始驱动开发之前,需要自行搭建驱动开发的必要环境,首先我们需要安装`Visual Studio 2013`这款功能强大的程序开发工具,在课件内请双击`ISO`文件并运行内部的`vs_ultimate.exe`安装包,`Visual Studio`的安装非常的简单,您只需要按照提示全部选择默认参... ......
基于minikube快速搭建kubernetes单节点环境
一、说明 本文主要介绍在 Centos7 环境下基于 Minikube 来快速部署 Kubernetes 单节点集群环境,并在浏览器上访问部署在 k8s 上的 dashboard 服务。 二、Minikube 介绍 Minikube 是一个基于go语言开发,易于在本地运行 Kubernetes 的工 ......
美团点评CAT部署了各种环境不下10次,遇到的坑整理
CAT是什么 我的理解是一个收集服务调用等运行情况的监控系统。 相信你能搜到这篇博客我就不多介绍了,这里有链接 传送门 本博客仅仅只帮助大家解决部署方面的问题 来自一个用户的吐槽 1.部署真他娘的困难,坑点太多了。 2.初期部署经常被难住点:源代码拉下来编译不通过 3.mysql版本要求5.7及以下 ......
Centos7系统编译Hadoop3.3.4
1、背景 最近在学习hadoop,此篇文章简单记录一下通过源码来编译hadoop。为什么要重新编译hadoop源码,是因为为了匹配不同操作系统的本地库环境。 2、编译源码 2.1 下载并解压源码 [root@hadoop01 ~]# mkdir /opt/hadoop [root@hadoop01 ......
Centos7搭建hadoop3.3.4分布式集群
1、背景 最近在学习hadoop,本文记录一下,怎样在Centos7系统上搭建一个3个节点的hadoop集群。 2、集群规划 hadoop集群是由2个集群构成的,分别是hdfs集群和yarn集群。2个集群都是主从结构。 2.1 hdfs集群规划 | ip地址 | 主机名 |部署服务| |--|--| ......
好消息!微信小程序开发环境自带vConsole
背景介绍 事情是这样子的,我们在开发小程序的时候,需要在真机上把相关的日志打出来以便进行问题定位和回溯,于是在编程界就有个今天这个新闻。 好消息!广东某男子发现微信小程序开发环境自带vConsole. 同学,你看到这个新闻不震惊不兴奋打鸡血吗?你开发小程序都少装一个vConsole包呢!!! 基于D ......
自己动手从零写桌面操作系统GrapeOS系列教程——4.GrapeOS开发环境介绍
学习操作系统原理最好的方法是自己写一个简单的操作系统。 1. 开发环境简介 为了减少开发过程中不必要的麻烦,希望大家的开发环境尽量与我的保持一致。 我的开发环境如下: Windows10电脑一台 Visual Studio Code(最好是最新版) VirtualBox 6.0.24 CentOS ......
自己动手从零写桌面操作系统GrapeOS系列教程——5.GrapeOS开发环境测试
学习操作系统原理最好的方法是自己写一个简单的操作系统。 在上一讲中我们已经安装配置了开发环境,在本讲中我们来测试一下开发环境是否正常。 我们的测试流程如下: 1.在Visual Studio Code中编写GrapeOS代码; 2.在CentOS中编译GrapeOS代码; 3.在QEMU中运行Gra ......
React Native学习笔记----React Native简介与环境安装
React Native 的基础是React, 是在 web 端非常流行的开源 UI 框架。要想掌握 React Native,先了解 React 框架本身是非常有帮助的。 一、什么是React Native 1.1 React Native带来的惊喜 React Native 是一个使用JavaS ......
【Redis场景4】单机环境下秒杀问题
【Redis场景4】单机环境下秒杀问题;涉及到全局唯一ID的生成,并发问题,库存超卖问题,一人一单秒杀问题等,相关场景进行压测,不局限于文字,注重实操。 ......
05安装一个Hadoop分布式集群
安装一个Hadoop分布式集群 最小化的Hadoop已经可以满足学习过程中大部分需求,但是为了研究Hadoop集群运行机制,部署一个类生产的环境还是有必要的。因为集群机器比较少,笔者没有配置ssh,所以就需要在每一台机器上手动启动服务。启动上相对繁琐一些,优点是可以高度自定义集群中的任务节点数量,从 ......
无需依赖Docker环境制作镜像
随着高版本的Kubernetes弃用Docker,企业也可以不依赖Docker环境了,但是DevOps通过Kubernetes部署的话,仍然需要制作镜像,那么在没有Docker环境的情况下如何制作呢?推荐一款谷歌的开源工具Jib,github地址,它是一个无需Docker守护进程——也无需深入掌握D ......
Kubernetes环境cert-manager部署与应用
本作品由Galen Suen采用知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议进行许可。由原作者转载自个人站点。 概述 本文用于整理基于Kubernetes环境的cert-manager部署与应用,实现证书管理和Ingress启用TLS配置。 随着各相关组件版本的更新,笔者将在验证通过后 ......
浅谈JS词法环境
JavaScript 词法环境 本文主要讲解JS词法环境,我们将看到什么是词法环境,词法范围如何工作,函数内部的名称如何解析,内部属性,弄清楚词法环境利于我们理解闭包。让我们开始吧... 什么是词法环境? 在理解闭包时,最大的混淆来源是术语“词汇环境”,或者只是“词汇”这个词。在计算机科学中术语“词 ......
(原创)【B4A】一步一步入门01:简介、开发环境搭建、HelloWorld
一、前言 作者注:絮絮叨叨,可跳过不看。 一直有开发跨平台软件的需求。因为我的主力是C# ,所以当MAUI出现后,我欣喜若狂的开始学习研究。但是经历了两个月左右的时间,我弃坑了,我发现MAUI不是我能玩的转的。 后续在Avalonia UI和原生语言开发之间进行了选型调研,研究发现都不适合我,虽然这 ......
Oracle ADG环境下的RMAN备份策略
作为IT运维人员,尤其是数据库岗位,数据的备份重于一切。 现在很多用户会有一个普遍误区,认为现在类似ADG这类灾备已经很完善,且实时性也更佳,往往就忽略了传统的备份效用。 但实际上,我们千万不能因为有了容灾建设就盲目忽略备份的作用,二者其实有着本质区别。很多场景,灾备都是无法替代传统备份的,二者是缺 ......
linux环境编程(3): 使用POSIX IPC完成进程间通信
1. 写在前面 之前的文章总结了使用管道进行进程间通信的方法,除了pipe和fifo,Linux内核还为我们提供了其他更高级的IPC方式,包括共享内存,消息队列,信号量等,本篇文章会通过一个具有完整逻辑功能的示例说明如何使用这些IPC方法。毕竟单纯地查手册,写代码...周而复始,这个过程还是比较枯燥 ......
疫情大环境下科技互联网公司开源节流降本增效
三年疫情改变了人们的生活,也改变了行业的趋势。三年大疫,让一路疾驰的科技互联网急踩刹车,减速换挡,很多企业从高歌猛进到黯然失色,甚至是伤感落幕。活着的公司也都纷纷砍一刀。 2022年1月,百度,AIG、MEG多业务线精简,约10-15%,涉及基层,中层和高层 2022年2月,滴滴,网络车、货运、中台 ......
一次生产环境CPU占用高的排查
1. 项目背景 甲方是保密级别非常高的政府部门。所以我们全程拿不到任何测试数据,只能是自己模拟数据进行测试。 项目部署的时候,公司派了一人到甲方现场,在甲方客户全程监督下,进行部署,调试,导入数据等工作。因为前期看不到真实的数据,所以很多功能都是凭客户口述进行,到了现场难免发现问题。 这时需要改动代 ......
Win10环境下yolov8快速配置与测试
win10下亲测有效!(如果想在tensorrt+cuda下部署yolov8,直接看第五5章) yolov8 官方仓库: https://github.com/ultralytics/ultralytics 【Win10下yolov8 tensorrt模型加速部署【实战】】:https://www. ......
SpringBoot学习笔记 - 构建、简化原理、快速启动、配置文件与多环境配置、技术整合案例
【前置内容】Spring 学习笔记全系列传送门: Spring学习笔记 - 第一章 - IoC(控制反转)、IoC容器、Bean的实例化与生命周期、DI(依赖注入) Spring学习笔记 - 第二章 - 注解开发、配置管理第三方Bean、注解管理第三方Bean、Spring 整合 MyBatis 和 ......
使用docker安装hadoop(已实现)
1.拉镜像 这里推荐第一个 docker pull registry.cn-hangzhou.aliyuncs.com/hadoop_test/hadoop_base 或者 docker pull qianiqan/hadoop_only 2.创建容器 三个容器的名称分别是Master、Slave1 ......
Linux环境下:程序的链接, 装载和库[静态链接]
看以下例子 main.c extern int x; int main() { int y = 100; swap(&x,&y); return 0; } int x = 1; void swap(int* x, int* y) { int temp = *x; *x = *y; *y = temp ......
一看就会的 Anaconda 搭建 OpenCV for Python 环境(全平台通用)
OpenCV是一个开源的计算机视觉和机器学习软件库,几乎可以在所有市面上的主流系统上运行,也有很多的语言接口。但是安装过程漫长、花式报错已成为常态。 ......
上古神兵,先天至宝,Win11平台安装和配置NeoVim0.8.2编辑器搭建Python3开发环境(2023最新攻略)
毫无疑问,我们生活在编辑器的最好年代,Vim是仅在Vi之下的神级编辑器,而脱胎于Vim的NeoVim则是这个时代最好的编辑器,没有之一。异步支持、更好的内存管理、更快的渲染速度、更多的编辑命令,是大神Thiago de Arruda对开发者们最好的技术馈赠。 之前一篇:Win10系统下安装编辑器之神 ......
[1]SpinalHDL安装环境
[1]SpinalHDL安装环境 最好的教程是官方文档!不过推荐英文文档 英文版 中文版 一、安装java环境 SpinalHDL相当于是scala的一个包,而scala是运行在jvm上的。所以我们先安装jdk。 安装jdk(openjdk-19)略 二、安装Scala 百度搜索Scala,进入Sc ......
普冉PY32系列(二) Ubuntu GCC Toolchain和VSCode开发环境
以下介绍PY32F0系列在Ubuntu下如何使用GCC Arm Embedded Toolchain环境进行开发和烧录. GitHub 仓库地址: https://github.com/IOsetting/py32f0-template ......
腾讯出品小程序自动化测试框架【Minium】系列(一)环境搭建之第一个测试程序
一、什么是Minium? minium是为小程序专门开发的自动化框架,使用minium可以进行小程序UI自动化测试。 当然,它的能力不仅仅局限于UI自动化, 比如: 使用minium来进行函数的mock 可以直接跳转到小程序某个页面 设置页面数据, 做针对性的全面测试 这些能力是其他的一些工具所不具 ......