笔记 数据hadoop hive
【whk】Flask 学习笔记
安装 首先你需要一个 python 和 pip。 然后 pip install flask 就好啦！ 使用 from flask import Flask 导入。 pip install flask_form 创建网站 from flask import Flask app=Flask(__name ......
10_Java基础-数据类型转换
类型转换 Java是强类型语言，运算时会需要类型转换。 强制转换：高—低 自动转换：低—高 运算中，不同类型的数据先转化为同一类型，然后进行计算。 低————————————————————→高（容量）：小数的优先级＞整数 byte,short,char → int → long → float → ......
Vue2入门之超详细教程十五-收集表单数据
Vue2入门之超详细教程十五-收集表单数据 1、简介 收集表单数据 若：，则v-model收集的是value值，用户输入的就是value值。 若：，则v-model收集的是value值，且要给标签配置value值。 若： 1.没有配置input的value属性，name收集的就是checked（勾选 ......
Hadoop（3.3.4）-HDFS操作
Apache Hadoop 3.3.4 – Overview 01.appendToFile hadoop fs -appendToFile localfile /user/hadoop/hadoopfile hadoop fs -appendToFile localfile1 localfile2 ......
Hadoop之mapreduce参数大全-1
1.设置Map/Reduce任务允许使用的最大虚拟内存大小 mapred.task.maxvmem是MapReduce的一个配置参数，用于指定每个Map/Reduce任务允许使用的最大虚拟内存大小（以字节为单位）。如果一个任务使用的虚拟内存超过了此参数指定的值，则任务会被认为是失败的，并且MapRe ......
Hadoop之mapreduce参数大全-2
26.指定在Reduce任务在shuffle阶段的网络重试之间的最大延迟时间 mapreduce.reduce.shuffle.retry-delay.max.ms是Apache Hadoop MapReduce任务配置中的一个属性，用于指定在Reduce任务在shuffle阶段的网络重试之间的最大 ......
Hive之set参数大全-1
A 控制是否允许在需要时按需加载用户定义函数（UDF） hive.allow.udf.load.on.demand 是 Apache Hive 中的一个配置属性，用于控制是否允许在需要时按需加载用户定义函数（UDF）。 在 Hive 中，UDFs是用户编写的自定义函数，可以在 Hive SQL 查询 ......
Hive之set参数大全-2
C 指定是否启用表达式缓存的评估 hive.cache.expr.evaluation 是 Hive 中的一个配置属性，用于指定是否启用表达式缓存的评估。表达式缓存是一项优化技术，它可以在执行查询时缓存表达式的评估结果，以减少计算开销。 在 Hive 配置中，可以使用以下方式设置 hive.cach ......
Hive之set参数大全-3
D 是否启用本地任务调试模式 hive.debug.localtask 是 Apache Hive 中的一个配置参数，用于控制是否启用本地任务调试模式。在调试模式下，Hive 将尝试在本地模式下运行一些任务，以便更容易调试和分析问题。 具体来说，当 hive.debug.localtask 被设置为 ......
Hive之set参数大全-4
F 指定在使用 FETCH 命令提取查询结果时的序列化/反序列化器 hive.fetch.output.serde 是 Hive 的一个配置参数，用于指定在使用 FETCH 命令提取查询结果时的序列化/反序列化器。 以下是一个示例： -- 设置 hive.fetch.output.serde 为 o ......
大数据本地环境搭建-Zookeeper/Hadoop/Hive搭建
1. Zookeeper环境安装 链接：https://pan.baidu.com/s/1wzbCiDxP7H5G_llwjSS3Rw?pwd=wgal 提取码：wgal 1.1 上传tar包 zookeeper-3.4.6.tar 注意：上传文件位置为 /export/server目录 1.2 解 ......
大数据本地环境搭建-Linux基础环境搭建
1.安装VMware 下载 VMware Workstation Pro | CN 2.配置虚拟网卡 3.Windows网络配置 4.安装centos7.9 Download (centos.org) 4.1 新建虚拟机 如果开机的时候电脑蓝屏使用Windows+R输入optionalfeature ......
阅读笔记四
(1)整体来说，这本书到底在谈些什么？本书围绕“注重实效”讲述了关于编程的各种话题，个人责任、拽光弹开发、调试策略、元程序设计、按合约设计、重构、无情的测试，等等。作者认为注重实效的程序员的特征是程序员在处理问题、寻找解决方案时的态度、风格、哲学，他们能够超越直接的问题去思考，总是设法把问题放在更大 ......
nosql数据库
1、什么是NoSQL NoSQL(Not only SQL)是对不同于传统的关系数据库的数据库管理系统的统称，即广义地来说可以把所有不是关系型数据库的数据库统称为NoSQL。 NoSQL 数据库专门构建用于特定的数据模型，并且具有灵活的架构来构建现代应用程序。NoSQL 数据库使用各种数据模型来访问 ......
阅读笔记
通过一周时间对"构建之法-现代软件工程"快速阅读，我对软件工程这个专业有了一种更深刻的认识.软件工程，顾名思义，就是把系统的、有序的、可量化的方法应用到软件的开发、运营和维护上的过程。 一个人的成功不是天生的，而是慢慢积累的。当然，一个优秀的程序员也是慢慢学成的；正所谓：千里之行始于足下，我们必须从 ......
Golang学习笔记（七）—— 异常处理
异常处理 异常 在Go语言中，异常被定义为实现了 error 接口的类型；error 接口只包含一个方法 Error() ，用于返回错误信息。 error 除了输出错误外，往往需要输出当时的业务相关信息（错误地址，错误码，错误信息等），举个简单例子： package main import ( "f ......
panghu week03 总结笔记
设计： get 如何在缓存中，返回关键字的值 O(1) 的时间复杂度，这里我们比较容易想得到是用map 去存储 put 如果key 已经存在，则变更数据，不存在则写入数据 如果插入关键字数量超过 capacity,则逐出最久未使用的关键字 总结下操作： 获取数据比较简单直接从map中判断存在，如果存 ......
[NLP复习笔记] 神经网络及BP算法
1. 神经网络 1.1 神经元 神经元（Neuron）或节点（Node） 是神经网络的基本单元。下图是一个简单的神经元示意图，\(x\) 表示 输入（\(\text{Input}\)）， \(x_i\) 表示来自于前面第 \(i\) 个 神经元（\(\text{Neuron}\)）的输入，通常会增加 ......
使用高德API获取线路数据，无需代码
下面内容包括： 如何使用高德API获取线路数据，无需代码 如何将获取下来的线路数据处理成geodataframe 线路数据获取 网址（高德开放平台）： https://lbs.amap.com/demo/javascript-api/example/bus-info/search-bus-route ......
jmeter-JDBC数据库-查询操作
1.测试计划放mysql 驱动jar包2.添加JDBC 连接配置信息：线程组-右键-添加-配置元件- JDBC Connection Configuration 输入创建的连接池变量，中间不用动，最下面输入mysql数据库各项信息输入的created pool --变量连接池：mydb下面的jdbc ......
哑演算 （入门）学习笔记
前言 本文采用 BY-NC-SA 协议发布。 这是一篇问答风格的学习笔记。 作者约等于民科，如果发现本文有错误或建议修改请告诉我。 正文 例题：定义多项式 \(F_n(x)=\sum\limits_{k=0}^n \dbinom nk A[n-k]x^k\)，求证 \(F_n(x+y)=\sum\l ......
《代码大全》读书笔记
这本书是很老的一本书了，篇幅特别的大，涵盖软件工程的方方面面（提纲挈领的讲解了一些概念及原则）。 从书中我可以看到作者的深厚功力，能够深入浅出的讲解一个软件从需求调研再到结构设计，再到具体开发，再到测试，再到集成构建的整个生命周期。本书不仅从软件构建的整个生命周期给到读者切实可行的建议，而且针对不同 ......
《代码大全》阅读笔记2
最近在 《代码大全》这本书, 包括的内容非常多, 从软件设计到代码开发,团队管理都有,更像是一个软件编程领域的百科全书. 但是,对于书中提到的一点印象最为深刻, 其实在 《人月神话》和《卓有成效的程序员》这两本书都有提到, 那就是: 软件设计与开发的核心就在于 控制复杂度 这句话的核心其实包括几个问 ......
python3 之 使用xlrd和xlwt模块对excel数据进行读取写入操作
python3 之 使用xlrd和xlwt模块对excel数据进行读取写入一、什么是xlrd模块和xlwt模块二、如何安装xlrd模块和xlwt模块三、excel表格准备四、对excel表进行读写操作1、使用xlrd模块读取excel文件1.1 、遇到问题：excel表中是日期格式的单元格，输出的是 ......
jmeter 连接数据库JDBC，进行数据库的增删改操作
jmeter 连接数据库mysql，进行数据库的增删改查，需要还是挺频繁的。 1、在测试计划处添加驱动jar包2、配置数据库链接信息：添加JDBC Connection Configuration需要配置项URL：jdbc:mysql://{ip}:{port}/{dbname}?useUnicod ......
Day44 稀疏数组(1种数据结构)
稀疏数组(1种数据结构) 把棋盘转变为二维数组存储 黑棋用1代表，白棋用2代表 11行11列 有效数字2个 [0] 11行 11列 2(有效数字) [1] 1行 2列 1值 [2] 2行 3列 2值 对稀疏数组的数组来说就是3行（有效数字2个+1，[0],[1],[2]即3行） 列数就是固定3列 ......
同步交换通信和异步通信交换【笔记】
一. 同步交互： 就是用户在浏览器上所有的动作都操作完毕后再将信息发送给服务器端，然后服务器端做出响应后返回给浏览器数据 同步交互的优点 可以保留浏览器后退按钮的正常功能。在动态更新页面的情况下，用户可以回到前一个页面状态，浏览器能记下历史记录中的静态页面,用户通常都希望单击后退按钮时，就能够取消他 ......
Laravel学习笔记
一. 安装 在创建你的第一个 Laravel 项目之前，你应该确保你的本地机器已经安装了 PHP 和 Composer。如果你是在 macOS 上开发，可以通过 Homebrew 安装 PHP 和 Composer。此外，我们建议安装 Node 和 NPM。 安装了 PHP 和 Composer 后 ......