hive web
Docker配置Web
# Docker配置Web ## 一、安装Docker > 安装步骤详见： > > [Ubuntu 20.04安装Docker](https://www.cnblogs.com/Can-daydayup/p/16472375.html) > > [Docker构建nginx+uwsgi+flask镜 ......
WEB自动化-Allure报告-添加日志内容到Allure报告
如果想把LOG内容输出到Allure报告，步骤如下： 1、创建pytest.ini文件，设置规则 2、创建conftest文件，设置driver和日志封装及截图 # 浏览器驱动 import logging import allure import pytest from selenium impo ......
8.7-8.13学习总结博客五：Hive进阶与复杂查询
博客题目：学习总结五：Hive进阶与复杂查询实践内容概要：学习Hive进阶的使用方法，包括复杂查询、数据转换和性能优化等方面的知识。学习资源：推荐的Hive进阶教程、实践案例和性能优化技巧。实践内容：通过编写复杂的Hive查询语句，探索Hive的高级功能和性能优化方法，并分享实践中的挑战和解决方案。 ......
Web信息收集步骤
# Web信息收集步骤 1. 利用浏览器查看所有页面，并且检查页面源代码，注意备注信息以及可以链接 2. /robots.txt 3. Nikto工具扫描Web技术架构以及可能存在的目录或者文件，并且可能可以直接给出漏洞 4. Gobuster,dirb,dirsearch，并且利用各个主要的wor ......
假期总结之Hive基础架构
Apache Hive其2大主要组件就是：SQL解析器以及元数据存储， 如下图。 元数据存储 通常是存储在关系数据库如 mysql/derby中。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。 -- Hive提供了 Metastore 服务进 ......
ctfshow_JWT(Web345-350)
## jwt介绍 对json格式的信息采取的一种编码 JWT：Json web token 由两个点分隔成三个部分，分别为: - Header - Payload - Signature： 如果在Header部分声明的签名算法为HS256，以及服务器约定使用的密钥为secret 那么签名使用的算法一 ......
ctfshow_SSRF(web351-360)
# ctfshow-SSRF #### web351 flag在flag.php下，直接访问没有权限 使用curl_exec访问才有权限 > url = http://127.0.0.1/flag.php #### web352 开始上过滤了 使用`0.0.0.0`访问本机上的服务 > url = ......
DASCTF_2023_07_web赛后复现
# EZFlask ## 总体思路 总体思路是利用python的原型链污染修改`__file__`，实现任意文件读，从而读取到必要信息，构造PIN码解锁console从而RCE ## 解题 ### 代码审计 源代码设计得挺巧的，这个其实是提供了任意读 ```python @app.route('/' ......
WEB实战手册－基于C++（1）
[TOC] # oat++ oat++ 是一个轻量级高性能 Web 服务开发框架，采用纯 C++ 编写而成。 - 特性： 1. 特性快速 2. 零依赖 3. 异步服务器，高性能，在单个服务器上同时处理超过 500 万个 WebSocket 连接 4. 多线程服务器（简单的 API） 5. 连接无感知 ......
hive处理字符串化数组
大数据在进行ETL过程中，为了避免因为源、目标表字段因为数据类型不一致造成抽数失败，所以在目标表一般都会将字段设置成string类型，后续数据同步过来后再进行类型转换。 以ARRAY类型字段举例： 通过正则将字符串左右两边的中括号[]进行去除 explode(split(REGEXP_REPLACE ......
Selenium Web 自动化 - Selenium(Java)环境搭建 （new）
Selenium Web 自动化 - Selenium(Java)环境搭建 （new） 2023-08-11 0 背景 开发工具idea 代码管理maven jdk1.8 webdriver chrome 1 chromedriver & chrome chromedriver和chrome要对应上 ......
go项目实现mysql接入以及web api
本文为博主原创，转载请注明出处： 创建go项目，并在go项目中接入mysql，将mysql的配置项单独整理放到一个胚子和文件中，支持项目启动时，通过加载配置文件中的值，然后创建数据库连接。 之后使用net/http相关的库，创建路由，并在路由中通过不同的http方法，实现mysql连接的test数据 ......
WEB自动化-Allure报告-优化-流程化
可以通过优化把Allure的报告生成具有流程化的样子，如下 1、 创建文件，放封装的一些流程的函数 2、创建测试用例文件,用例中设置前置步骤，所有操作要先登录，然后用with allure.step写步骤： import allure import pytest from Allure_Tec.p0 ......
WEB自动化-Allure报告的自定义
生成了Allure报告，可以自定义一些属性，使报告看起来层级更明显，看起来更清晰。下图显示有些优化的选项 创建测试用例： import allure # import logging # logging.basicConfig(level=logging.INFO) @allure.epic("测试 ......
WEB自动化-Allure报告-使用钩子函数 进行失败截图
Allure报告中 支持使用钩子函数进行失败截图 使用pytest_runtest_makereport钩子函数实现allure报告添加用例失败截图（函数名固定的） Hook函数又称为钩子函数，它的作用可以理解成钩住自己喜欢的东西（在window中，喜欢的东西可理解为消息），然后对自己喜欢的东西单独 ......
hive 的order by ,sort by，distribute by，cluster by
order by order by会对输入做全局排序，因此只有一个Reducer(多个Reducer无法保证全局有序)，然而只有一个Reducer，会导致当输入规模较大时，消耗较长的计算时间，在生产环境中遇到数据量较大的情况，一般无法成功。 sort by sort by不是全局排序，其在数据进入r ......
大数据-hive 添加分区
1、静态分区1> 添加一个alter table t2 add partition (city=‘shanghai’);2> 添加多个alter table t2 add partition (city=‘chengdu’) partition(city=‘tianjin’);3> 添加分区指定位置 ......
WEB自动化-Allure报告-Allure安装和简单用法
WEB自动化测试可以借助Allure生成美观的测试报告。 1、安装工具及配置环境变量 1.安装JDK1.8 才可运行allure，直接百度，一大堆 2.下载Allure的安装包(版本号：2.13.5) https://repo.maven.apache.org/maven2/io/qameta/al ......
CTFer成长记录——CTF之Web专题·buuctf—admin
一、题目链接 https://buuoj.cn/challenges#[HCTF%202018]admin 二、解法步骤 本题页面十分简单， 在源代码中发现： 猜测需要用admin进行登陆，如果在注册模块用admin进行注册的话，会提示已被注册，那么可以肯定与admin有关。 在登陆页面用弱口令试试 ......
Hadoop集群启停命令以及Web UI界面的相关介绍
# 1、Hadoop集群的启停命令（我是将文件都配置好了，直接使用最方便的启停命令就能进行使用） ``` start-all.sh stop-all.sh ``` # 2、HDFS集群的Web UI界面 ![](https://img2023.cnblogs.com/blog/2808014/202 ......
docker 搭建一个flask web 页面
1. 新建一个flask工程文件 2. 将工程文件，打包成一个txt 文件 pip freeze >req.txt 未完待续 ......
CTFer成长记录——CTF之Web专题·攻防世界—ics-05
一、题目链接 https://adworld.xctf.org.cn/challenges/list?rwNmOdr=1691651594927 二、解法步骤 题目说其他破坏者会利用工控云管理系统设备维护中心的后门入侵系统，一番探索后，发现只有设备维护中心可以访问： 在一番点击下：发现url有了变化 ......
CTFer成长记录——CTF之Web专题·攻防世界—lottery
一、题目链接 https://adworld.xctf.org.cn/challenges/list?rwNmOdr=1691651594927 二、解法步骤 打开网页，这是一个买彩票换flag的网站。题目附件提供了源码： 在网站上探索一番，发现买flag需要9990000R，获得资金的方式就通过b ......
C# WEB 服务
1.WEB 服务的添加 右键项目 -> 添加 -> 服务引用 -> 地址中输入 你要添加的WEB服务地址，我这里是 http://www.webxml.com.cn/WebServices/WeatherWebService.asmx -> 确定 （命名默认） 2.接口使用 在项目文件中找到默认命名 ......
雷池 Web 应用防火墙安装
官方网站：https://waf-ce.chaitin.cn/ GitHub托管地址：https://github.com/chaitin/safeline 【简介】 一款足够简单、足够好用、足够强的免费 WAF。基于业界领先的语义引擎检测技术，作为反向代理接入，保护网站不受黑客攻击。 【特点】 一 ......