源码 服务器mysql8 mysql
爬取的数据，存到mysql中、爬虫和下载中间件、加代理，cookie，header，加入selenium、去重规则源码分析（布隆过滤器）、scrapy-redis实现分布式爬虫
# 1 scrapy架构 -爬虫：写的一个个类 -引擎： -调度器：排队，去重 -下载器 -pipline -下载中间件 -爬虫中间件 # 2 命令 -scrapy startproject 项目名 -scrapy gensipder 爬虫名 网址 -scrapy crawl 爬虫名字 -run.p ......
Redis跟MySQL的双写问题
本文已收录至Github，推荐阅读 👉 Java随想录 微信公众号：Java随想录 项目中有遇到这个问题，跟MySQL中的数据不一致，研究一番发现这里面细节并不简单，特此记录一下。 写在前面 严格意义上任何非原子操作都不可能保证一致性，除非用阻塞读写实现强一致性，所以缓存架构我们追求的目标是最终一 ......
SQL 分类及 mysql安装及卸载注意事项
SQL structural query language 分类 DML 数据操纵语言 data manipulation language insert update delete select DDL 数据定义语言 data definition language create table al ......
Linux服务器编写Shell脚本定时监控Java应用状态以及掉线后的自动重启
1. 编写Shell脚本 #! /bin/sh export JAVA_HOME=/root/jdk1.8.0_361 export CLASSPATH=.:CLASSPATH:$JAVA_HOME/lib/ export PATH=$PATH:$JAVA_HOME/bin proc_name=we ......
阿里云微服务引擎 MSE 2023 年
 ......
二进制安装MySQL
#二进制方式安装MySQL，安装过程如下： #（1）建立MySQL用户账号 首先以root身份登录到Linux系统中，然后执行如下命令创建mysql用户账号： #<==创建mysql用户。 [root@xkf ~]# useradd mysql -s /sbin/nologin -M #（2）下载、 ......
.net mvc使用websocket服务器及客户端简易代码
.net MVC服务端 Func<AspNetWebSocketContext, Task> func = new Func<AspNetWebSocketContext, Task>(async (socketContext) => { WebSocket socket = socketConte ......
MySQL 也可以做全文检索
原来用 MySQL 也可以做全文检索 我是风筝，公众号「古时的风筝」，专注于 Java技术 及周边生态。文章会收录在 JavaNewBee 中，更有 Java 后端知识图谱，从小白到大牛要走的路都在里面。 有朋友聊到他们的系统中要接入全文检索，这让我想起了很久以前为一个很古老的项目添加搜索功能的事儿 ......
Dbeaver22.0.3 连线配置mysql8版本
编辑驱动 新建连接，选则mysql 库选中本地的jar文件 点击编辑驱动后，选中库页签，添加文件，选中本地jar包 参考 https://www.cnblogs.com/jinci2022/p/16525548.html ......
mpi转以太网连接200PLC转以太网modbusTCP服务器通信配置方法
兴达易控200PLC转以太网modbusTCP服务器通信配置方法产品简介兴达易控PPI-ETH-XD1.0用于西门子S7-200/SMART S7-200PLC的以太网数据采集，非常方便构建生产管理系统。不占用PLC编程口，即编程软件/上位机软件通过以太网对PLC数据监控和采集的同时，触摸屏可以通过 ......
Linux中使用yum安装服务时会报：Existing lock /var/run/yum.pid: another copy is running as pid 3263.：解决方法
报错信息： 在下载服务时，不会显示正常的安装步骤，而是显示以上报错。 报错原因： 1、是因为yum已经在后台运行了，导致进程僵死。 解决方法： 1、把/var/run/yum.pid文件给删掉就好了。 执行命令： [root@k8s-master ~]# rm -rf /var/run/yum.pi ......
pikachu-SSRF(Server-Side Request Forgery:服务器端请求伪造）
概述 其形成的原因大都是由于服务端提供了从其他服务器应用获取数据的功能,但又没有对目标地址做严格过滤与限制 导致攻击者可以传入任意的地址来让后端服务器对其发起请求,并返回对该目标地址请求的数据 数据流:攻击者 >服务器 >目标地址 根据后台使用的函数的不同,对应的影响和利用方法又有不一样 PHP中下 ......
0 爬取的数据，存到mysql中 、1 爬虫和下载中间件、 2 加代理，cookie，header，加入selenium、3 去重规则源码分析（布隆过滤器） 、4 scrapy-redis实现分布式爬虫
0 爬取的数据，存到mysql中 # 存到mysql中 class FirstscrapyMySqlPipeline: def open_spider(self, spider): print('我开了') self.conn = pymysql.connect( user='root', pass ......
ZLmediakit媒体服务器测试
1运行mediaserver，什么接口都不用调,进行推拉流测试 main函数会默认创建一些服务和session，所以当你有数据向MediaServer运行的那个服务器推流的时候，MediaServer是可以根据推流协议解析SDP信息以及进行媒体通道创建的； 1.1只启动服务，不调用任何MediaSe ......
用Gradle构建spring源码项目
版本： JDK 1.8 Gradle ：gradle-5.6.3-all.zip Spring 5.2.1 1.配置JDK环境和配置Gradle环境，这个就不说了网上一大片都是。 2.下载源码：git clone -b 5.2.1 https://github.com/spring-projects ......
无状态服务与有状态服务
无状态服务（Stateless Service）是指不依赖于任何特定的状态或数据存储的应用程序服务。每个请求都是独立的，应用程序无法分辨出重复的请求。因此，无状态服务可以在不同的服务器之间轻松地进行水平扩展，以处理更多的请求并提高可用性。 有状态服务（Stateful Service）是指依赖于特定 ......
mysql中explain命令详解
EXPLAIN 命令的作用 模拟Mysql优化器是如何执行SQL查询语句的，从而知道Mysql是如何处理你的SQL语句的。分析你的查询语句或是表结构的性能瓶颈。 mysql> explain select * from tb_user; + + + + + + + + + + + | id | se ......
高效实现 MySQL 与 elasticsearch 的数据同步
注：本文转自：https://www.toutiao.com/article/7206119975793410615/?log_from=8164cd03bb377_1679446916178 MySQL 自身简单、高效、可靠，是又拍云内部使用最广泛的数据库。但是当数据量达到一定程度的时候，对整个 ......
Chrome公网访问本地服务跨域问题【解决方案】
第一步：在chrome浏览器地址栏输入：chrome://flags/#block-insecure-private-network-requests，打回车 ，打回车。 ......
LINUX安装MySQL数据库
一、下载MySQL安装包 进入官网选择需要的版本下载安装包。官网下载地址：官网下载进入下载也如下图： 二、安装MySQL 1、上传安装包值Linux服务器（习惯传至/usr/local，以下都以这个路径为准）； #进入local目录 cd /usr/local/ #解压mysql安装包 tar -z ......
brew 安装或卸载mysql
卸载： 1) 卸载 mysql brew uninstall mysql 2) 清理缓存 brew cleanup --prune=all mysql 3）删除数据目录 rm -rf /usr/local/var/mysql 安装： 1）安装 mysql brew install mysql 2）启 ......
mysql 根据固定字段集合排序
SELECT i.id FROM invite_info i, shop_info s WHERE i.shop_id = s.id ORDER BY FIELD(i.id,435,432,433,436) ......
Linux服务器调用外部链接命令
服务器上调用接口命令：curl -H 'Content-Type: application/json' -H 'appKey: 2222' -d '{"userid": "123345","name": w222}' http://接口地址 ......
MySQL基础：函数
MySQL基础：函数 函数是指一段可以直接被另一段程序调用的程序或代码。 字符串函数 MySQL中内置了很多字符串函数，常用的几个如下： | 函数 | 功能 | | : : | : : | | CONCAT(S1,S2,...Sn) | 字符串拼接，将S1,S2,...Sn拼接成一个字符串 | | ......
MySQL基础：约束
MySQL基础：约束 概述 概念：约束是作用于表中字段上的规则，用于限制存储在表中的数据。 目的：保证数据库中的数据的正确、有效和完整性。 分类： | 约束 | 描述 | 关键字 | | : : | : : | : : | | 非空约束 | 限制该字段的数据不能为null | NOT NULL | ......
Java Spring使用EventSource进行服务端推送
Java代码： @ResponseBody @RequestMapping(value = "/getDate", produces="text/event-stream;charset=UTF-8") public void getDate(HttpServletResponse response ......
几步完成Python爬虫采集附源码
对于长期做爬虫行业的程序员我来说，现在随便编写一个爬虫程序也只是分分钟的事情，这次我编辑一个有关图文采集的爬虫，从试错到下载保存等一些列重点全部都写入下面的文章中希望大家避坑。 这里应用self.log简单的做了一下运行日志的处理和记录！ 几个关键点： 1、常规操作，访问出错重试 这里仅仅是简单的写 ......
使用IDEA连接服务器，执行脚本/上传文件/连接数据库/模拟HTTP请求
工欲善其事必先利其器 所以最近使用开发的时候，由于测试环境太多，搞的人很是崩溃。开发的、测试的、回归问题的， 不同的机器能测试侧重点不一样，使用的人不一样。结果一个bug出来，这台机器要改，那台机器也要换包。换了还得验。 测出bug的人急急急，改bug的也烦躁，毕竟这台机器正用着，那个说有问题，又跑 ......
微服务架构实战学习（一）：微服务架构
微服务架构 什么是微服务 微服务是一种系统架构上的设计风格,它的主旨是架构将一个原本独立的系统拆分成多个小型的服务,每个服务都在各自的进程中运行(可以在不同物理机器上),每个小型服务可以独立部署运行,服务之间通过基于HTTP的RESTful API进行通信协作. 每个服务都是基于业务场景中一些耦合度 ......