数据 爬虫 二手房python
jmeter：CSV数据文件设置解析文件时中文乱码问题
设置数据文件时可以把数据可放入csv文件或txt文件中 但是，在性能测试中，尽量把数据存放于txt文件中，txt文件消耗的资源比csv文件少，而且txt文件比csv文件更方便更改数据。 文件编码一般使用UTF-8，但是当txt文件中的数据包含中文和英文时，文件编码为gb2312。 ......
Redis和Mysql如何保持数据一致性
导致不一致原因： 在高并发的场景下，大量的请求直接访问MySQL很容易造成性能问题。所以，我们都会用Redis来做数据的缓存，削减对数据库的请求。但是，MySQL和Redis是两种不同的数据库，如何保证不同数据库之间数据的一致性就非常关键了。 1、在高并发的业务场景下，数据库大多数情况都是用户并发访 ......
python---打包exe文件运行自动化
前言 我们正常执行自动化测试的代码都是在有python环境和对应的python库的环境中进行执行的，那么如何能否将我们的自动化测试代码放到没有python环境的电脑上进行运行呢？这个当然时可以的了，只需要将我们的代码打包程exe然后进可以进行在没有安装python的环境下进行执行了。 pyinsta ......
spring国际化访问数据空指针问题记录
@Controller @RequestMapping("/ops/hbase/cluster") public class HBaseClusterManageController { private List<String> inComputerRooms = Arrays.asList(/*r ......
数据治理工具DataHub的安装及踩坑过程
项目上后面要搞数据治理，网上主流的开源组件是Atlas和DataHub，这几天刚好有时间，先把DataHub安装试用一下。安装过程中问题较多，花了两天时间才安装完。先把安装过程记录一下，后面把功能试用情况也写出来。 ......
【数据结构】数组与广义表 - 笔记
数组与广义表的一章相对更为简单，第1,2节都是很熟悉的数组相关定义、实现等。因此这篇博客的讲述重点放在第3节“特殊矩阵的压缩存储”中的“稀疏矩阵”的存储以及第4节“广义表”上面。 稀疏矩阵 讲解 稀疏矩阵指的是矩阵中大多数元素为0的矩阵。这时使用传统的二维数组来存储很浪费空间，不妨单独将非零元素的 ......
数据分析之营销管理方法论--4P营销理论
4P营销理论 4P营销理论被归结为四个基本策略的组合，即产品（Product）、价格（Price）、渠道（Place）、宣传（Promotion），由于这四个词的英文字头都是P，再加上策略（Strategy），所以简称为“4P’s” 产品：产品是营销组合中第一个和最重要的要素。产品是品牌的载体，是满 ......
数据分析之营销管理方法论--用户使用行为分析
用户使用行为 1. 为什么要做用户使用行为分析？ 用户行为数据时指在产品内进行各种操作产生的数据。比如：访问、浏览和行为事件。每个访问时间可由多个浏览事件和点击事件构成。同样的可以理解为5个元素构成： who、when、 where、 how、 what。 谁在什么时间，什么地点以什么交互方式做了什 ......
SpringBoot项目，Mybatis查数据有些字段值为null，有些又有值？？
问题：SpringBoot项目，Mybatis查数据有些字段值为null，有些又有值？？ 上网查看了许多博客，发现大多说的都是实体对象的名称和数据库字段的名称不一样，但是我检查了发现是一样的。我以为id数据库是int，而实体对象是Integer的原因，我想着java不是可以自动拆装箱吗，改来改去发现 ......
数据分析之数据建模
一、什么是数据建模？ （1）数据模型，就是在数据层面建立起来的一种逻辑关系的算法集合，该算法集合可以运算未来的同源数据，并产生可预期的结果。通俗说，模型就是算法或公式，如模型y=ax+b，通过该公式，输入x，可以得到y值。通过数据建模输出的模型，就是数据模型。 （2）数据建模是数据分析的一部分，数据 ......
数据分析之数据分析方法
常用数据分析方法分类： 数据分析方法有很多种，需要根据业务场景中分析目的的不同，选择对应的分析方法，如果你的分析目的是想将复杂的问题变得简单，就可以使用逻辑树分析方法，例如经典的费米问题就可以用这个分析方法。如果你想分析用户的转化，就要用到漏斗分析方法，录入店铺小周销量下降，想知道中间那个业务环节出 ......
Python中事件驱动
提示:如果要回顾视频，直接从第8分钟开始看 事件驱动可以说是一个概念，还是用一个官方的语言来讲解一下吧 事件驱动专业的解释是指在持续事务管理中，进行决策的一种策略，当事件被触发时计算机调动可用资源，执行相关任务，这样使得不断出现任务得以执行，防止实务的堆积。这种策略相比起非事件驱动的程序来说，让计算 ......
Python3 RabbitMQ
RabbitMQ是一个在AMQP基础上完整的，可复用的企业消息系统。他遵循Mozilla Public License开源协议。 MQ全称为Message Queue, 消息队列（MQ）是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息（针对应用程序的数据）来通信，而无需专用连接来链 ......
数据分析第十章实践
import pandas as pd import matplotlib.pyplot as plt inputfile ='C:/Users/Lenore/Desktop/data\original_data.xls' # 输入的数据文件 data = pd.read_excel(inputfi ......
Python Twisted介绍
Twisted是什么？ Twisted模块是扭曲，事件驱动的网络引擎。 Twisted就是基于Reactor模式帮我们抽象出了异步编程模型以及各种非阻塞的io模块(tcp、http、ftp等),使我们很方便地进行异步编程。 原文链接：http://www.aosabook.org/en/twiste ......
python redis使用介绍
1.安装 redis 模块 Python 要使用 redis，需要先安装 redis 模块： sudo pip3 install redis 或 sudo easy_install redis 或 sudo python setup.py install 源码地址：https://github.co ......
c# 连接 sql server 数据库时报错，证书链是由不受信任的颁发机构颁发的。
c# 连接 sql server 数据库时报错：A connection was successfully established with the server, but then an error occurred during the login process. (provider: SSL ......
python2代码转换成python3代码
安装了python3解析器后，它为我们提供了很多工具脚本，其中就包括pytho2转换成python3的脚本 位置在 python的安装路径下的 Tools\scripts 文件夹下 将 2to3.py 拷贝到想要转换的文件所在的目录 cmd中执行 python 2to3.py --help pytn ......
Python 四大主流 Web 编程框架
目前Python的网络编程框架已经多达几十个，逐个学习它们显然不现实。但这些框架在系统架构和运行环境中有很多共通之处，本文带领读者学习基于Python网络框架开发的常用知识,及目前的4种主流Python网络框架：Django、Tornado、Flask、Twisted。 网络框架及MVC架构所谓网络 ......
python制作PPT
1.安装： pip install python-pptx pip install python-pptx -i https://pypi.tuna.tsinghua.edu.cn/simple 2.初步认识并创建ppt from pptx import Presentation #导入Presen ......
第一次结对作业——如何将mysql数据表里的数据导入到安卓SQLite数据库
在进行安卓地铁系统编写的过程中，我产生了一个疑问，怎么才能将mysql数据库里的数据导入到SQLite里面 于是我开始查找资料来解决这个问题，终于能够实现这个导入。 步骤如下： 1.进入idea，找到自己要导出的数据库，将数据库里的文件导出csv文件 2.打开Android Studio的地铁查询系 ......
hive和kudu数据之间的互相迁移存在的坑
一、为什么要进行数据迁移 背景：我现在有个需求：需要修改kudu表的主键，主键由1个字段增加为2个字段。因为不能影响下游系统使用kudu表，kudu表表名不能做修改。需要将原kudu表删除后再建新kudu表。 这里存在几个潜在知识点： 1.kudu表修改主键不能使用命令直接修改，必须重新删表然后建表 ......
python 动态调用函数时，在被调用函数中捕获具体异常
背景： 有一个test接口如下，主要作用就是通过两个入参，去动态的调用某个文件的某个方法 def test(pyname, method): """ :param pyname: 文件名称 :param method: 方法名 """ pass 如果直接在该test接口文件内捕捉异常，只能捕捉到te ......
MySQL数据库三个关键性能指标TPS\QPS\IOPS
今天主要介绍MySQL数据库，或者说所有数据库的三个关键性能指标： qps 每秒处理的查询数 tps 每秒处理的事务数 IOPS 每秒磁盘进行的I/O操作次数 如果IOPS过高，分析原因： 内存不足，查询数据较多（一般为慢查询，但有时候并不是，单纯的查询数据较多），特别关注一下数据量大还需要排序的分 ......
全网最详细中英文ChatGPT-GPT-4示例文档-官网推荐的48种最佳应用场景——从0到1快速入门语言翻译应用场景（附python/node.js/curl命令源代码，小白也能学）
与其他翻译工具不同，使用ChatGPT可以考虑文本的上下文和目标语言的习惯和礼貌用语，生成更自然和恰当的翻译。使用ChatGPT进行风格转换。您可以指定您想要的翻译风格，例如正式、幽默、简洁等，让ChatGPT根据您的要求调整翻译的语气和表达。 ......
全网最详细中英文ChatGPT-GPT-4示例文档-官网推荐的48种最佳应用场景——从0到1快速入门自然语言指令创建支付API代码（附python/node.js/curl命令源代码，小白也能学）
用户可以通过ChatGPT，使用自然语言指令来创建和控制自己想调用Stripe API的代码，无需关心技术细节和实现过程。用户还可以根据自己的喜好和需求，选择不同的语言和模型来生成相应的接口，更快速地生成调用OpenAI的各种模型和服务的代码。 ......
全网最详细中英文ChatGPT-GPT-4示例文档-官网推荐的48种最佳应用场景——从0到1快速入门自然语言转换SQL查询语句应用（附python/node.js/curl命令源代码，小白也能学）
使用ChatGPT可以帮助开发人员快速构建复杂的SQL查询，而无需手动编写SQL代码。ChatGPT可以将自然语言转换为SQL查询语句，并且可以根据用户的要求进行定制化。ChatGPT可以帮助开发人员更快地完成SQL查询，减少了编写SQL代码的时间，提高了工作效率。 ......
银河麒麟4.0.2（飞腾平台） 安装MySQL数据库
1. 操作系统信息 root@Kylin:/# cat /etc/.kyinfo [dist] name=Kylin milestone=4.0.2-server-sp2-18071110.Z1 arch=arm64 beta=False time=2018-07-11 10:57:13 dist_ ......
全网最详细中英文ChatGPT-GPT-4示例文档-官网推荐的48种最佳应用场景——从0到1快速入门语法纠正应用场景（附python/node.js/curl命令源代码，小白也能学）
ChatGPT的发展，使得语法纠正成为现实。无论是写作、阅读、翻译，还是其他领域，用户都可以通过ChatGPT来提高自己的语言水平和表达能力。ChatGPT不仅可以纠正语法，还可以提供语言学习和练习的功能。它可以根据用户的输入提供反馈、评分和解析，从而帮助用户掌握更多的词汇和语法规则。使用ChatG... ......