数据 爬虫 二手房python
Redis 数据库的持久化
1、Redis 持久化 1.1 什么是持久化 持久化可以理解为数据的永久存储，就是将数据存储到一个不会丢失的地方。如果把数据放在内存中，电脑关闭或重启数据就会丢失，所以放在内存中的数据不是持久化的，而放在磁盘就是一种持久化。 1.2 Redis 的持久化 Redis 的数据存储在内存中，内存是瞬时的 ......
python中isinstance()用法
isinstance()用来判断一个对象是否是一个已知的类型，isinstance()函数的语法如下： isinstance(object,classtype) object -- 实例对象。 classtype -- 可以是直接或间接类名、基本类型或者由它们组成的元组。 isinstance()函 ......
关于python中使用json.load()从json文件中读取数据转换成字典
在json模块中，我们可以经常会用到 load()与loads()，其中两者的区别如下 json.load()从json文件中读取数据转抱为dict类型 json.loads()将str类型的数据转换为dict类型 举例说明，如下有一json文件,ip-ranges.json，内容如下： 这里我们将 ......
Redis 数据库的事务机制
1、Redis 事务机制 1.1 事务的定义 事务是指一系列操作数据库的步骤，这一系列的操作步骤，要么完全地执行，要么完全地不执行。 1.2 Redis 的事务 同样，Redis 中的事务也是一组命令的集合，至少是两个或两个以上的命令。Redis事务是一个单独的隔离操作，事务中的所有命令都会序列化、 ......
Jenkins部署python-flask后端项目，持续集成(jinkins配置python虚拟环境)
第一步：新建项目Jenkins -> 新建任务 -> 起名字，构建一个自由风格的软件项目 -> 保存 第二步，添加git仓库 第三步，构建，添加shell（Windows系统选择Execute Windows batch command） 以windows为例 感谢大佬的分享：https://www ......
Python爬虫 execjs执行js报错json.decoder.JSONDecodeError: Expecting value: line 1 column 85 (char 84)
fun=re.search(r'(__=\([\S\s]*?;)<',r_text).group(1)fun=fun+'function get(){return JSON.stringify(__.data)}'ctx = execjs.compile(fun)rdata = (ctx.eval( ......
续：python 新环境的创建并在 spyder 中转换 - 如何解决转换环境时报错：invalid file path_艽野尘梦 better 的博客 - CSDN 博客
不要安装一个和已有 python 环境一样版本的 python（这里的一样指的是完全一样，比如都是 python2.7.15），如果已有 python2.7.15，可以创建 python2.7.18 的环境并在 spyder 中转换 ......
python 新环境的创建并在 spyder 中转换——在 spyder 中配置 arcgis 的 python 解释器、为指定 python 环境安装第三方库_艽野尘梦 better 的博客 - CSDN 博客
1、创建、转换和配置一个python新环境。2、怎样在spyder中使用arcgis的python2.7解释器编写python2的代码。3、怎样将我需要的python2的第三方库安装到指定的python2.7环境中。 ......
科技发展的未来：探索数据驱动的智能科技创新
科技的快速发展，我们的生活也变得越来越依赖科技。从智能手机到智能家居，从人工智能到大数据，科技正在改变着我们的生活方式和工作方式。在这个快速变化的世界中，数据驱动的智能科技创新成为了科技发展的未来方向。 一、数据驱动的智能科技创新 数据驱动的智能科技创新是指利用大数据和人工智能等技术，通过对海量数据 ......
科技大数据：如何利用科普信息来更好地理解技术
科技在不断的发展，我们的生活方式也在不断地改变。从最初的人工智能到现在的云计算、大数据等，科技的发展已经成为了我们日常生活中不可或缺的一部分。然而，对于大多数人来说，这些新兴技术可能是非常难以理解的。因此，科普信息的传播和普及变得越来越重要，这不仅可以让人们更好地了解和使用科技，还可以帮助企业更好地 ......
打破传统，大数据让旅游更智能——探秘旅游App的未来
旅游作为一种消费行为，已经成为人们生活中不可或缺的一部分。而旅游App作为旅游行业中的新生代，正在迅速崛起，成为人们出行的必备工具。利用大数据技术，旅游App正在不断地打破传统，让旅游更加智能化。 一、大数据技术为旅游App注入智能基因 旅游App的智能化离不开大数据技术的支持。大数据技术不仅可以帮 ......
掌握数据，畅享旅途——大数据在旅游App中的应用
现在，越来越多的人选择用手机应用程序来规划和预订旅行计划,旅游App不仅提供旅游信息，还可以通过大数据分析用户行为、旅游偏好等信息，为用户提供更加个性化的服务，让用户的旅行更加顺利、愉快。 一、大数据在旅游App中的应用 用户行为分析 旅游App通过收集用户行为数据，如用户搜索关键词、浏览历史记录、 ......
旅游APP大数据分析：带你找到最佳旅游路线
如今，旅游App已经成为了现代旅游的必备工具，而在这个数字化的时代，大数据的应用已经成为了旅游App的重要手段。本文将介绍旅游App大数据分析的应用，带你找到最佳旅游路线。 一、大数据在旅游App中的应用 随着互联网的发展和普及，旅游App已经成为了一个全球性的行业。而在这个行业中，大数据的应用已经 ......
大数据时代下，跨境电商如何利用数据实现快速发展
随着全球化的发展，跨境电商成为了一个不可忽视的趋势。而在这个数字化的时代，大数据的应用已经成为了企业发展的重要手段。跨境电商企业如何利用数据实现快速发展，成为了一个备受关注的话题。 一、大数据在跨境电商中的应用 随着互联网的发展和普及，跨境电商已经成为了一个全球性的行业。而在这个行业中，大数据的应用 ......
从数据角度看跨境电商：大数据带来的机遇和挑战
互联网的不断发展，跨境电商已经成为了一个越来越重要的产业。大数据技术的发展，为跨境电商带来了机遇和挑战。 一、大数据带来的机遇 精准的营销策略 大数据技术可以通过分析用户的行为和兴趣，提供更加精准的营销策略。通过数据分析，跨境电商可以更好地了解用户的需求，为用户提供更加个性化的服务，从而提高用户满意 ......
8-1 【Python0001】列举说明Python同Java及C++的不同之处
首先是C++C++是在C语言的基础上发展起来的，他包含了C语言的所有内容。同时，也引入了面向对象的概念。优点：1、他包含了C语言的内容，包括指针，使得C++在执行效率上特别的高效。2、引入面向对象的概念，使得开发效率提高。3、提供了很多的库，具有较好的封装性和移植性（代码）。缺点：1、C++比较难学 ......
使用Python实现Hull Moving Average (HMA)
赫尔移动平均线（Hull Moving Average，简称HMA）是一种技术指标，于2005年由Alan Hull开发。它是一种移动平均线，利用加权计算来减少滞后并提高准确性。 HMA对价格变动非常敏感，同时最大程度地减少短期波动可能产生的噪音。它通过使用加权计算来强调更近期的价格，同时平滑数据。 ......
python3里面实现将日志文件写入当前脚本运行的文本中
在 Python3 中，可以使用 logging 模块来实现将日志写入本地文本文件中。下面是一个简单的示例代码： import logging # 配置 logging 模块 logging.basicConfig(level=logging.DEBUG, filename='example.log ......
m基于多核学习支持向量机MKLSVM的数据预测分类算法matlab仿真
1.算法描述 20世纪60年代Vapnik等人提出了统计学习理论。基于该理论,于90年代给出了一种新的学习方法——支持向量机。该方法显著优点为根据结构风险最小化归纳准则,有效地避免了过学习、维数灾难和局部极小等传统机器学习中存在的弊端,且在小样本情况下仍然具有良好的泛化能力,从而该算法受到了广泛的关 ......
Java：数据表的字段设计了默认值0不生效的原因
在数据表里给字段设置了默认值为0，但是在插入的时候不生效，数据表设计如下 通过数据表生成的实体类 查看代码 @Data @TableName(value = "user") @NoArgsConstructor @AllArgsConstructor public class UserEntity{ ......
基础原理 | 善用数据手册
【1】STM32F103ZET6定义 STM32 =基于ARM核心的32位微控制器 F =通用类型 103 = 增强型 Z = 引脚数目为144脚（引脚越多外设越多） E = 512K字节的闪存存储器 T = 封装为LQFP（LQFP144） 6 = 工业级温度范围-40~85 【2】引脚定义 引脚 ......
在EF Core中为数据表按列加密存储
假设有User表 public class User : Entity<int> { public int Id { get; set; } public string UserName { get; set; } public string Name { get; set; } public st ......
开源 文本到视频：Tune-A-Video 本周 star 增长数：1,050+，主语言：Python
开源不到 48 小时获 35k star 的推荐算法「GitHub 热点速览 转载自己笔记备用 非公开 原作者博客园 本周的热点除了 GPT 各类衍生品之外，还多了一个被马斯克预告过、在愚人节开源出来的推特推荐算法，开源不到 2 天就有了 35k+ 的 star，有意思的是，除了推荐算法本身之外，阅 ......
计算机复试 数据挖掘学习笔记 （配合mooc 国科大数据挖掘的课程）
###完全新手 可能有错误 大数据:数据量大, 数据产生很快, 种类多 传统意义上处理数据的软件无法处理的规模的数据 应用:预测犯罪发生 提前组织犯罪 分析DNA 进行针对治疗 交通规划 数据挖掘是自动地从大量的,不可比较的且混乱的数据中提取有趣的有用的隐藏模式 形式化定义 分类问题 找到一个比较规 ......
怎么实现从app注册登录应用跳转到app2所获得爬虫后台数据
import json from flask import Flask, render_template, request, jsonify from flask_mysqldb import MySQL from flask_login import logout_user import pymy ......
08多任务爬虫
多任务爬虫 线程进程回顾 实现多任务爬虫的方式：多进程/多线程 进程：是计算机当中最小的资源分配单位 线程：是计算机当中可以被CPU调度的最小单位 我们执行一个python代码的时候，在计算机的内部会创建一个进程，在进程当中会创建一个线程，代码是由线程去执行的 创建进程/线程 import time ......
06数据存储peewee
数据存储 一、MySQL 1.1 pymysql 建立数据库连接db = pymysql.connect(...) 参数host：连接的mysql主机，如果本机是'127.0.0.1' 参数port：连接的mysql主机的端口，默认是3306 参数database：数据库的名称 参数user：连接的 ......
注册跳转到微博爬取的数据
import json from flask import Flask, render_template, request, jsonify from flask_mysqldb import MySQL from flask_login import logout_user import pymy ......
01爬虫初识
初识爬虫 一、爬虫介绍 爬虫主要的功能就是抓取网络数据的程序。本质就是用程序模拟人使用浏览器访问网站，并将所需要的数据抓取下来。 爬虫可分为两大类：通用网络爬虫、聚焦网络爬虫 通用网络爬虫：是搜索引擎的重要组成部分，百度搜索引擎，其实可以更形象地称之为百度蜘蛛（Baiduspider），它每天会在海 ......
scrapy爬虫框架（五）Spider Middleware
Spider Middleware，中文可以翻译为爬虫中间件，但我个人认为英文的叫法更为合适。它是处于Spider 和 Engine 之间的处理模块。当 Downloader 生成 Response 之后，Response 会被发送给 Spider,在发送给 Spider 之前，Response 会 ......