数据 爬虫 二手房python
基于chunjun纯钧的增量数据同步问题排查【博客园-实习小生】
基于chunjun纯钧的增量数据同步 目前我司的大数据平台使用的是flink技术栈，底层的连接器插件使用的是国产的chunjun插件，在使用chunjun的过程中也遇到了很多问题，本次记录下在SQL模式的情况下怎么支持增量的数据同步 chunjun的官网文档对增量同步已经做出了一定的说明 纯钧官方 ......
Hive元数据信息表
--Hive元数据表 1.表信息 （1）TBLS--记录数据表信息，可作为左表，关联其他表信息 （2）TABLE_PARAMS—存储Hive表的属性信息 具体数据内容： （3）COLUMNS_V2—保存表的字段信息 2.分区信息 （1）PARTITIONS （2）PARTITIONS_PARAMS— ......
【随手记】解决mybatis返回List<map>类型的数据时 无序 并且 不能返回空值
#返回结果无序 希望表格的列能根据数据库查出来的数据保持一致，但是返回页面的结果集是无序 在mybatis中使用List<Map>结构接收数据，发现输入的sql语句结果并不是按照输入的字段名顺序返回的。 例如输入 select col1,col2,col3 from table 却返回 | col2 ......
linux安装两个python版本
1.下载python3安装包 wget https://www.python.org/ftp/python/3.7.2/Python-3.7.2.tgz 2.解压python的tgz压缩包文件 tar -xzvf Python-3.7.2.tgz 3.进入解压的文件 cd Python-3.7.2 ......
在docker安装Python环境提供给其他docker使用
1. 在宿主机新建一个目录 2. 在app目录下新建一个Dockerfile文件 本文永久更新地址: 1. 在宿主机新建一个目录 在宿主机上新建一个目录如app/，在app目录里面导入项目需要依赖的包 在项目根目录下输入命令，导出python项目所有的依赖包 pip freeze > require ......
python爬取股票数据
import json import os import requests import time def save_data(data, date): if not os.path.exists(r'stock_data_%s.csv' % date): with open("stock_data ......
设置jupyter notebook的python environment
(base)$ conda install nb_conda_kernels (base)$ conda create --name new-env (base)$ conda activate new-env (new-env)$ conda install ipykernel (base)$ c ......
Python json基本使用json.dumps() 和json.loads()
Python中 json的基本使用 json.dumps() 和json.loads() JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式，它是JavaScript的子集，易于人阅读和编写。 Json最广泛的应用是作为AJAX中web服务器和客户端的通讯的 ......
python - html转pdf
1. 安装pdfkit pip3 install pdfkit 2. 安装wkhtmltopdf 下载wkhtmltopdf安装包 https://wkhtmltopdf.org/downloads.html 安装后在系统Path添加wkhtmltopdf的bin路径 3. 简单使用 将本地html ......
Python script get date and time All In One
Python script get date and time All In One
Python shell script print current datetime to log file
......
十二载征程犹未止，看今朝星光尽闪耀丨万字长文回顾2023数据技术嘉年华
4月8日下午，为期两天的第十二届数据技术嘉年华（DTC 2023）在北京新云南皇冠假日酒店圆满落下帷幕。群贤毕至、俊采星驰，本文细数主论坛与12场分论坛的68场主题演讲内容，并附上大会PPT下载合辑，欢迎查阅。 ......
mysql插入数据如果存在则忽略
经常有一种场景，某类数据只能在一张表中存在一条，我们会创建唯一索引进行约束，但是如果重复插入就报错了，所以开发上一版都会先查一次然后再insert。 mysql有个简单的写法，基于已经创建的索引，如果存在的话，那么就忽略这条记录的插入。 不废话了，上代码吧。 create table userabc ......
使用MySql8.0+项目无法连接数据库问题
MySql连接字符串:==jdbc:mysql://localhost:3306/ssmbuild?useSSL=true&useUnicode=true&characterEncoding=utf8&serverTimezone=Asia/Shanghai== 注意这里的useSSL为true: ......
java项目 学生成绩管理系统 (源码+数据库文件)
需要的私信我 备注来意：项目名称 来了就点个赞再走呗，即将毕业的兄弟有福了 文章底部获取源码 java项目 学生成绩管理 (源码+数据库文件)技术框架:java+springboot+vue+mysql后端框 系统共分为三种用户 系统主要功能：系统设计三个角色，学生端，教师端，系统管理员端 一、 ......
windows环境下python3安装Crypto
pycrypto、pycrytodome和crypto是一个东西，crypto在python上面的名字是pycrypto，它是一个第三方库，但是已经停止更新三年了，所以不建议安装这个库；这个时候pycryptodome就来了，它是pycrypto的延伸版本，用法和pycrypto是一模一样的；所以， ......
第十篇 手写原理代码 - 简单实现数据双向绑定 - 【 v-model 】
数据的双向绑定是一种设计模式，可以将一个数据模型（Model）和视图组件（View）之间的数据同步自动化。在该设计模式中，当视图层的某个数据发生变化时，它会自动更新数据模型，而当数据模型的某个数据发生变化时，它也会自动更新视图层，从而保持数据和视图之间的同步。 在实现数据的双向绑定时，我们通常使用的 ......
Angular可视化指南 - 用Kendo UI图表组件创建数据可视化
Kendo UI for Angular是专业级的Angular UI组件库，不仅是将其他供应商提供的现有组件封装起来，telerik致力于提供纯粹高性能的Angular UI组件，而无需任何jQuery依赖关系。无论您是使用TypeScript还是JavaScript开发Angular应用程序，K ......
linux安装两个python版本
1.下载python3安装包 wget https://www.python.org/ftp/python/3.7.2/Python-3.7.2.tgz 2.解压python的tgz压缩包文件 tar -xzvf Python-3.7.2.tgz 3.进入解压的文件 cd Python-3.7.2 ......
jmeter数据库连接6
1，准备资料 1. 一个可用的数据库 2.连接数据库需要的驱动 2,jmeter连接数据库 3，发送插入语句请求 4，发送查询语句请求 5，发送删除语句请求 6,对数据库进行压测 本文永久更新地址: 1，准备资料 1. 一个可用的数据库 搭建一个mysql8.0的数据库环境，并设置数据库可以远程访问 ......
python 迭代器，生成器和装饰器
1）可迭代对象包含迭代器 2）如果一个对象拥有__iter_方法，其是可迭代对象；如果一个对象拥有__next__方法，其就是迭代器 3）定义可迭代对象，必须实现__iter__方法；定义迭代器，必须实现__iter__方法和__next__方法 Python函数的定义体中有yield关键字，该函数 ......
Python中tqdm模块进度条
tqdm模块简单介绍 tqdm是一个可以显示Python进度条的模块，可通过pip在终端安装 pip install tqdm tqdm.tqdm from tqdm import tqdm for i in tqdm(range(1, 5)): print(i) 或传入字符串list: from ......
在django中自动删除超过10天的数据
需求：比如过期10天的产品自动删除记录 posting_date = models.DateTimeField(auto_now_add=True) # purge_old_data.py from django.core.management.base import BaseCommand, Co ......
初识 Python 网络请求库 urllib
urllib 是 Python 自带的网络请求标准库，包含了多个处理 URL 功能的模块。 urllib.request 用于请求和读取 URL『包含网页认证、重定向、cookies 等等』，可以方便的获取 URL 内容。 urllib.error 用于 urlib.request 的异常处理。 u ......
python dict, list 转字符串
在Python中，可以直接使用 内置函数 str()，将字典/列表 转换为 json 字符串 dicta = {"name":"henry","age":32} lista = ["aa","bb","cc","dd"] listb = [1,2,3,4,5,6,7,100,200,30,40] a ......
okio中数据存储的基本单位Segment
1、Segment是Buffer缓冲区存储数据的基本单位，每个Segment能存储的最大字节是8192也就是8k的数据 /** The size of all segments in bytes. */ static final int SIZE = 8192; 2、SHARE_MINIMUM是用来 ......
Python爬虫之循环爬取多个网页
之前的文中介绍了如何获取给定网址的网页信息，并解析其中的内容。本篇将更进一步，根据给定网址获取并解析给定网址及其相关联网址中的内容。要实现这些功能，我们需要解决以下问题： 1、如何持续不断的获取 url，并读取相关内容。 2、如何判断网址是否已经读取过。 文中用到的代码均已上传到 github，在这 ......
nodejs连接mysql数据库
https://www.cnblogs.com/hechunfeng/p/17308654.html 这个是安装数据库 1.我们先建一个表和插入一下字段，这些都是自己弄的 2. 安装 npm install mysql const {createPool} =require('mysql'); co ......
Python json 读取 json 文件并转为 dict
创建一个test.json的文件 { "test": "测试\n换行", "dict": { "list": [0, "str\""], "num": 0 } } json 格式编写： json 格式大致以 python 的 dict {} 格式来编写即可，只是要注意字符串不能用单引号' '，一定要 ......
为什么 Python 如此受欢迎？
导读 自 20 世纪 90 年代初诞生至今，Python 编程语言已有 30 多年的历史，且依旧保持着流行趋势。GitHub 2022 年度 Octoverse 报告曾指出，Python 仍然是使用第二多的编程语言，使用量同比增长超过 22%；在 2022 年的某个时候，GitHub 上有超过 40 ......