脚本 环境python django

解密 parquet 文件,以及如何用 Python 去处理它

楔子 随着大数据时代的发展,每天都要产生大量的数据,而存储这些数据不仅需要更多的机器,怎么存也是一个问题。因为数据不是存起来就完事了,我们还要对数据进行分析、统计,所以一个合理的数据格式也是非常重要的。 而随着数据种类的不同,我们也会选择不同的格式去存储。 数据种类 数据一般可以分为三种:非结构化数 ......
parquet 文件 Python

redis里使用lua脚本对hash里的数据进行排序

注意:本脚本只适用于数据量较少的集合进行排序,数据量太大会严重影响redis的性能。 local t = redis.call('hgetall', KEYS[1]); local arr = {}; for i, v in pairs(t) do if i % 2 == 0 then local ......
脚本 数据 redis hash lua

Shell 脚本

Shell 脚本 Shell 编程跟 JavaScript、php 编程一样,只要有一个能编写的文本编辑器和一个能解释执行的脚本解释器就可以。 Bash 是大多数 Linux 系统默认的 Shell 一般情况下,不区分 Bourne Shell 和 Bourne Again Shell 所以,像 # ......
脚本 Shell

PHP cli模式执行脚本 -- 通过getopt()接收参数

学习记录 留作参考 祝君好运 用于执行Linux定时任务的PHP文件,通过接收不同参数实现不同功能。 使用cli模式执行一些操作 PHP用于定时任务的代码 使用 getopt() 获取命令行参数 short_options 注意: 使用: 使用cli模式执行一些操作 PHP官方文档:执行PHP文件 ......
脚本 参数 模式 getopt PHP

一次性讲清楚django缓存

django缓存 基于内存的缓存: #在这个例子中,Memcached 运行在 localhost(127.0.0.1)端口 11211,使用 绑定:pymemcache ` CACHES = { # 'default': { # 'BACKEND':'django.core.cache.backe ......
缓存 一次性 django

Django——视图

Django的视图(View) 一个视图函数(类),简称视图,是一个简单的Python 函数(类),它接受Web请求并且返回Web响应。 响应可以是一张网页的HTML内容,一个重定向,一个404错误,一个XML文档,或者一张图片。 将视图放置在项目(project)或应用程序(app)目录中的名为v ......
视图 Django

django创建应用

在manage.py所在的目录下,运行以下命令 python3 manage.py startapp polls 目录结构: 一、编写第一个视图 打开polls/views.py,输入以下代码 from django.urls import path from . import views urlp ......
django

Python request封装cookie

import requests import hashlib import logging logging.basicConfig(level=logging.DEBUG,format="%(asctime)s %(levelname)s %(message)s") class API: def _ ......
request Python cookie

自学Python爬虫笔记(day6)

环境python3.9版本及以上,开发工具pycharm XPath解析: XPath是一门在XML文档中查找信息的语言,XPath可以用来在XML文档中对元素和属性进行遍历,而我们熟知的HTML恰巧属于XML中的一个子集,所以完全可以用XPath去查找html中的内容。 首先看: <book> < ......
爬虫 笔记 Python day6 day

python3控制结构

1、介绍 控制结构一般为: 顺序结构,默认的从前到后执行顺序执行即是 条件结构,if结构,python没有switch结构 循环结构,while和for结构,以及迭代器,python不存在do while结构 2、if结构 if 条件判断: pass elif 条件判断: pass else: pa ......
python3 结构 python

DolphinDB +Python Airflow 高效实现数据清洗

DolphinDB 作为一款高性能时序数据库,其在实际生产环境中常有数据的清洗、装换以及加载等需求,而对于该如何结构化管理好 ETL 作业,Airflow 提供了一种很好的思路。本篇教程为生产环境中 ETL 实践需求提供了一个解决方案,将 Python Airflow 引入到 DolphinDB 的 ......
DolphinDB Airflow 数据 Python

大道至简:Python奇技淫巧记录 | 语法糖分析

0. 内置函数 enumerate 偶然看到别人题解中 for i, item in enumerate(arr)的写法,非常方便。 在需要获取元素index而又不关心数组长度情况下,推荐这种写法,节省了两行代码! 否则: n = len(arr) for i in range(n): item = ......
奇技淫巧 语法 大道 Python

功能不够用?使用C++编写通达信插件及接入Python(一)

第一次尝试,参照:http://www.xiaoyunyun.net/index.php/archives/53.html 和 https://blog.csdn.net/wiowei/article/details/121466094 在绑定DLL环节失败了 第二次尝试:参照:https://zh ......
插件 不够 功能 Python

ubuntu安装python开发环境

一般ubuntu是自带python的,不需要安装。这里主要讲,更新pip,设置镜像源,配置虚拟环境,为后续开发做准备。 一、更新pip pip3 config list 如果报没有 config 命令,说明pip版本不够高。 apt install python3-pip 这里可以重新安装pip, ......
环境 ubuntu python

ubuntu容器的远程xface桌面环境搭建

一、container: ubuntu20.04 二、commands: apt install xfce4 tigervnc-standalone-server # xface使用gdm3启动器 service dbus start vncpasswd vim ~/.vnc/xstartup #! ......
容器 桌面 环境 ubuntu xface

django入门学习

一、创建项目 django-admin startproject test1 查看项目目录结构 cd test1 tree test1: 项目的容器。 manage.py: 一个实用的命令行工具,可让你以各种方式与该 Django 项目进行交互。 test1/__init__.py: 一个空文件,告 ......
django

列举说明Python同Java及C++的不同之处

首先是C++C++是在C语言的基础上发展起来的,他包含了C语言的所有内容。同时,也引入了面向对象的概念。优点:1、他包含了C语言的内容,包括指针,使得C++在执行效率上特别的高效。2、引入面向对象的概念,使得开发效率提高。3、提供了很多的库,具有较好的封装性和移植性(代码)。缺点:1、C++比较难学 ......
Python Java

对比Python中的列表、元组、字典、集合、字符串等之间异同

1.数据类型列表、元组、字典、集合、字符串均属于python3的标准数据类型。字符串和元组属于不可变数据,即创建后不可修改。列表、字典、集合属于可变数据,即创建后可以修改元素。2.创建有元素的对象3.创建没有元素的对象列表使用eval()或list()或中括号[]进行创建,元素之间使用逗号分隔。若不 ......
异同 字符串 字典 字符 之间

python3运算符

1、介绍 python支持多种运算符,可以分为:算术运算符、比较运算符、赋值运算符、逻辑运算符、位运算符和其他运算符 2、算术运算符 bool类型参与算术运算时,True相当于1,False相当于0 (1)+ +可以表示加法运算,前后两个操作数必须是number类型,可以是不一致的,比如1+True ......
运算符 python3 python

python + QXDM5高通平台通过自动化截取log方法及代码

转自python + QXDM5高通平台通过自动化截取log方法及代码 准备工作: 1.安装QXDM5 2.配置adb 环境变量 3.使用python 3以上 4.完成代码如下 1 import sys 2 import time 3 import os 4 5 if sys.platform.st ......
代码 方法 python QXDM5 平台

window10安装python开发环境

一、下载安装python 二、下载安装pychram 三、pychram激活 一、下载安装python 1. 下载python python官网是 https://www.python.org/ 移动鼠标到downloads,然后点击windows,就可以看到关于windows的相关安装版本。 左边 ......
环境 window python 10

python 之 session鉴权的处理

一、session鉴权的处理 1. requests的会话对象 就像一个浏览器一样,它会在同一个会话中自动处理cookie信息,不需要写任何额外的代码。 import requests session = requests.Session() # 理解为就是一个浏览器 type(session) r ......
session python

Python实现简易勒索病毒

一、勒索病毒 简单来说,勒索病毒就是通过加密受害者电脑的本地数据,向受害者勒索赎金的恶意软件。加密勒索软件的核心是加密算法,我自己实现的勒索病毒使用的就是安全度高破解难度大的RSA加密算法。RSA是一种非对称公钥加密算法,依赖于大质数分解难题,通过公钥无法轻易破解私钥。此demo的核心思想就是在攻击 ......
简易 病毒 Python

git 环境搭建和常用命令汇总

Git软件安装与版本查看 首先到Git官网下载安装包:https://git-scm.com/download,默认安装即可 配置环境变量。 git版本查看: Windows:cmd中输入:git --version Mac:终端输入命令:git --version Git个人账户配置 先到gith ......
命令 常用 环境 git

python3数据类型

1、介绍 python是解释型语言,变量不声明类型,而是由赋值进行确定,比如=之后的字面量或类型,或者形参接收的实参。 每个变量在使用前都必须赋值,变量赋值以后该变量才会被创建。 2、标准数据类型 包括数值number(int、float、bool、comlex)、字符串str、元组tuple、列表 ......
python3 类型 数据 python

Python实现采集某二手房源数据并做数据可视化展示

import csv 环境介绍: Python 3.8 Pycharm 模块使用: requests >>> pip install requests 数据请求模块 parsel >>> pip install parsel 数据解析模块 csv 内置模块 实现爬虫思路: 明确需求<采集目标网站、需 ......
数据 二手房源 房源 Python

关于CodeSys V3.5 SPX如何使用高版本打包低版本环境静态编译库说明

之所以需要使用高版本对低版本库进行打包,是因为在实际的使用中发现CodeSysV3.5的低版本虽然支持导入*.compiled-library库,但打包并不方便。 以SP5为例,在实际使用过程中发现SP5的文件保存类型不支持.library; 这里在另存时可将文件后缀手动改为.library 在保存 ......
版本 静态 CodeSys 环境 SPX

python pandas读stata

import pandas as pd a="D:\\statashu\\2\\1xx.dta" df = pd.read_stata(a) for index,row in df.iterrows(): print(row["id"]) ......
python pandas stata

macos shangflask tradingview python环境安装

1.Homebrew 4.0后更新报错问题 原文参考 brew update Failed to download https://formulae.brew.sh/api/formula.jws.json! Homebrew 4.0进行了一项最大的改动,组织方式从Git仓库管理改为JSON文件下载 ......
tradingview shangflask 环境 python macos

【Python】pandas 将某列相同值作为index, 整合数据

pd.pivot_table # df valueUpdateTime factorName value 0 2023-03-28 08:00:18.532805 风向 147.69 1 2023-03-28 08:00:18.532805 气压 101.71 2 2023-03-28 08:00: ......
数据 Python pandas index