中间件 框架django 15.0
第3章 使用中间件管道处理请求（ASP.NET Core in Action, 2nd Edition）
本章包括 什么是中间件 使用中间件服务静态文件 使用中间件添加功能 组合中间件以形成管道 使用中间件处理异常和错误 在上一章中，您对完整的ASP.NET Core应用程序进行了一次短暂的参观，以了解组件如何结合在一起创建web应用程序。在本章中，我们将重点关注一个小部分：中间件管道。 在ASP.NE ......
智能爬虫框架
爬虫应用的广泛，例如搜索引擎、采集数据、广告过滤、数据分析等。当我们对少数网站内容进行爬取时写多个爬虫还是有可能的，但是对于需要爬取多个网站内容的项目来说是不可能编写多个爬虫的，这个时候我们就需要智能爬虫。 智能爬虫目前有三种： 基于网页内容的爬虫 当网页含有大量需要提取的信息时，我们就需要用到基于 ......
django中使用websocket
简述： 简述：django实现websocket，之前django-websocket退出到3.0之后，被废弃。官方推荐大家使用channels。 channels通过升级http协议 升级到websocket协议。保证实时通讯。也就是说，我们完全可以用channels实现我们的即时通讯。而不是使用 ......
分布式计算技术（上）：经典计算框架MapReduce、Spark 解析
当一个计算任务过于复杂不能被一台服务器独立完成的时候，我们就需要分布式计算。分布式计算技术将一个大型任务切分为多个更小的任务，用多台计算机通过网络组装起来后，将每个小任务交给一些服务器来独立完成，最终完成这个复杂的计算任务。本篇我们介绍两个经典的计算框架MapReduce和Spark。 — MapR ......
django中批量导入功能（excel）
当我们想要通过excel来实现批量导入时，有一种方式： 1.需要创建的对象 data_dict = {}# 多个data_dict 2.将每一个要创建的对象加入到 一个列表当中 data = [] data.append(data_dict) 3.通过事务进行创建 with transaction. ......
Go 语言体系下的微服务框架选型: Dubbo-go
本文介绍了Go 微服务体系发展与选型，过去一年Dubbo-go 社区的飞速发展以及对未来的展望。 一、Go 微服务体系发展与选型 随着微服务技术的快速发展，其在各个领域都形成了一系列事实标准，在 Kubernetes 和容器技术加持下，云原生微服务已经成为了主流解决方案。而 Go 语言作为云原生领域 ......
gin框架路由router
前言： gin框架中采用的路由库是基于httprouter做的 正文： 需要安装postman 发送请求 各种请求方法： GET(string, ...HandlerFunc) POST(string, ...HandlerFunc) DELETE(string, ...HandlerFunc) P ......
gin框架介绍及安装
前言： Gin 是一个用 Go (Golang) 编写的 web 框架。封装比较优雅，API友好，源码注释比较明确，具有快速灵活，容错方便等特点，它是一个类似于 martini 但拥有更好性能的 API 框架, 由于 httprouter，速度提高了近 40 倍。 借助框架开发，不仅可以省去很多常用 ......
Taro架构构析(1)：多端框架分析，Taro WePY uni-app对比
像Qt 和 Flutter 从底层的渲染引擎 布局引擎 中层的 DSL，再到上层的框架全部由自己开发 ，研发成本巨大。React Native 和 Weex 没有渲染引擎，渲染的一致性无法保证。JS 和 Native 之间需要通信延迟等。Taro WePY uni-app抹平小程序之间 ......
django中migrate后重建库生成表失败？！
如题，吓死我了 虚拟环境里开了两个项目，终端migrate的时候弄错了，结果一直在生成另一个没有变化的库... 我还以为是出了什么问题，删了原先的要建表库重新建了一遍。 结果再自动生成的时候重新建的表一直没反应，给我吓坏了。还以为是我的sql出问题了，跑去C盘没找到mysql目录吓得我满头大汗（其实 ......
Django笔记二十之手动编写migration文件
本文首发于公众号：Hunter后端 原文链接：Django笔记二十之手动编写migration文件 前面介绍过，migration 文件主要记录的是 Django 系统 model 的变化，然后通过 migrate 命令将变化适配到数据库中。 比如在某个 application 下新增了某张表，或者 ......
ASP.NET Core如何知道一个请求执行了哪些中间件？
第一步，添加Nuget包引用 需要添加两个Nuget包分别是：Microsoft.AspNetCore.MiddlewareAnalysis和Microsoft.Extensions.DiagnosticAdapter，前者是分析记录中间件核心代码实现后者是用来接收日志输出的，由于是用的Diagno ......
爬虫最后一天,爬取到的数据存到mysql中，爬虫和下载中间件、加代理、cookie、header、selenium、随机生成uersagent、去重规则源码分析(布隆过滤器)、scrapy-redis实现分布式爬虫、扩展去重规则
==爬到的数据存到mysql中== class FirstscrapyMySqlPipeline: def open_spider(self, spider): print('我开了') self.conn = pymysql.connect( user='root', password="", h ......
Ubuntu搭建Django开发环境
apt update apt-get -y upgrade apt-get update --fix-missing apt-get -y install python-pip pip install virtualenv ip a --> 92.168.10.128 1: lo: <LOOPBAC ......
Django笔记十九之manager用法介绍
本文首发于微信公众号：Hunter后端 原文链接：Django笔记十九之manager用法介绍 首先介绍一下 manager 的使用场景，比如我们有一些表级别的，需要重复使用的功能，都可以使用 manager 来实现。 比如我们在前面的笔记中介绍的 model 的 create()、update() ......
14.ProxySQL中间件01
Proxysql是基于mysql的一款开源的中间件的产品，是一个灵活的Mysql代理层，可以实现读写分离，支持Query路由功能，支持动态指定某个sql进行缓存，支持动态加载配置信息(无须重启proxysql服务)，支持故障切换和sql的过滤功能。 相关的网站: https://www.proxys ......
scrapy爬虫框架（七）Extension的使用
一、简介 Scrapy提供了一个Extension机制，可以让我们添加和扩展一些自定义的功能。利用Extension我们可以注册一些处理方法并监听Scrapy运行过程中的各个信号，做到发生某个事件时执行我们自定义的方法。 Scrapy已经内置了一些Extension，如LogStats这个Exten ......
Django基础 - 05Model模型之CRUD
一、模型类的objects 1.1 objects字段 默认情况下， 由创建模型类的元类在模型类中创建一个 django.db.models.Manager类的对象， 赋给objects。 Manager类实际是QuerySet类的子类。 class CategoryEntity(models.Mo ......
Django基础 - 04Model模型之字段类型与元数据
Model(模型)： 用来与数据做交互(读取和写入数据) ORM: 对象关系映射 Object Relational Mapping; Python中的Model对象和数据库的表做映射 一、 字段类型 1.1 字段类型介绍 CharField IntegerField 数值类型； choice：枚举 ......
报错：django.core.management.base.SystemCheckError: SystemCheckError: System check identified some issues
这个错误是指在运行 Django 时系统检查发现了一些问题。通常这些问题涉及到模型定义、数据库设置或其他配置方面的错误 这个错误可能是由于模型定义中的字段关系导致的。具体来说，可能是模型中的两个字段拥有相同的 related_name，导致 Django 找不到正确的字段引用 解决这个问题的方法是使 ......
ES搜索框架--设置IK分词器
ES的默认中文分词效果太差了，稍微长一点的词句就完全匹配不到，于是选择使用安装IK中文分词器来实现索引的分词。参考：https://blog.csdn.net/w1014074794/article/details/119762827https://www.bbsmax.com/A/6pdDqDaX ......
Flask框架
Flask 1.flask和python web框架介绍 python web框架介绍 本质一样，只要是web框架都会有请求对象和响应对象（会有路由、视图函数等东西） django：大而全，有很多内置和第三方的app让我们使用【主流】 flask：小而精，没有那么多内置组件，只完成基本的web框架功 ......
Flask框架 之Flask-session
flask-session是flask框架的session组件，由于原来flask内置session使用签名cookie保存，该组件则将支持session保存到多个地方 一、filesystem from flask import Flask, session from flask_session ......
ES搜索框架--Windows下简单使用ES框架
前面讲述了什么是ES框架和为什么要用ES框架进行检索，现在开始尝试在windows下安装并简单使用ES框架参考：官方文档中文版，英文版linux下部署：https://www.elastic.co/guide/en/elasticsearch/reference/6.0/_installation. ......
ES搜索框架--基本原理
一、基本原理参考博客（非常详细）：https://blog.csdn.net/weixin_43111776/article/details/124952148我们先来看看MySQL中的索引，在MySQL关系表中，每一行数据都有一个主键，我们在查询数据的时候会先找到数据的主键，再根据主键去找到整行数 ......
ES搜索框架--ES部署到Centos8服务器
参考：https://blog.csdn.net/Me_xuan/article/details/114608076https://www.cnblogs.com/chenxitag/p/12320868.html一、下载安装1.下载ES使用elasticsearch7.10.2，到官网下载对应的l ......
.net core 自定义规范响应的中间件
在本文中，我们将介绍如何使用 .NET Core 中的中间件来自定义规范响应，以便在 API 调用时返回统一的格式和错误信息。中间件是一种可以在请求和响应管道中执行逻辑的软件组件，它可以对请求或响应进行修改、拦截或处理。我们将使用一个简单的示例来演示如何创建和使用自定义规范响应的中间件。 首先，我们 ......
.NET 6版本中间件的使用
.NET 6版本中间件的使用 中间件是一种处理HTTP请求和响应的可重用组件，通常用于添加处理逻辑或修改请求和响应。本文将演示如何创建.NET 6版本的中间件。 创建中间件 让我们从创建一个简单的中间件类开始。我们将打印请求的URL，然后调用下一个中间件： public class MyMiddle ......
django model ForeignKey ，解决外键字段增加_id 的问题
例如： 主表-模型： Author ：id,name 副表-模型 ： Book ：id,author（ForeignKey：Author）,name 1.数据库字段增加_id的问题，网上有很多教程，可以使用 db_column ='your name' 2.当Book查询中,使用filter,all ......