elasticsearch docker python
Python面向对象（上）
Python面向对象（上） python是一门面向对象的编程语言。何为对象？对象是类的实例。在生活中，任何一个事物都是一个对象，如牡丹花。牡丹花的类是花类，同样属于花类的还有荷花、月季花、金银花、菊花、梅花、兰花等，它们都是花科，但是每一朵花都有不同的枝叶，不同的色彩，不同的长相。这就是花类的各个属 ......
python数据分析与可视化【思维导图】
python数据分析与可视化常用库 numpy+matplotlib+pandas 思维导图 图中难免有错误，后期随着学习与应用的深入，会不断修改更新。 当前版本号：1.0 numpy介绍 NumPy 是什么？ NumPy是使用Python进行科学计算的基础软件包。除其他外，它包括： 功能强大的N维 ......
为什么要虚拟化，为什么要容器，为什么要Docker，为什么要K8S？
如标题中的问题所提到的虚拟化，容器，Docker和K8s那样，我们不妨这样问：这些技术到底适用于哪些场景，有没有别的技术可以替代？这些技术的优劣在哪里？ ......
Curve 文件存储在 Elasticsearch 冷热数据存储中的应用实践
Elasticsearch在生产环境中有广泛的应用，本文介绍一种方法，基于网易数帆开源的Curve文件存储，实现Elasticsearch存储成本、性能、容量和运维方面的显著提升。 ES 使用 CurveFS 的四大收益 1.CurveFS提供的成本优势 为了高可靠，ES如果使用本地盘的话一般会使用 ......
docker搭建Elasticsearch、Kibana、Logstash 同步mysql数据到ES
一、前言 在数据量大的企业级实践中，Elasticsearch显得非常常见，特别是数据表超过千万级后，无论怎么优化，还是有点力不从心！使用中，最首先的问题就是怎么把千万级数据同步到Elasticsearch中，在一些开源框架中知道了，有专门进行同步的！那就是Logstash 。在思考，同步完怎么查看 ......
elasticsearch之单请求多查询
一、需要解决的问题 有的时候我们需要同时执行多个查询，并且需要得到每个单独查询的搜索结果，elasticsearch提供了multi search此需求的支持； 二、elasticsearch multi search简介 elasticsearch提供了multi search api来支持一个请 ......
三台服务器使用docker搭建redis一主二从三哨兵，概念-搭建-整合springboot
一、前言 redis在我们企业级开发中是很常见的，但是单个redis不能保证我们的稳定使用，所以我们要建立一个集群。 redis有两种高可用的方案： High availability with Redis Sentinel（哨兵） Scaling with Redis Cluster（分片集群） ......
Python 面向对象
Python 面向对象 方法没有重载 在其他语言中，可以定义多个重名的方法，只要保证方法签名唯一即可。方法签名包含3个部分：方法名、参数数量、参数类型。 Python 中，方法的的参数没有声明类型（调用时确定参数的类型），参数的数量也可以由 可变参数控制。因此，Python 中是没有方法的重载的。定 ......
python 异常处理
python 异常处理 异常机制本质 异常是指程序运行过程中出现的非正常现象，例如用户输入错误、除数为零、需要处理的文件不存在等 所谓异常处理，就是指程序再出现问题时依然可以正确的执行剩余的程序，而不会因为异常而终止程序的运行 python 中，引进了很多用来描述和处理异常的类，称为异常类。异常类定 ......
python模块(module)
模块化(module)程序设计理念 模块和包概念的进化史 “量变引起质变”是哲学中一个重要的理论。量变为什么会引起质变呢？本质上理解，随着数量的增加，管理方式会发生本质的变化；旧的管理方式完全不适合，必须采用新的管理方式。 程序越来越复杂，语句多了，怎么管理？很自然的，我们会将实现同一个功能的语句封 ......
Python函数用法和底层分析
Python函数用法和底层分析 函数是可重用的程序代码块。函数的作用，不仅可以实现代码的复用，更能实现代码的一致性。一致性指的是，只要修改函数的代码，则所有调用该函数的地方都能得到体现。 在编写函数时，函数体中的代码写法和我们前面讲述的基本一致，只是对代码实现了封装，并增加了函数调用、传递参数、返回 ......
旧酒换新瓶,新版M1/M2芯片Macos(Ventura)安装古早版本Python2.7(Python2.x)
向下兼容特性是软件开发系统的一个重要指标，它是指一个新的系统或者软件能够与旧的系统或软件兼容并正常运行。这意味着旧系统或软件可以在新系统或软件中使用，而不会出现问题。向下兼容对于提高软件或系统的可用性非常重要，因为它允许用户在不更换旧系统或软件的情况下使用新系统或软件。 我们知道MacOS系统从Mo ......
Generator(生成器),入门初基,Coroutine(原生协程),登峰造极,Python3.10并发异步编程async底层实现
普遍意义上讲，生成器是一种特殊的迭代器，它可以在执行过程中暂停并在恢复执行时保留它的状态。而协程，则可以让一个函数在执行过程中暂停并在恢复执行时保留它的状态，在Python3.10中，原生协程的实现手段，就是生成器，或者说的更具体一些：协程就是一种特殊的生成器，而生成器，就是协程的入门心法。 协程底 ......
乾坤大挪移,如何将同步阻塞(sync)三方库包转换为异步非阻塞(async)模式？Python3.10实现。
众所周知，异步并发编程可以帮助程序更好地处理阻塞操作，比如网络 IO 操作或文件 IO 操作，避免因等待这些操作完成而导致程序卡住的情况。云存储文件传输场景正好包含网络 IO 操作和文件 IO 操作，比如业内相对著名的七牛云存储，官方sdk的默认阻塞传输模式虽然差强人意，但未免有些循规蹈矩，不够锐意 ......
含辞未吐,声若幽兰,史上最强免费人工智能AI语音合成TTS服务微软Azure(Python3.10接入)
所谓文无第一，武无第二，云原生人工智能技术目前呈现三足鼎立的态势，微软，谷歌以及亚马逊三大巨头各擅胜场，不分伯仲，但目前微软Azure平台不仅仅只是一个PaaS平台，相比AWS，以及GAE，它应该是目前提供云计算人工智能服务最全面的一个平台，尤其是语音合成领域，论AI语音的平顺、自然以及拟真性，无平 ......
prometheus-监控docker服务器
1. prometheus-监控docker服务器 prometheus-监控docker服务器 cAdvisor（Container Advisor）：用于收集正在运行的容器资源使用和性能信息。 项目地址：https://github.com/google/cadvisor docker部署cAd ......
Centos下部署最后一版支持Docker的k8s集群
部署版本 首先要确定部署的版本 查询Kubernetes对Docker支持的情况 kubernetes/dependencies.yaml at master · kubernetes/kubernetes (github.com) 查询Kubernetes Dashboard对Kubernetes ......
交互式仪表板！Python轻松完成！⛵
本文使用 Kaggle 数据集创建了一个Demo，演示如何使用 Python 调用 ipywidget 模块，快速创建交互式仪表板。快用起来吧~ ......
如何使用ChatGPT来自动化Python任务
1.概述 最近，比较火热的ChatGPT很受欢迎。今天，笔者为大家来介绍一下ChatGPT能做哪些事情。 2.内容 ChatGPT是一款由OpenAI开发的专门从事对话的AI聊天机器人。它的目标是让AI系统更加自然的与之交互，但它也可以在我们编写代码的时候提供一些帮助。 2.1 使用ChatGPT来 ......
数值计算：前向和反向自动微分（Python实现）
自动微分技术（称为“automatic differentiation, autodiff”）是介于符号微分和数值微分的一种技术，它是在计算效率和计算精度之间的一种折衷。自动微分不受任何离散化算法误差的约束，它充分利用了微分的链式法则和其他关于导数的性质来准确地计算它们。我们可以选择定义一种新的数据... ......
SICP：符号求导、集合表示和Huffman树（Python实现）
到目前为止，我们已经使用过的所有复合数据，最终都是从数值出发构造起来的（比如我们在上一篇博客所介绍的链表和树就基于数来进行层次化构造）。在这一节里，我们要扩充所用语言的表达能力，引进将任意符号作为数据的功能。本节内容包括符号求导、如何设计集合的表示和Huffman编码树。 ......
从一道CTF题学习python字节码到源码逆向
概述： 该题来源为2022爱春秋冬季赛ezpython，难度不是很大刚好适合我这样的萌新入门 题目： 3 0 LOAD_CONST 1 (204) 3 LOAD_CONST 2 (141) 6 LOAD_CONST 3 (44) 9 LOAD_CONST 4 (236) 12 LOAD_CONST ......
Python Kconfiglib初次学习
1 参考 kconfiglib库官方介绍：kconfiglib · PyPI Kconfiglib源码：GitHub - ulfalizer/Kconfiglib: A flexible Python 2/3 Kconfig implementation and library Kconfig语法： ......
Python AI小项目打包通关：Pyinstaller和Wix都用上了
最近有个Python小项目要打个包，项目结构比较简单 main.py（主文件）, 以及model_050.hdf5 (在云端训练好的AI模型） 主函数里引用了一些包，如下 需要解决的问题： 将main.py和model_050.hdf5打包到一个exe文件中，这样模型不会容易被别人拷贝走 将这些依赖 ......
【爬虫+数据分析+数据可视化】python数据分析全流程《2021胡润百富榜》榜单数据！
用python爬取并分析《2021胡润百富榜》的榜单数据！
1、python爬虫讲解（requests向接口请求）。
2、python数据分析讲解（pandas数据分析及可视化画图）含：直方图、柱形图、饼图、词云图等。 ......
【JVM故障问题排查心得】「内存诊断系列」Xmx和Xms的大小是小于Docker容器以及Pod的大小的，为啥还是会出现OOMKilled？
为什么我设置的大小关系没有错，还会OOMKilled？ 这种问题常发生在JDK8u131或者JDK9版本之后所出现在容器中运行JVM的问题：在大多数情况下，JVM将一般默认会采用宿主机Node节点的内存为Native VM空间（其中包含了堆空间、直接内存空间以及栈空间），而并非是是容器的空间为标准。 ......
Python从入门到精通（第2版）——pyuic5: error: no such option: -m的问题解决
前言 在学习《Python从入门到精通（第2版）》的第15章 GUI界面编程——15.2.4 将.ui文件转换为.py文件时，按照书中步骤出错时的问题解决，希望对同样学习本书的同学有所帮助。 问题 问题出现 当跟着书15.2.4执行步骤（2）时PyCharm报错 错误提示：pyuic5: error ......
elasticsearch之metric聚合
1、背景 此篇文章简单的记录一下 elasticsearch的metric聚合操作。比如求 平均值、最大值、最小值、求和、总计、去重总计等。 2、准备数据 2.1 准备mapping PUT /index_person { "settings": { "number_of_shards": 1 }, ......
（四）elasticsearch 源码之索引流程分析
1.概览 前面我们讨论了es是如何启动，本文研究下es是如何索引文档的。 下面是启动流程图，我们按照流程图的顺序依次描述。 其中主要类的关系如下: 2. 索引流程 (primary) 我们用postman发送请求，创建一个文档 我们发送的是http请求，es也有一套http请求处理逻辑，和sprin ......
使用Prometheus监控docker compose方式部署的ES
需求 收集 ES 的指标, 并进行展示和告警; 现状 ES 通过 docker compose 安装 所在环境的 K8S 集群有 Prometheus 和 AlertManager 及 Grafana 方案 复用现有的监控体系, 通过: Prometheus 监控 ES. 具体实现为: 采集端 el ......