银行业 架构 银行 数据
26 结束语 | 一个架构师的一天
你好，我是李智慧。 时间过得真快，聊着聊着，这个专栏就到了尾声。恭喜你完成了这一阶段的学习，向架构师又迈进了一步！ 在这里，我想问你一个问题：学完这个专栏，除了架构知识以外，你对“架构师”这个角色有了哪些新的认知呢？毕竟这个专栏的Slogan就是“附身”大厂架构师，我还是非常希望能为你代入架构师视角 ......
23-2期中测试获奖用户名单及参考答案：通达系统架构设计
你好，我是李智慧。今天我们来公布一下期中测试的获奖用户名单和对应的答案。 我们期中测试的要求是写一个同城快送业务的系统架构设计文档，这个测试主要考察的目标包括：使用UML进行系统建模的能力，用文档表达设计思路的能力，完整思考一个系统整体架构的能力，以及识别设计落地关键技术问题及对策的能力。 在这里， ......
18 16 | 高可用架构的十种武器：怎么度量系统的可用性？
你好，我是李智慧。 互联网应用是面向一般大众的应用系统，他们可能会随时需要使用应用，那么应用就必须要保持随时可用，即所谓的$small 7times24$小时可用。但是互联网应用又可能会遇到硬件故障、软件故障、黑客攻击等等各种不可用的场景。 业界通常用多少个9来说明互联网应用的可用性。比如说淘宝的可 ......
24 22 | 大数据平台设计：如何用数据为用户创造价值？
特别说明：本文相关技术仅用于技术展示，具体实践中，数据收集和算法应用需要遵循国家个人信息保护法与信息安全法等有关法律制度。 你好，我是李智慧。 现在，业界普遍认为互联网创新已经进入下半场，依靠技术创新或者商业模式创新取得爆发性发展的机会越来越少。于是大家把目光转向精细化运营，主要手段就是依靠大数据技 ......
20 18 | 加解密服务平台：如何让敏感数据存储与传输更安全？
你好，我是李智慧。 在一个应用系统运行过程中，需要记录、传输很多数据，这些数据有的是非常敏感的，比如用户姓名、手机号码、密码、甚至信用卡号等等。这些数据如果直接存储在数据库，记录在日志中，或者在公网上传输的话，一旦发生数据泄露，不但可能会产生重大的经济损失，还可能会使公司陷入重大的公关与法律危机。公 ......
【IT老齐016】MySQL高可用MHA架构方案
【IT老齐016】MySQL高可用MHA架构方案 MHA是日本程序员yoshinorim开发的MySQL高可用方案 采用Perl语言开发 MHA是最成熟MySQL高可用方案 场景：主服务器挂了，从服务器不会切换到主服务器，从而引出高可用MHA方案 。 MHA故障发现与转移 故障发现 启动：前置检查 ......
3 12 | 高性能架构的三板斧：分析系统性能问题从哪里入手？
你好，我是李智慧。 我们在讨论高性能架构之前，需要先聊聊什么叫高性能，以及如何量化地测试系统的性能。在02讲中，我们讨论了一些和并发相关的指标。事实上，并发数正是系统性能的核心指标之一，因为高并发会引起系统资源短缺，来不及处理用户请求，就会导致系统性能下降。 除了系统并发数，一般说来，和系统性能相关 ......
8 07 | 海量数据处理技术回顾：为什么分布式会遇到 CAP 难题？
你好，我是李智慧。 在这个模块的几个案例中，我们都需要处理海量的数据，需要用到海量的存储介质，其实海量数据本质上就是一种磁盘资源敏感的高并发场景。 我们说过，为了应对资源不足的问题，我们常采用水平伸缩，即分布式的方案。数据存储的分布式问题是所有分布式技术中最具挑战性的，因为相对于“无状态”（stat ......
2 01 | 软件建模与文档：架构师怎样绘制系统架构蓝图？
你好，我是李智慧。 我在开篇词中说过，我们课程中的一系列软件架构设计是用设计文档的形式呈现的。所以，在拆解一个个案例之前，我们先来了解一些关于软件设计文档的基础知识，这样你在学习后面的具体案例时，就能更加清楚地理解文档是基于什么方式来组织的了。 首先，请你设想这样一个场景：如果公司安排你做架构师，要 ......
HiveServer2的架构
HiveServer2的架构 Hive 核心服务HiveServer2(HS2)的前世今生，最后提供代码实例 ......
李智慧 · 高并发架构实战课课程大纲
1 开篇词 | “附身”大厂架构师，身临其境设计高并发系统 2 01 | 软件建模与文档：架构师怎样绘制系统架构蓝图？ 3 02 | 高并发架构设计方法：面对高并发，怎么对症下药？ 5 04 | 网页爬虫设计：如何下载千亿级网页？ 6 05 | 网盘系统设计：万亿 GB 网盘如何实现秒传与限速？ 7 ......
3 02 | 高并发架构设计方法：面对高并发，怎么对症下药？
你好，我是李智慧。 我们知道，“高并发”是现在系统架构设计的核心关键词。一个架构师如果设计、开发的系统不支持高并发，那简直不好意思跟同行讨论。但事实上，在架构设计领域，高并发的历史非常短暂，这一架构特性是随着互联网，特别是移动互联网的发展才逐渐变得重要起来的。 现在有很多大型互联网应用系统，其用户是 ......
1 开篇词 | “附身”大厂架构师，身临其境设计高并发系统
你好，我是李智慧，目前担任同程旅行交通首席架构师。我曾在阿里巴巴和英特尔担任架构师，主要从事高并发系统架构和大数据相关产品的开发。我参与过alibaba.com和Apache Spark的架构设计与开发，也曾作为CTO领导团队经历了日订单从零到一百万的高并发技术挑战。 说来我也是你的老朋友了，因为我 ......
什么是数据科学（转载）
什么是数据科学？ 数据科学研究数据以提取对业务有意义的洞察。这是一种多学科的方法，可将数学、统计数据、人工智能以及计算机工程等领域的原则和实践结合起来，进而分析大量数据。此分析可帮助数据科学家提出和回答如下问题：发生了什么、为什么发生、将发生什么以及结果可以做什么。 数据科学为何如此重要？ 数据科学 ......
postgresql有进程链接数据时删除数据库
select pg_terminate_backend(pg_stat_activity.pid) from pg_stat_activity where datname = '数据库名称' and pid <> pg_backend_pid(); 命令解释：pg_terminate_backend ......
《asyncio 系列》5. 基于 asyncio + SQLAlchemy 并发请求数据库
楔子 上一篇文章探讨了使用 aiohttp 库发出非阻塞 Web 请求，还讨论了使用几种不同的异步 API 来同时运行这些请求。通过结合 asyncio API 和 aiohttp 库，可以同时运行多个耗时的 Web 请求，从而提高应用程序的运行速度。但我们上一章学到的概念不仅适用于 Web 请求， ......
一条SQL如何被MySQL架构中的各个组件操作执行的？
摘要：一条SQL如何被MySQL架构中的各个组件操作执行的，执行器做了什么？存储引擎做了什么？表关联查询是怎么在存储引擎和执行器被分步执行的？本文带你探探究竟！ 本文分享自华为云社区《一条SQL如何被MySQL架构中的各个组件操作执行的？》，作者：砖业洋__。 1. 单表查询SQL在MySQL架构中 ......
数据库基础问题？
数据库是指按照一定的数据结构对大量数据进行存储和管理的系统。数据库系统是一个软件系统，用来管理和组织数据。它可以让用户方便地访问和处理数据，从而提高数据的使用效率和准确性。 数据库系统的基础包括以下几个方面： 数据库设计：数据库设计是指根据业务需求和数据特点，设计出适合业务的数据库结构和数据模型。 ......
drony 配置 burp 抓取 指定 app 数据包
drony 配置 burp 抓取 指定 app 数据包 优势： 可以 抓取 指定 app 数据包 下载并安装到安卓手机上，繁体版 https://apps.evozi.com/apk-downloader/?id=org.sandroproxy.drony 打开Drony，并右滑至SETTING标签 ......
基于ChatGPT的文档知识库客服系统-支持上传网址/文本/docx等数据
现在，很多公司都有自己的内容知识库，会产生大量的碎片话的内部知识，但是这样内部知识难以整合搜索。 我开发的文档知识库客服系统 gofly.v1kf.com ，可以应用于企业内部知识库管理，用户可以使用自然语言提问，让ChatGPT自动归纳总结企业知识信息，帮助员工快速获取所需知识，提升资源流转效率。 ......
医疗行业中台设计-前言
这几年一直从事医疗行业数据治理相关工作。深入了解了这个行业的现状，未来并不知道是啥样。虽然医疗行业教其他行业起步很晚，各种新技术近几年来在该行业应用场景层次不穷，医疗行业确实有很大的挖掘价值，专攻专精的精神在最近几年各种概念伴随这PPT影响下，开始飘了起来。 本人偏业务和实施，最近在整理之前做过的项 ......
mac 创建Mysql数据库
一、安装Mysql 1、在mac上可以使用homebrew来安装mysql，打开终端输入命令 brew install mysql 2、安装完成之后，需要启动mysql服务 brew services start mysql 3、mysql服务启动后，可以登录mysql mysql -u root ......
django-ORM连接数据库
ORM连接数据库 一、安装第三方插件mysqlclient 1.客户端安装 pip install mysqlclient 2.Pycharm安装 二、连接数据库 1.settings设置 数据库配置文档参考：Settings | Django documentation | Django (dja ......
河北稳控科技多通道振弦传感器无线采集仪发送数据到 TCP 服务器及远程修改参数
河北稳控科技多通道振弦传感器无线采集仪发送数据到 TCP 服务器及远程修改参数 1、发送数据到 TCP 服务器参数配置（下列参数位于【 参数配置】 区域内的【 自动模式参数】 和【 GPRS】 面板内）数据发送方式： GPRS TCP数据包协议：字符串 1.0TCP 相关的其它参数可不进行配置，使用 ......
opendrive数据格式解析思维导图 ， opendrive高精地图是自动驾驶领域使用最为广泛的开源高精地图标准级地图
opendrive数据格式解析思维导图 ， opendrive高精地图是自动驾驶领域使用最为广泛的开源高精地图标准级地图格式。本思维导图将详细剖开高精路网地图内部的数据格式，涵盖：道路、车道、车道段、交叉口等相关名词及其属性、作用、链接关系等参数的解析。内容比较全面，希望对高精地图进行初步了解的朋友 ......
径向基RBF神经网络的电力负荷数据回归预测matlab 程序代码，数据EXCEL格式，直接运行。
径向基RBF神经网络的电力负荷数据回归预测matlab 程序代码，数据EXCEL格式，直接运行。可更换自己数据，上手简单。ID:7426632657061937 ......
BP神经网络的数据分类预测和故障信号诊断分类matlab代码 ，直接运行出数据分类结果和误差分布，注释详细易
BP神经网络的数据分类预测和故障信号诊断分类matlab代码 ，直接运行出数据分类结果和误差分布，注释详细易读懂，可直接套数据运行。PS：基于遗传算法的BP神经网络数据分类预测，基于PNN概率神经网络数据分类matlab等。 ID:9639629797361519 ......
matlab的基于遗传算法优化bp神经网络多输入多输出预测模型，有代码和EXCEL数据参考，精度还可以，直接运行?
matlab的基于遗传算法优化bp神经网络多输入多输出预测模型，有代码和EXCEL数据参考，精度还可以，直接运行即可，换数据OK。 YID:62100632809753171 ......
第十二章——电商产品评论数据情感分析
1、评论去重的代码 import pandas as pd import re import jieba.posseg as psg import numpy as np # 去重，去除完全重复的数据 reviews = pd.read_csv("./reviews.csv") reviews = ......