高性能 数据处理 文件 数据
【译】.NET 7 中的性能改进（五）
原文 | Stephen Toub 翻译 | 郑子铭 循环提升和克隆 (Loop Hoisting and Cloning) 我们之前看到PGO是如何与循环提升和克隆互动的，这些优化也有其他改进。 从历史上看，JIT对提升的支持仅限于将一个不变量提升到一个层级。 考虑一下这个例子： [Benchma ......
【译】.NET 7 中的性能改进（六）
原文 | Stephen Toub 翻译 | 郑子铭 矢量化 (Vectorization) SIMD，即单指令多数据 (Single Instruction Multiple Data)，是一种处理方式，其中一条指令同时适用于多条数据。你有一个数字列表，你想找到一个特定值的索引？你可以在列表中一次 ......
【译】.NET 7 中的性能改进（七）
原文 | Stephen Toub 翻译 | 郑子铭 Arm64 在.NET 7中，大量的努力用于使Arm64的代码生成与x64的代码生成一样好或更好。我已经讨论了一些与架构无关的PR，还有一些是专门针对Arm的，但还有很多。我们来列举其中的一些。 寻址模式 (Addressing modes) " ......
【KAWAKO】从mac上定时将腾讯云的数据备份到本地
前言 不信任一切云端平台，把数据牢牢握在自己手中才是最安全的。 需求 使用腾讯云服务器上的宝塔面板定时备份网站和数据库，然后定时将备份后的数据存到本地。 宝塔面板 备份网站 备份数据库 mac端 创建工程文件夹 rua.py 在python中使用scp将备份的网站文件和数据库文件传到本地。会将log ......
国际财务系统基于ShardingSphere的数据分片和一主多从实践
作者：京东物流 张广治 1 背景 传统的将数据集中存储至单一数据节点的解决方案，在性能和可用性方面已经难于满足海量数据的场景，系统最大的瓶颈在于单个节点读写性能，许多的资源受到单机的限制，例如连接数、网络IO、磁盘IO等，从而导致它的并发能力不高，对于高并发的要求不满足。 每到月初国际财务系统压力巨 ......
MongoDB从入门到实战之.NET Core使用MongoDB开发ToDoList系统（3）-系统数据集合设计
前言 前几章教程我们把ToDoList系统的基本框架搭建好了，现在我们需要根据我们的需求把ToDoList系统所需要的系统集合（相当于关系型数据库中的数据库表）。接下来我们先简单概述一下这个系统主要需要实现的功能以及实现这些功能我们需要设计那些数据库集合。 MongoDB从入门到实战的相关教程 Mo ......
挖矿僵尸网络蠕虫病毒kdevtmpfsi处理过程(包含部分pgsql线程池满的情况)
背景: pgsql连接时候报错org.postgresql.util.PSQLException: FATAL: sorry, too many clients already, 意思是client已经把连接池占满了. 使用ps -ef | grep postgres删除几个进程, 进入数据库运行S ......
在腾讯云上创建一个玩具docker-mysql数据服务
有时候开发需求会自己做一下测试数据，在自己电脑本地安装的服务多了电脑环境会搞的很乱，这时使用云服务器安装个docker服务是一个不错的选择。 下面步骤是在腾讯云上安装docker-mysql镜像，并导入数据，使用的过程。 服务端配置 首先使用ssh登录服务器，然后按照下面的步骤一步一步操作即可。 安 ......
JavaScript 文件上传与下载
一、文件上传 1、普通文件上传 JavaScript 可以使用表单提交来实现文件上传。首先，在 HTML 中创建一个文件输入框： <input type="file" id="fileInput"> 然后，在 JavaScript 中获取文件输入框的引用，并在其上设置事件监听器，如下所示： var ......
聊聊项目中定时任务的处理方式
一个项目中一般都少不了定时任务，主要用来处理一些特殊的任务，有的是只执行一次的 定时任务，有的是周期循环执行的定时任务。可根据项目需要来选择定时任务类型。自己参与 开发的一个项目中，因为很多定时任务都是需要周期执行的，因此选用按周期循环执行的方式。 比如几分钟重载一次主表数据，重载数据字典表数据，定 ......
数据库系列：MySQL慢查询分析和性能优化
1 背景 我们的业务服务随着功能规模扩大，用户量扩增，流量的不断的增长，经常会遇到一个问题，就是数据存储服务响应变慢。 导致数据库服务变慢的诱因很多，而RD最重要的工作之一就是找到问题并解决问题。 下面以MySQL为例子，我们从几个角度分析可能产生原因，并讨论解决的方案。 2 定位慢查询的原因并优化 ......
ASP.NET Core - 入口文件
1. 入口文件 一个应用程序总有一个入口文件，是应用启动代码开始执行的地方，这里往往也会涉及到应用的各种配置。当我们接触到一个新框架的时候，可以从入口文件入手，了解入口文件，能够帮助我们更好地理解应用的相关配置以及应用的工作方式。 .Net Core 应用的入口文件是 Program.cs，这里是应 ......
为什么 响应式数据被重新赋值了三次，但是监听回调只执行了一次
代码例子 const { createApp } = Vue const app = createApp({ components: [], template: ` <div> <button @click="handleClick">toggle</button> </div> `, data() ......
【动画笔记】数据结构-AVL树的插入操作
本笔记主要围绕AVL树的平衡因子、纸上做题思路、失衡类型(LL/RR/LR/RL)、失衡调整方法、插入后回溯这几部分知识点展开。 ......
.NET与大数据
前言 当别人做大数据用Java、Python的时候，我使用.NET做大数据、数据挖掘，这确实是值得一说的事。 写的并不全面，但都是实际工作中的内容。 .NET在大数据项目中，可以做什么？ 写脚本（使用控制台程序+顶级语句） 写工具（使用Winform） 写接口、写服务 使用C#写代码的优点是什么？ ......
借助Radamsa变异数据（初探）
Radamsa 介绍 Radamsa是一款测试用例生成器，通常用来测试程序对格式错误和潜在恶意输入的承受能力（对程序进行模糊测试）。它通过你的输入来返回变异后的数据。它的主要卖点是，它已经在真正重要的程序中发现了许多错误。 Radamsa 使用方法 1、可以直接喂给它字符，它就会返回变异之后的数据给 ......
Kubernetes(k8s)配置文件管理：ConfigMap
Kubernetes(k8s)配置文件管理：ConfigMap ，创建ConfigMap，以环境变量的方式使用ConfigMap ，以卷的方式使用ConfigMap ......
如何在 C# 项目中链接一个文件夹下的所有文件
在 C# 项目中通过链接方式引入文件可以让我们在项目中使用这些文件中的代码。常见的比如链接 AssemblyInfo.cs 文件，这样我们就可以在项目中使用这个文件中的版本号等信息。但是如果我们想要链接一个文件夹下的所有文件，该怎么做呢？今天我们就来看看如何在 C# 项目中链接一个文件夹下的所有文件... ......
【Django drf】视图类APIView之五层封装 ApiView的类属性 drf配置文件
ApiView的类属性 如下是ApiView所有的类属性，我们抽取一部分进行介绍： 可见这些类属性，都是使用drf配置文件的默认配置。 下列策略可以在全局设置 或者 在每一个视图类中设置。 允许依赖注入其他的设置文件， ApiView源码的settings类属性使测试更容易 (也就是不使用drf的a ......
【rust】rsut基础：模块的使用一、mod 关键字、mod.rs 文件的含义等
本文内容 这篇文章是实战性质的，也就是说原理部分较少，属于经验总结，rust对于模块的例子太少了。rust特性比较多（悲），本文的内容可能只是一部分，实现方式也不一定是这一种。 关于 rust 模块的相关内容，准确来说：怎么在源码中引用其他模块的内容。 关于 mod、 use 、as 这几个关键字（ ......
Jenkins搭建与数据迁移实践
概述 本文主要介绍内容如下： 1.使用Docker搭建Jenkins 2.迁移原Jenkins数据到新搭建的Jenkins中 3.在Jenkins容器内部配置Maven的私服配置 4.在Jenkins容器内部配置Nodejs 使用Docker搭建Jenkins Jenkins的最新版本已经全面支持j ......
.NET 6学习笔记（7）——ASP.NET Core通过配置文件启用HTTPS
本质上我还是一个Windows App Developer，所以虽然会做一些ASP.NET Core的工作，但通常这些ASP.NET Core的程序会托管在Windows Service上，并且大部分时候跑在局域网环境。说实话传统行业的Win DEV对Web这一套其实不怎么精通，今天我们来看一下AS ......
腾讯出品小程序自动化测试框架【Minium】系列（六）常见组件的处理
写在前面 我发现一件神奇的事，当你学一门新技术或者新的知识点遇到不会的时候，真的可以先放一放，第二天再去学习，也许说不定也就会了。 为什么这么说？ 昨天文章断断续续的写了近一天，有一个组件不认识，自然也不知道该怎么处理，真的憋得脑子疼，后来一合计算了，事已至此，还是先吃饭吧，就扔一边了。 结果今天再 ......
mongdb遭遇勒索,用备份进行数据恢复
mongdb遭遇勒索,用备份进行数据恢复 1、背景： 某台MongoDB服务器，没有配置用户名密码，放到公网不到一天，遭到删库勒索 All your data is a backed up. You must pay 0.05 BTC to 1K4DdqZ7sWUkhtfRqAGi7VcRck3it ......
数据结构-详解优先队列的二叉堆（最大堆）原理、实现和应用-C和Python
一、堆的基础 1.1 优先队列和堆 优先队列（Priority Queue）：特殊的“队列”，取出元素顺序是按元素优先权（关键字）大小，而非元素进入队列的先后顺序。 若采用数组或链表直接实现优先队列，代价高。依靠数组，基于完全二叉树结构实现优先队列，即堆效率更高。一般来说堆代指二叉堆。 优先队列的完 ......
django框架之drf：4、序列化器常用字段及参数，序列化器高级用法之source，定制字段数据的两种方法，多表关联反序列化的保存，ModelSerializer的使用
Django框架之drf 一、序列化器常用字段及参数 # 序列化类 》字段类 CharField，除此之外还有哪些其他的 # 序列化类 》字段类，字段类上，传属性的 ，序列化类上，也可以写属性 models.CharField(max_length=32) 1、常用字段 | 字段 | 字段构造方式 ......
开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-上
再下一城又一个实时多维交互式分析数仓利器，了解其特性和架构组成，进一步阐述相关概念和其生态圈；介绍作为开发测试最快捷方式的Docker单机部署；也基于Hadoop环境一步步部署最新v4.0.3二进制并解决遇到的问题，最后通过一个读取hive数据示例介绍kylin创建项目、选择数据源、创建Model、... ......
开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-下
本篇先通过Kylin对连接条件、维度和度量限制的示例弄清Kylin的使用注意事项，在此基础上研究Kylin查询引擎，并配置spark查询下压实现没有cube的查询；理解Cube的构建优化，通过官方提供RestAPI实现动态灵活查询和cube构建，最后通过集成JDBC的Java代码实现简单查询操作。 ......
大数据实时多维OLAP分析数据库Apache Druid入门分享-上
Apache Druid是⼀款针对海量数据进⾏⾼性能实时分析OLAP引擎的实时分析型数据库，本篇了解其特征和适用场景，并与其他框架横向对比；最后部署一个最新版本25.0.0单机版演示本地文件摄取入库,并演示基于Json API本地查询和SQL两种查询方式 ......