数据 视频 服务平台 步骤
k8s部署canal-1.1.6版本实现MySQL数据库数据同步
1、版本说明 软件&镜像 版本&镜像信息 说明 Kubernetes v1.23.7 k8s服务器 Kuboard v3.5.2.0 k8s连接管理工具 Canal v1.1.6 数据同步 Canal-deployer canal/canal-server:latest canal-deplyer镜 ......
火山引擎 DataLeap：3 个关键步骤，复制字节跳动一站式数据治理经验
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，并进入官方交流群 DataLeap 是火山引擎数智平台 VeDI 旗下的大数据研发治理套件产品，帮助用户快速完成数据集成、开发、运维、治理、资产、安全等全套数据中台建设，降低工作成本和数据维护成本、挖掘数据价值、为企业决策提供数据支撑。 本 ......
基于 Ubuntu 服务器配置原生的 Socks5 网关代理服务器
常见的代理协议有 http、https、socks4/5 这三种，http协议的代理搭建方案最简单，但是http代理无法访问https网站，https代理无法实现调用远端dns，所以我个人推荐使用Scoks5协议做代理，本文用于记录在Ubuntu系统中搭建Socks5代理的详细步骤，采用dante- ......
SqlServer服务中利用触发器对指定账户进行登录ip限制提升安全性
转眼间上次写文章已经是 2022年12月15日的事情啦，本来从2022年7月份开始写作之后保持着每周一篇，然而从12月15日后断更了这么久，经历了，隔离、阳、过年、从今天开始继续坚持写作，本片文章给大家分享 SqlServer服务中利用触发器对指定账户进行登录ip限制从而提升账户的安全性，这样可以灵 ......
(一) MdbCluster分布式内存数据库——基础架构介绍
(一) MdbCluster分布式内存数据库——基础架构介绍 这个项目是怎么开始的我已经有些记不清楚了，大概是原来的内存数据库很不好用，一次次地让我们踩坑，我又自以为是地觉得可以做一个更好的出来。自从拥有自己的团队以来，我思考最多的总是如何带着团队做出有意义和有价值的产品，而不是将时间浪费在无谓的琐 ......
从 Cloud-Native Relational DB 看数据库设计
论文内容：Amazon Aurora: Design Considerations for HighThroughput Cloud-Native Relational Databases 里面介绍了一种云原生的关系型数据库 Aurora 的体系结构，以及导致该体系结构的设计考虑因素。我觉得和普通的 ......
Dubbo 入门系列之快速部署一个微服务应用
本文将基于 Dubbo Samples 示例演示如何快速搭建并部署一个微服务应用。 背景 Dubbo 作为一款微服务框架，最重要的是向用户提供跨进程的 RPC 远程调用能力。如上图所示，Dubbo 的服务消费者（Consumer）通过一系列的工作将请求发送给服务提供者（Provider）。 为了实现 ......
Dubbo 入门系列之基于 Dubbo API 开发微服务应用
目标 从零上手开发基于 Dubbo 的微服务 难度 低 环境要求 系统：Windows、Linux、MacOS JDK 8 及以上（推荐使用 JDK17） Git IntelliJ IDEA（可选） Docker （可选） 动手实践 本章将通过手把手的教程一步一步教你如何从零开发一个微服务应用。 1 ......
深度学习炼丹-数据标准化
当我们处理的数据具有不同尺度时，执行数据标准化操作是很有必要的。本文给出了数据标准化(Normalization)的定义、常用方法以及为什么要做数据标准化，并给出相关代码实现。 ......
2022数据分析： 电商天猫维生素类药品销售分析
前言 这篇数据分析记述了一次关于天猫维生素类的药品(2020-2021)销售数据的分析。 有些不足的地方，希望大家斧正。 题目 随着国家政策的逐步开放，越来越多的药品可以在网络上购买，医药电商平台蒸蒸日上，受新冠疫情的影响，线下药店购买困难，更让医药电商进入了更多消费者的视野，各大药企也纷纷加大力度 ......
云端智创 | 基于视频AI原理的音视频智能处理技术
本文内容整理自「智能媒体生产」系列课程第二讲：视频AI与智能生产制作，由阿里云智能视频云高级技术专家分享视频AI原理，AI辅助媒体生产，音视频智能化能力和底层原理，以及如何利用阿里云现有资源使用音视频AI能力。课程回放见文末。 01 算法演进：视频AI原理 在媒体生产的全生命周期中，AI算法辅助提升 ......
下一代编解码技术Ali266在视频超高清领域的应用展望
超高清与各领域的需求融合和创新正在发生。 2022年是一个体育大年，众多世界级体育赛事通过视频直播、转播等形式给观众带来畅爽的观看体验。 2022年北京冬奥会，实现了奥运会历史上首次赛事全程4K制作播出，并在开幕式上提供了8K超高清公共信号，让观众可以享受到超高清视频带来的更加清晰、真实和沉浸的比赛 ......
Sqoop导出ClickHouse数据到Hive
背景 公司采购了外部服务，其存储为ClickHouse，按照公司要求需要将其数据采集到Hive。 验证环境 CDH: 6.3.2 ClickHouse: 19.15.4.10 Sqoop: 1.4.7 Driver 需要在脚本中明确指明所使用的Driver完整签名。 ClickHouse使用自定义协 ......
.Net6 微服务之Polly入门看这篇就够了
前言 O(∩_∩)O 大家好！书接上文，本文将会继续建立在 .Net6 使用 Ocelot + Consul 看这篇就够了 项目的基础上进行Polly的介绍，然后这篇文章只是个人学习与分享，不喜勿喷，谢谢！ 什么是Polly？ Polly 是一个 .NET 弹性和瞬态故障处理库，允许开发人员以流畅和 ......
[数据结构] 二分查找 (四种写法)
#二分查找 ##二分查找 二分查找（Binary Search）也叫作折半查找，前提是查找的顺序结构是有序的，我们一般在数组上进行二分查找。 二分查找就好像猜数字大小游戏一样。假设要数字目标值属于 [1, 1000] 范围内，当我们猜的数字小于这个目标值时（"Too low"），我们需要往大去猜；反 ......
[数据结构] 树、二叉树、森林的转换
#树 ##树的表示方法 ###双亲表示法 用一组地址连续的存储单元来存放树中的各个节点，每一个节点中有一个数据域和一个指针域，数据域用来存储树中该节点本身的值；另一个指针域用来存储该节点的双亲节点在存储结构中的位置信息。 采用双亲链表存储方式实现查找一个指定节点的双亲节点比较方便，但难以实现查找一个 ......
[数据结构] 二叉搜索树 (二叉排序树)
#二叉搜索树 ##二叉搜索树的基本概念 二叉搜索树（ Binary Search Tree ）也称二叉排序树，是一种各节点值之间存在一定次序关系的二叉树。 ##二叉搜索树的特点 一般情况下，二叉搜索树中所有节点值是不重复的。 对于二叉搜索树中的每个节点： （1）如果其左子树不为空，那么其左边的节点值 ......
[数据结构]二叉树的前中后序遍历(递归+迭代实现)
#二叉树的遍历 ##主要的三种遍历方式 二叉树主要的遍历方式有前序遍历、中序遍历和后序遍历。 （1）前序遍历：根节点-->左子树-->右子树 （2）中序遍历：左子树-->根节点-->右子树 （3）后序遍历：左子树-->右子树-->根节点 其实还有一种比较基础的遍历方式是层次遍历，但是在本篇文章中不会 ......
[数据结构] 根据前中后序遍历中的两种构造二叉树
#前中后序遍历 ##前中后序遍历的特点 ###前序遍历 前序遍历顺序：根节点 -> 左子树 -> 右子树 前序遍历结果：[根节点，[左子树前序遍历结果]，[右子树前序遍历结果]] 假如把前序遍历结果存到数组中，数组中的第一个元素就是二叉树根节点的数据，而且还可以知道第二个元素是根节点左孩子的数据，即 ......
给服务端小白的一些建议
一、技术 看视频教程入门（B站即可），看书深入，最重要的是实践。 二、怎么提问 很多新人不知道怎么提问，问了太简单的问题怕被人鄙视，更重要的是不知道问题是否简单。 其实也没有那么严格，程序员还是很愿意帮人解决问题的，可以装一下13并且很有成就感。 值得注意的是： 这个问题百度、谷歌是否有答案，对着教 ......
【数据结构和算法】Trie树简介及应用详解
Trie树，即字典树，又称单词查找树或键树，是一种树形结构，典型应用是用于统计，排序和保存大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。它的优点是：利用字符串的公共前缀来减少查询时间，最大限度地减少无谓的字符串比较，查询效率比哈希树高。 ......
Fabric2.x中Raft共识算法核心数据结构
一、共识算法可插拔的代码体现Chain接口 Hyperledger Fabric的共识算法是可插拔的，在代码上体现为Chain接口，所有不同的共识算法均可根据Chain接口进行具体实现，目前fabric支持solo、kafka、raft、sbft等共识算法。Chain接口的代码在fabric/ord ......
【Go并发编程】Go使用协程批量获取数据，加快接口返回速度
服务端经常需要返回一个列表，里面包含很多用户数据，常规做法当然是遍历然后读缓存。 使用Go语言后，可以并发获取，极大提升效率。 使用channel package main import ( "fmt" "time" ) func add2(a, b int, ch chan int) { c := ......
一看就会的 Anaconda 搭建 OpenCV for Python 环境（全平台通用）
OpenCV是一个开源的计算机视觉和机器学习软件库，几乎可以在所有市面上的主流系统上运行，也有很多的语言接口。但是安装过程漫长、花式报错已成为常态。 ......
百万级数据excel导出功能如何实现？
前言 最近我做过一个MySQL百万级别数据的excel导出功能，已经正常上线使用了。 这个功能挺有意思的，里面需要注意的细节还真不少，现在拿出来跟大家分享一下，希望对你会有所帮助。 原始需求：用户在UI界面上点击全部导出按钮，就能导出所有商品数据。 咋一看，这个需求挺简单的。 但如果我告诉你，导出的 ......
R数据分析：孟德尔随机化中介的原理和实操
中介本身就是回归，基本上我看到的很多的调查性研究中在中介分析的方法部分都不会去提混杂，都是默认一个三角形画好，中介关系就算过去了，这里面默认的逻辑就是前两步回归中的混杂是一样的，计算中介效应的时候就自动消掉了。 但是，实际上对不对，还是有待具体分析的： Traditional, non-instru ......
vivo 故障定位平台的探索与实践
作者：vivo 互联网服务器团队- Liu Xin、Yu Dan 本文基于故障定位项目的实践，围绕根因定位算法的原理进行展开介绍。鉴于算法有一定的复杂度，本文通过图文的方式进行说明，希望即使是不懂技术的同学也能理解。 一、背景介绍 1.1 程序员的困扰 作为一名IT从业人员，比如开发和运维，多少有过 ......
上古神兵,先天至宝,Win11平台安装和配置NeoVim0.8.2编辑器搭建Python3开发环境(2023最新攻略)
毫无疑问，我们生活在编辑器的最好年代，Vim是仅在Vi之下的神级编辑器，而脱胎于Vim的NeoVim则是这个时代最好的编辑器，没有之一。异步支持、更好的内存管理、更快的渲染速度、更多的编辑命令，是大神Thiago de Arruda对开发者们最好的技术馈赠。 之前一篇：Win10系统下安装编辑器之神 ......