fintech数据库 数据2023
大数据生态组件WEB UI地址汇总
(1) Hadoop Web UI http://master-1:50070/dfshealth.html#tab-overview (2) YARN应用Web UI http://master-1:8088/ (3) Spark Web UI http://master-1:18089/ (4) ......
【FMC211】基于VITA57.1的16路LVDS数据采集、1路光纤数据收发处理平台
板卡概述 FMC211是一款基于VITA57.1标准规范的实现16路LVDS数据采集、1路光纤数据收发处理FMC子卡模块。 该板卡支持2路CVBS（复合视频）视频输入，能够自动检测标准的模拟基带电视信号，并将其转变为8位ITU-R.656接口信号或者4:2:2分量视频信号。 该板卡支持2路标清（SD ......
Iceberg元数据合并-metadata.json文件
一、背景描述 元数据文件随时间增多，导致查询变慢。通过如下方式可以指定metadata个数，超过指定数量自动清理。 metadata文件对应Iceberg概念是Snapshots 二、解决方案 1、在建表时增加参数 ‘write.metadata.delete-after-commit.enable ......
动荡的2023年
2023 年年初也做了一份年度计划，沿用 2022 年的 5 个核心目标，在 9 月中旬之前，稳步推进。 9 月中旬的时候，APP 突然因为某些原因被下架，公司和我自己的计划都被打乱，公司内部也发生了巨变。 下面的思维图列举出了今年做的一些比较重要的事情。 今年干的事情其实也是知识沉淀、提效保质、体 ......
2023 年，又打破记录啦。。
大家好，我是R哥。 首先祝大家元旦快乐，在新的一年身体健康，学习进步，事业有成。 2023 过太快了，迷迷糊糊就过完了，甚至可以说有点魔幻，看到有一些公众号都在写总结，我也写一个吧。 2023 年总结 一、文章写作 截止 2023 年底，公众号总共写了 552 篇原创文章了，终于破 500+ 记录啦 ......
一文带你了解内外网数据摆渡系统！
全球数字化浪潮下，数据安全永远是被关注的焦点和重点课题。总之，不管是什么规模和类型的企业，都需要建立一套适合自身的数据安全保护体系和机制，保护核心数据，提升企业核心竞争力。网络隔离可以很好的对企业的核心数据起到保护作用，是众多科技研发型企业在进行网络安全建设中的首选方式，隔离之后，在选择一套安全可靠 ......
大数据开发的总体架构
很多小伙伴在学习了多年大数据后，最后不得不感慨：“大数据的知识太繁杂了，我已经被淹没在大数据的海洋里了！”确实是的，在大数据学习的过程中，随着学习的深入，越来越多的新名词和新框架让学习者有种欲哭无泪的感觉，那么，这篇博文就对大数据开发的一个总体架构做一个介绍吧，让大家学习过程中，不至于迷失方向。先上 ......
使用-数据湖Iceberg和现有hive数仓打通并使用
一、集群配置 1、版本使用 技术 版本 iceberg 1.3.1 flink 1.16.1 spark 3.2.1 hive 2.3.7 dlc-presto 待定 2、集群配置调整 （1）使用hive查询的话所有hiveserver2节点修改hive-site.xml文件，添加jar包，添加如下 ......
【Linux】用Xshell通过SSH连接ubuntu报错“服务器发送了一个意外的数据包”
安装了Ubuntu20.04， 安装了ssh：sudo apt-get install ssh 想用Xshell通过SSH连接，结果报错：“服务器发送了一个意外的数据包”，如下图所示： ①在/etc/ssh/sshd_config配置文件最后面添加下面一行： KexAlgorithms curve2 ......
使用必读-使用Iceberg数据湖需要注意的点
一、开发注意事项 1、Iceberg选择合适的表版本 简述：Iceberg目前有两个表版本（V1和V2），根据数据选择合适的表版本。 V1表只支持增量数据插入，适合做纯增量写入场景，如埋点数据。 V2表才支持行级更新，适合做状态变化的更新，如订单表同步。 使用方式：建表语句时指定版本'format- ......
安全数据交换系统：大幅提升网间文件交换能力
各级政府部门和金融、能源、电力这些行业，以及一些大中型企业组织，为了保护内部的重要数据不外泄，普遍都采用了多网络并行的方式，也是做了网络隔离划分，不同的网络拥有不同的密级以及人员权限。然后再通过安全数据交换系统来进行跨网络、跨区域的文件数据交互，解决“数据孤岛”的问题。 然后，要解决网络隔离下的数据 ......
向量数据库~milvus
本文主要基于milvus官方的材料外加自己的一些理解整理而来，欢迎交流 设计理念 云原生：存&算分离; 读写分离; 增量存量分离; 微服务架构，极致弹性； 日志即数据：通过message queue解耦生产者、消费着，降低系统复杂度; 提升index、data、query模块弹性; 流批一体：表和日 ......
读算法霸权笔记09_信用数据的陷阱
1. 信用评级模型 1.1. 评估个人贷款违约风险的模型为FICO 1.1.1. 唯一评分参数就是贷款者的资产，主要依据是贷款者的债务负担和账单支付记录 1.1.2. 这种信用评分模型相对透明 1.1.3. 信用评分行业受政府管制 1.1.4. 信用评分系统的使用得到了广泛普及 1.2. 脸书就发明 ......
2023年总结
目录回顾目标1、三年规划工程能力逆向能力产品思维2、五年规划领域影响团队影响技术精进关于跳槽关于方向过去总结未来展望 回顾目标 刚进入业务安全领域时，给自己制定了“三年目标”和“五年目标”。想在工作满五年的时间点对过往五年进行下总结。 1、三年规划 目标：反爬虫工程师 时间：2021年7月 工程能力 ......
OI练习记录 - 31/12/2023
😆 比赛 Leetcode Weekly Contest 378 比赛传送门 Solved Rank Score New Rating Old Rating ∆ 2/4 5493 7 第二题用了二分来做，以为第三题也是 好像是只需检查最大的三个substring？ 【LGR-170-Div.3】洛 ......
2023年展望计划。
1-2月. 面试突击复习，总结经验。 从几个方面来复习： 最重要的部分，项目经验。 可以写两个项目，一个是老耗材的各种版本。一个是新耗材版本。 目前可以挖掘突出说的部分： 1）事务的失效。可以把网上的各种案例结合到项目中去讲。然后结合丹阳11-11日早上八点卡顿导致update错误但是没有回滚。 这 ......
INFINI Labs 产品更新 | Console 数据迁移支持 Percentiles 均匀分区
INFINI Labs 产品又更新啦~，包括 Console v1.14.0，Gateway 1.21.0。其中 Console 数据迁移支持 Percentiles 均匀分区，修复已知 Bug 等。以下是本次更新的详细说明。 INFINI Console v1.14.0 INFINI Consol ......
2023年终总结
目录一、变化二、学习三、回顾&&展望 一、变化 这一年在磕磕绊绊中起步，但是越走越顺利，从工作上来说变化相对较小 感情变得稳定了 今年也是大学毕业工作后，第一年没有 "疫情", 之前那三年经历的那些事情，似乎从来没有存在过。这一年没有了封控，我也离家近得多了，今年回了很多次家，这是曾经在济南工作时无 ......
2023LSP冬日绘版
以日记的形势记录 立项为12月1日，当天和MLE达成结盟。 通过“计划合约”（本质为引流大圈子）以及btgz的强大宣传能力，我们在公测1的时候达到了250tokens水平，而那时因为cd=5s所以没啥参考价值，具体细节都忘了。 公测2的时候我们的token总数首次来到430，这次公测2两边都有“完备 ......
简单写个自己的2023年终总结
2023年终总结 从2016年毕业以来，已经工作七年了。今年是第八年。之前一直没有写过自己的年终总结。今年算是第一次写自己的年终总结，所以可能想到想到哪里写到哪里。 这一年过下来，对我来说可以说是坎坷的一年。其实对于大多数人来说，这一年过的都是不太轻松。 下面我就按照时间顺序来简单做下总结。 买房 ......
Python 猫的 2023 年终回顾
2023 年是 Python猫 创办的第 5 年，2024 年已经到来了，我们照例做一个简短的年终回顾吧。 1、30000 订阅与 200 原创。 2020 的年终总结时，公众号订阅数刚破 20000，3 年后，我们终于也达成了 30K 成就。另外原创文章数也突破了 200 篇。如果你已经关注了，记 ......
2023.12 谨纪念那些 为登山事业献出生命的探险家
1. P9746 「KDOI-06-S」合并序列 首先合并是区间合并所以要区间 dp，从前缀，后缀，以及中间夹着的某一段转移而来。 枚举后缀，这个时候问题相当于询问 \([l',r]\) 内是否存在 xxxoooxxxooo 这样的选择情况，两段 x 都是合法区间，并且 xor 和为 \(v\)。 ......
2023年年终总结
又是新的一年，忙忙碌碌中时间又流走了，新的一年，新的经历也是新的收获。 写于2024-01-01 2023年已完成： ruoyi-vue前后端学习 spring-security相关学习 git三剑客 正则表达式学习 mysql必知必会学习 数据库系统工程师-软考学习 已通过 linux相关基础知识 ......
处理不平衡数据的过采样技术对比总结
前言 本文对处理不平衡数据的过采样技术进行了对比总结。 本文转载自Deephub Imba 作者：Abdallah Ashraf 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教 ......
pandas替换数据 典型应用 replace
替换数据 replace方法可以对数据进行批量替换： s.replace(0, 5) # 将列数据中的0换为5 df.replace(0, 5) # 将数据中的所有0换为5 df.replace([0, 1, 2, 3], 4) # 将0～3全换成4 df.replace([0, 1, 2, 3], ......
使用Golang Validator包实现数据验证
使用Golang Validator包实现数据验证 原创 沙蒿 程序员的碎碎念 2024-01-01 08:20 发表于北京 听全文 引言 在开发过程中，数据验证是一个非常重要的环节。它可以确保输入的数据的合法性和有效性，从而保证系统的稳定性和安全性。Golang是一种强类型的静态编程语言，它提供了 ......
kali官方博客 --- Kali Linux 2023.4 发布（云 ARM64、Vagrant Hyper-V 和 Raspberry Pi 5） 2023 年 12 月 05 日，星期二
2023 年即将结束，在假期开始之前，我们认为今天是发布 Kali 2023.4 的好时机。虽然这次发布的最终用户功能可能不是最多的，但我们提供了许多新的平台，幕后也发生了许多变化，这些变化产生了积极的连锁反应，使每个人都受益匪浅。撇开新闻、平台和功能不谈，如果我们的软件包（包括新工具和现有工具的升 ......
07.DDL 数据库操作 - 查看
目录 选择数据库语法 查看数据库语法 查看数据库的定义信息语法 实例 查看数据库语法 DATABASES：必选项，用于列出当前用户权限范围内所能查看到的所有数据库名称 -- 查看所有数据库 SHOW DATABASES; 选择数据库语法 -- 选择数据库为当前数据库 USE 数据库名; 查看数据库的 ......
06.DDL 数据库操作 - 创建
目录 创建数据库语法 创建数据库注意事项 创建基本数据库 创建指定字符集的数据库 创建数据库前判断是否存在同名数据库 创建数据库语法 IF NOT EXISTS：可选项，创建前先判断，未存在时才执行创建语句 数据库名：必须指定的 CHARACTER SET =字符集：可选项，用于指定数据库的字符集 ......