基础 笔记 数据spark
阿里又开源一款数据同步工具 DataX，稳定又高效，好用到爆！
作者：愿许浪尽天涯 链接：https://juejin.cn/post/7077744714954309669 前言 我们公司有个项目的数据量高达五千万，但是因为报表那块数据不太准确，业务库和报表库又是跨库操作，所以并不能使用 SQL 来进行同步。当时的打算是通过 mysqldump 或者存储的方式 ......
模电笔记-基础元器件其二
模电笔记 继电器 继电器、真空管和晶体管都是用于实现电信号的开关控制的电子元件 继电器由一个磁铁和一个电磁项圈组成，通过接受一个电信号来控制另一个电路中的电压或电流。 线圈通过一定电流时，磁铁产生磁场，使触点间距变小，从而接通电路。 三极管 三极管通常由三个区域：发射极、基极、集电极，其通常被用来放 ......
自定义动态数据源
1.思路 1）自定义一个注解 @DataSource，该注解可以加在service层方法或者类上面，表示该方法或者类中的所有方法都是用某一个数据源。 2）如果某个方法上或类上有 @DataSource 注解，将该方法或类需要使用的数据源名称存入到ThreadLocal。 3）自定义切面，在切面中解析 ......
大数据之—dolphinscheduler海豚调度
前言 本文参考：https://blog.csdn.net/zhengzaifeidelushang/article/details/127841043 参考：https://blog.csdn.net/shuyv/article/details/128847853 参考：https://blog. ......
数据仓库SQL代码规范
1.命名规则： 数据库、表、列、索引等名称应使用有意义、易于理解和记忆的命名方式。 应使用小写字母和下划线，避免使用大写字母和特殊字符。 应避免使用保留字和关键字作为名称，或在名称前加上特定前缀或后缀以避免与保留字冲突。 2.编码风格： 应使用一致的缩进、空格、换行等格式规范，以提高代码的可读性。 ......
Redis保证缓存数据和数据库一致
1 Redis 在分布式环境下的数据一致性主要是通过以下几种方式来保证的： 主从复制：Redis 支持主从复制，当主节点有新的数据写入时，会自动同步到从节点，从节点与主节点的数据保持一致。 Sentinel 哨兵：Redis Sentinel 哨兵是 Redis 的高可用性解决方案，通过监控主节点的 ......
审查人员进行数据仓库SQL代码审查的指南
代码规范：审查人员需要确保SQL代码符合团队的代码规范。这包括代码缩进、代码注释、命名规则等。 SQL性能：审查人员需要检查SQL查询的性能。这包括检查是否使用了索引、是否存在冗余计算、是否使用了正确的连接方式等。 SQL正确性：审查人员需要检查SQL语句的正确性，确保SQL语句执行不会引发错误或意 ......
数据仓库是一个用于存储和管理企业数据的中央存储库，因此需要确保其中的代码质量。以下是几种保证数据仓库代码质量的方法：
代码审查：在数据仓库开发过程中，通过对代码的定期审查来检查潜在的错误和问题，并确保代码符合团队的开发标准和最佳实践。 自动化测试：实现自动化测试是确保代码质量的关键，包括单元测试、集成测试和端到端测试。这些测试可以检测代码的可靠性、性能和安全性等方面的问题，同时还可以快速检测到任何潜在的问题。 代码 ......
Vue2可以检测 引用数据类型 数组的响应式变化
在Vue2中，响应式基于Object.defineProperty实现的响应式，官方文档中明确说明 Vue 不能检测以下数组的变动： 当你利用索引直接设置一个数组项时，例如：vm.items[indexOfItem] = newValue 当你修改数组的长度时，例如：vm.items.length ......
几种高效的方法来进行数据仓库的code review
制定标准和规范： 在开发数据仓库的过程中，制定统一的代码规范和标准，确保所有开发人员都能按照这些规范和标准进行代码开发。这些标准和规范可以包括SQL语法、代码注释、命名规则、代码结构等。 审查指南： 在进行code review时，可以提供一份指南来帮助审查人员进行审查。这份指南可以列出常见的错误类 ......
MySQL创建数据库（CREATE DATABASE语句）
在 MySQL 中，可以使用 CREATE DATABASE 语句创建数据库，语法格式如下： CREATE DATABASE [IF NOT EXISTS] <数据库名> [[DEFAULT] CHARACTER SET <字符集名>] [[DEFAULT] COLLATE <校对规则名>]; [ ......
【0基础学爬虫】爬虫基础之网络请求库的使用
大数据时代，各行各业对数据采集的需求日益增多，网络爬虫的运用也更为广泛，越来越多的人开始学习网络爬虫这项技术，K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章，为实现从易到难全方位覆盖，特设【0基础学爬虫】专栏，帮助小白快速入门爬虫，本期为网络请求库的使用。 网络请求库概述 作为一名爬虫初学者，熟练使 ......
软件开发需要编程作为最基本的基础
软件开发需要编程作为最基本的基础，软件开发更是一门艺术，编程也是一门手艺，那么小编今天就来说一说我的个人技巧还有经验. 软件开发 1.作为一个软件的开发技术，我们要言出必行，对于不可能做到的或者是风险太大的事情，你有权不去做，或不负责. 2.不找任何借口，在提供不了功能实现时候，要告诉甲方，做不到的 ......
数据库事务总结
1、事务 事务指的是满足 ACID 特性的一组操作，可以通过 Commit 提交一个事务，也可以使用 Rollback 进行回滚。 ACID 原子性（Atomicity） 事务被视为不可分割的最小单元，事务的所有操作要么全部提交成功，要么全部失败回滚。 回滚可以用回滚日志（Undo Log）来实现， ......
响应字符数据
响应字符数据： @WebServlet("/servletDemo3") public class HttpServletDemo3 extends HttpServlet { @Override protected void doGet(HttpServletRequest req, HttpSe ......
Android 使用ListView只显示一条数据
情况一：ListView外嵌套了ScrollView导致 情况二：没有使用ScrollView 解决：动态获取ListView的高度，并用代码设置。在adapter中setAdapter之后调用以下方法即可。 setListViewHeightBasedOnChildren()方法如下： publi ......
远程连接数据库时候报Mysql has gone away的错误
连接远程服务器的MySQL的时候报了The server has gone away的错误，网上找了很多方法都没发现问题 最后使用 sudo netstat -an | grep 3306 发现3306端口只运行在ipv6上，这下找到原因了， 一开始在设置对外开发远程登录的时候修改了/etc/mys ......
HTML学习笔记
HTML学习笔记 HTML5新增表单属性 属性 值 说明 required required 必填项，不能为空 placeholder 提示文本 提示信息，有默认值value时，placeholder不显示； autofocus autofocus 自动获取焦点，页面加载完自动获得焦点； autoc ......
VS Code多语言笔记本扩展插件 Polyglot Notebooks
早在2022年12月12日，微软就发布了VS Code的多语言笔记本扩展插件 Polyglot Notebooks，所使用的引擎为. NET Interactive，目前支持包括C#、F#、PowerShell、JavaScript和SQL等多种语言。让数据科学家能够简单执行跨语言任务，就像是使用S ......
信号有关基础
1.SI 信号完整性 主要考虑问题有 振铃ringing 串扰crosstalk 接地反弹 扭曲skew 信号损失 电源供应噪音 1.1振荡ringing 系统因为输入突然变化，产生的阶跃信号中，不希望出现的震荡，和系统的过冲和欠冲有很大的关系。一般振铃在过充之后出现，然后渐渐下降 ringing指 ......
[转]excel把合并单元格中的数据分拆到每一行
原文地址:https://cloud.tencent.com/developer/article/1444393 我们经常看到如下图所示的Excel表格： 这种表格，每一列的包含关系，人眼看起来一目了然。但是A列B列这种由多个单元格合并起来的单元格，在使用程序进行处理的时候却非常不方便。 如果要使用 ......
JavaScript学习笔记
JavaScript学习笔记 操作属性 获取标签 querySelector（‘CSS选择器’）返回一个元素对象，可以直接操作；找不到返回null； querySelectorAll（‘CSS选择器’）返回一个伪数组，需要遍历得到对象再操作； 注意：参数必须加引号（字符串），参数必须是CSS选择器； ......
Cadence入门笔记（十）：IPC文件、坐标文件、装配图和打样
IPC IPC文件用于生产时工厂检查生产出来的PCB线路是否导通,导出方法如下： 选择导出IPC356文件 一般默认配置即可 坐标文件 坐标文件用于工厂SMT贴片时候用，导出方法如下 点击IPC356上一个选项placement，一般也是默认选项即可 装配图 装配图即工厂生产时工人直接看的图，就是简 ......
图数据库在中国移动金融风控的落地应用
本文整理自中国移动算法工程师——汪海涛在 NebulaGraph 2022 年度用户大会上的分享，现场视频见 B 站：https://www.bilibili.com/video/BV1Ae4y127a8/ 各位朋友上午好，我是来自中国移动的算法工程师汪海涛。接下来我主要聊一聊图数据库在中国移动，特 ......
做工作笔记有什么好处？
如果你认真观察周围工作效率比较高的上班族，就会发现这些人有共同的一个特点，这就是善于随手做工作笔记。那么做工作笔记有什么好处呢？很多人在工作中要处理庞大的信息和事务，但是仅凭自己的大脑，很难将这些事情全部记住，并且很容易忘记其中的一些细节，所以为了随时记录、追踪、使用这些信息，就需要随手做工作笔记了 ......
对话抖音电商：量级庞大、参差不齐，“数据质量治理”有妙招！
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 经过近年发展，抖音电商的体量和规模已经相当可观。 基于数据驱动思路，在数仓建设、数据管理等层面的工作，推动抖音电商能准确分析和测量数据，做出以数据为依据的决策，从而推动业务快速发展。 其中，数据有效性、及时性、准确 ......
ArcGIS Pro处理发布并在前端调用bim数据全过程-rvt转slpk
记录ArcGIS处理三维bim模型全纪录，从原始的rvt格式开始，到最后web前端js api调用的整个过程，并记录部分中间操作过程中出现的问题和解决办法。 ......
stata:手工输入数据并保存为dta文件，长宽数据切换，形成面板数据
//手工输入数据保存为mb1.dta input id ks2020 ks2021 ks2022 ks2023 1 1 2 3 4 2 4 1 3 2 3 7 0 3 0 4 10 -1 3 -2 5 13 -2 3 -4 6 16 -3 3 -6 7 19 -4 3 -8 8 22 -5 3 -1 ......
Cadence入门笔记（八）：DRC、钻孔图和光绘Gerber
DRC Allegro中的设计规则检查DRC用于检测PCB设计中有无违法设计规则的地方，其中Online模式为边设计边实时更新检查结果，Batch模式为设计完成后手动更新一版检查结果。 一般在设置中可以选择使用何种模式。设置可以在Setup->Constants和Cmrg中进行。上一节已经演示过如何 ......