架构 有章可循 团队 技术

万字长文 | Hadoop 上云: 存算分离架构设计与迁移实践

一面数据原有的技术架构是在线下机房中使用 CDH 构建的大数据集群。自公司成立以来,每年都保持着高速增长,业务的增长带来了数据量的剧增。 在过去几年中,我们按照每 1 到 2 年的规划扩容硬件,但往往在半年之后就不得不再次扩容。而每次扩容都需要花费大量精力。 **为了解决包括扩容周期长、计算存储资源 ......
长文 架构 Hadoop

.NET6 微服务架构实战系列---记录Swaager在分层项目中实体层注释不显示的问题

一、分层架构Swagger配置问题 ![](https://img2023.cnblogs.com/blog/1761107/202307/1761107-20230714122407974-1833881445.png) Dtos在Application类库中,Swagger按照正常配置,只会引用 ......
体层 注释 架构 实战 Swaager

10分钟带你了解AI人工智能机器人技术都有哪些常见种类

一、什么是人工智能 人工智能技术是一种模拟和扩展人类智力的计算机系统和应用程序。它可以学习、理解、推理、适应和自我修复。在当今社会中,人工智能技术已经成为了各行各业的关键技术,如医疗保健、金融、交通、能源等等。除此之外,人工智能技术还可以用于监视和预测自然灾害、提高农业生产效率、改善教育质量等方面。 ......
人工智能 机器人 人工 种类 机器

火山引擎 DataLeap 构建Data Catalog系统的实践(三):关键技术与总结

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群 关键技术 构建一个好的Data Catalog系统,需要考虑的核心产品设计和技术设计有很多。篇幅所限,本文只概要介绍技术设计中最核心重要的部分,更多细节展开可参照后续的文章。 数据模型统一 将不同元数据的数据模型统 ......
火山 DataLeap Catalog 关键 引擎

总监面(高级或架构):如何找到缓慢代码并判定代码执行效率,以及优化它的思路

1、先使用一些集成测试插件(比如jmeter、metershpere)或者脚本定位到慢速接口,也可以通过日志分析cat | grep 2、使用sonar、findbugs之类的插件定位复杂度较高的代码,(分析一下算法复杂度和空间复杂度)以及sql调用部分的代码 3、先将调用的sql放到mysql上运 ......
代码 架构 总监 思路 效率

大数据与视频技术的融合趋势将带来怎样的场景应用?

EasyCVR平台在行业应用场景中,融合物联网、云计算、大数据、AI智能分析、5G、AR/VR等新兴技术,基于视频能力可发挥最大业务驱动力,可以实现对现场数据的实时、动态全面采集、监控、分析与处理,实时、有效、准确地反映现场的情况,协助管理者实现智能化监管模式,为项目提供智能监管、智慧决策、高效协同... ......
势将 视频技术 场景 数据 技术

微服务架构在前端开发中的应用

微服务架构是一种软件架构模式,用于构建复杂应用程序。它将一个大型的单体应用程序拆分为一组更小、更独立的服务,每个服务都运行在自己的进程中,并通过轻量级的通信机制进行交互。每个服务都专注于解决特定的业务功能或服务,并且可以独立开发、部署和扩展。 ......
前端 架构

React18+Next.js13+TS,B端+C端完整业务+技术双闭环

新 React 技术栈,实战复杂低代码项目-仿问卷星第1章 开期准备 试看3 节 | 20分钟介绍课程内容,学习建议和注意事项。演示课程项目,让学员有一个整体的认识。第2章 【入门】什么是 React React 引领了现代前端开发的变革8 节 | 50分钟介绍 React 的历史、背景和每次版本更 ......
闭环 业务 React 技术 Next

助教工作总结(网络安全技术)

###一、助教工作的具体职责和任务 * 负责课后作业、实验的批改和统计 * 提前对实验进行验证并实现 * 对于一些实验需要提前录制视频,以供学生参考 * 在云班课上发布课后作业 * 对同学的疑问进行解答 ###二、助教工作的每周时长和具体安排 * 主要是每周的课后作业的批改,需要对各个同学的实验结果 ......
工作总结 网络安全 技术 网络

【技术积累】Mysql中的SQL语言【技术篇】【三】

博客推行版本更新,成果积累制度,已经写过的博客还会再次更新,不断地琢磨,高质量高数量都是要追求的,工匠精神是学习必不可少的精神。因此,大家有何建议欢迎在评论区踊跃发言,你们的支持是我最大的动力,你们敢投,我就敢肝 ......
技术篇 技术 语言 Mysql SQL

第三章 存储技术基础

@[TOC](第三章 存储技术基础) # 第三章 存储技术基础 ### 1 存储基础介绍 #### 1.1 什么是存储 ![在这里插入图片描述](https://img-blog.csdnimg.cn/5d94a8bbef764d568437814cda148bb9.png#pic_center) ......
第三章 基础 技术

怎样优雅地增删查改(五):按组织架构查询

@[toc] 之前我们实现了Employee,Alarm管理模块以及通用查询应用层。 Employee的集合查询业务,是通过重写CreateFilteredQueryAsync方法,来实现按组织架构查询的过滤条件。 我们将这段逻辑代码提取到通用查询应用层中,便可实现在任何业务的按组织架构查询。 ## ......
组织架构 架构

scrapy架构

## 1 selenium爬取京东商品信息 ```python import time from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common. ......
架构 scrapy

淘宝API接口技术开发分享,商品页面详情数据,接口高并发案例,Java语言请求示例,也可接入其他多语言

​ 淘宝/天猫页面整体数据 taobao.item_get-获得淘宝商品详情 公共参数 名称类型必须描述 key String 是 调用key(必须以GET方式拼接在URL中)注册key和secret接入 secret String 是 调用密钥 api_name String 是 API接口名称( ......
接口 示例 技术开发 案例 详情

北斗时间同步时钟(卫星对时服务器)NTP授时设备技术应用方案

北斗时间同步时钟(卫星对时服务器)NTP授时设备技术应用方案 北斗时间同步时钟(卫星对时服务器)NTP授时设备技术应用方案 京准电子科技官微——ahjzsz 综合同步系统一款面向多领域时频应用、灵活可扩展的高可靠多功能时间频率设备,创新性的采用了基于 CAN 总线全模块化插箱设计,基于 Linux ......
北斗 技术应用 时钟 卫星 服务器

CDN与前端技术

CDN(Content Delivery Network)是一种广泛应用于网络加速和内容分发的技术。它通过在全球各地部署服务器节点,将静态资源如图片、CSS和JavaScript文件等缓存到离用户最近的节点上,从而提供更快速和可靠的内容交付。在前理、前端与CDN的结合以及一些最/佳实践 ......
前端 技术 CDN

个人技术方向发展

![image](https://img2023.cnblogs.com/blog/682547/202307/682547-20230713153525861-1244028101.svg) 截止到2023年的技术方向发展,打勾的是实际用过的, 比较熟悉的. 目前缺失的是机器学习、云原生、数据湖这 ......
方向 技术 个人

防干扰/抗噪LCD液晶段码显示驱动芯片VK2C21A/AA SSOP28 适用于适用于单相电表,温控器LCD驱动芯片【原厂技术支持】

概述:VK2C21是一个点阵式存储映射的LCD驱动器,可支持最大80点(20SEGx4COM)或 者最大128点(16SEGx8COM)的LCD屏。单片机可通过I2C接口配置显示参数和读写显示数据,也可通过指令进入省电模式。其高抗干扰,低功耗的特性适用于水电气表以及工 控仪表类产品。QT951 特点 ......
芯片 电表 温控器 原厂 LCD

掌握参数化设计建模技术,加速产品开发!

参数化设计建模是参数(变量)而不是数字建立的模型,通过简单的改变模型中的参数值就能建立新的模型。简单来说,参数化设计建模是指用一组参数来定义几何图形尺寸数值并约束尺寸关系,然后提供给设计者进行几何造型使用,参数不仅可以是几何参数,也可以是温度、材料等属性参数。它的主题思想是用几何约束、数学方程与逻辑 ......
产品开发 参数 产品 技术

我开源了团队内部基于SpringBoot Web快速开发的API脚手架stater

我们现在使用**SpringBoot** 做Web 开发已经比之前SprngMvc 那一套强大很多了。 但是 用SpringBoot Web 做API 开发还是不够简洁有一些。 每次Web API常用功能都需要重新写一遍。或者复制之前项目代码。于是我封装了这么一个 ![](https://image ......
脚手架 SpringBoot 团队 stater API

OCR技术的昨天今天和明天!2023年最全OCR技术指南!

OCR是一项科技革新,通过自动化大幅减少人工录入的过程,帮助用户从图像或扫描文档中提取文字,并将这些文字转换为计算机可读格式。这一功能在许多需要进一步处理数据的场景中,如身份验证、费用管理、自动报销、业务办理等都显得尤为实用。现如今,OCR解决方案会结合AI(人工智能)和ML(机器学习)技术,以自动 ......
技术指南 技术 OCR 指南 2023

智慧园区:如何利用AI识别与视频技术实现工业园区监管模式的升级?

对危险源进行检测和预警,最大限度保障人员安全。实时检测作业区域烟雾、火焰、杂物堆放、机器运行状态等,第一时间发现异常事件发生的位置,并形成预警,及时提醒安保人员处理,消除事故隐患。 ......

Java七大热门技术框架源码解析

第1章 课程介绍及学习指南2 节 | 13分钟本章主要对课程整体内容进行全面进行,并在学习方法上给大家进行指导建议,助力大家达到更好的学习效果。 第2章 Spring源码概述6 节 | 54分钟本章主要进行Spring源码的概述。包括:Spring家族生态介绍,Spring 架构设计解析,Sprin ......
七大 源码 框架 技术 Java

Django4+Vue3全新技术实战全栈项目

第1章 课程介绍 1 节|12分钟第2章 前端工程开发:环境搭建 5 节|43分钟第3章 前端工程开发关联技术:webpack 构建工具 7 节|85分钟第4章 前端工程开发关联技术:Axios 网络请求库 8 节|42分钟第5章 前端工程开发关联技术:Vue 脚手架 4 节|34分钟第6章 后端工 ......
实战 Django4 全新 项目 Django

[渗透测试]—2.4 加密和解密技术

在本节中,我们将介绍加密和解密技术的基础知识,以及一些常见的加密算法。我们将涵盖以下主题: 1. 加密和解密的基本概念 2. 对称加密 3. 非对称加密 4. 哈希函数 5. 数字签名 6. 实际应用及案例代码 ### 1. 加密和解密的基本概念 - **加密**:加密是一种将数据(明文)转换为其他 ......
技术 2.4

【技术积累】Mysql中的SQL语言【技术篇】【二】

博客推行版本更新,成果积累制度,已经写过的博客还会再次更新,不断地琢磨,高质量高数量都是要追求的,工匠精神是学习必不可少的精神。因此,大家有何建议欢迎在评论区踊跃发言,你们的支持是我最大的动力,你们敢投,我就敢肝 ......
技术篇 技术 语言 Mysql SQL

MVC 模式和三层架构

MVC模式 MVC 是一种分层开发的模式,其中: M:Model,业务模型,处理业务 V:View,视图,界面展示 C:Controller,控制器,处理请求,调用模型和视图 控制器(serlvlet)用来接收浏览器发送过来的请求,控制器调用模型(JavaBean)来获取数据,比如从数据库查询数据; ......
架构 模式 MVC

就是个复述吧,去年九月份我确实找到工作了,今年5月底离职了,公司技术架构和项目太杂太老

# 手写简易spring `package com.spring.utils; import com.spring.BeanDefinition; import com.spring.inteface.Autowried; import com.spring.inteface.Component; ......
架构 就是 项目 技术 公司

助教工作总结(2022下路由交换技术上)

一、助教工作的具体职责和任务 1.线上线下给同学解答问题 2.给老师布置的作业做一份尽可能标准且好理解的答案文档给同学们参考 由于我大一提前学完了这门课程,所以作为刚学完且同班的同学,我更能体会到入门路由交换技术的疑难点。由于这门课的实验作业比较多,为了让同学学习更加轻松,我自告奋勇向陈亦萍老师提出 ......
路由 工作总结 技术 2022

架构设计

架构设计主要目的是为了解决软件系统复杂度带来的问题。 复杂度来源于高性能、高可用、低成本、安全、扩展性等方面。 基本原则:合适、简单、演化。起始时先从简单出发,后续再根据需要逐渐迭代演化,不要为难以预测的未来过度设计。 高性能方案:读写分离、分库分表、NoSQL、缓存。 高可用方案:双机架构、数据集 ......
架构