devops平台 技术 企业
2023最新ELK日志平台（elasticsearch+logstash+kibana）搭建
去年公司由于不断发展，内部自研系统越来越多，所以后来搭建了一个日志收集平台，并将日志收集功能以二方包形式引入自研系统，避免每个自研系统都要建立一套自己的日志模块，节约了开发时间，管理起来也更加容易。
这篇文章主要介绍ELK最新版本的搭建，二方包的介绍可以看小霸王的另外一篇文章。 ......
DevOps｜研发效能不是老板工程，是开发者服务
有人说研发效能是老板工程。不是的，研发效能不是老板工程，它不直接服务于老板(虽然老板可能看一些报表)，反而是服务于广大产研运（产品+研发+质量+运维）的同学，所以有的公司也把研发效能叫做基础中台，平台工程，开发者服务团队，或者叫开发者服务平台。做好研发效能，做好开发者中台，就容易把公司的各种中后台能 ......
【分布式技术专题】「分布式技术架构」一文带你厘清分布式事务协议及分布式一致性协议的算法原理和核心流程机制（Paxos篇）
概念简介 Paxos是一种基于消息传递具有高度容错特性的一致性算法，是目前公认的解决分布式一致性问题最有效的算法之一。 发展历史 Paxos算法的发展历史追溯到古希腊，当时有一个名为“Paxos“的小岛， 岛上采用一会的形式通过法令， 议会中议员通过信使进行消息传递，议员与信使都是兼职的，他们随时都 ......
千亿参数开源大模型 BLOOM 背后的技术
假设你现在有了数据，也搞到了预算，一切就绪，准备开始训练一个大模型，一显身手了，“一朝看尽长安花”似乎近在眼前 …… 且慢！训练可不仅仅像这两个字的发音那么简单，看看 BLOOM 的训练或许对你有帮助。 近年来，语言模型越训越大已成为常态。大家通常会诟病这些大模型本身的信息未被公开以供研究，但很少关 ......
企业低成本万能架构
企业软件应用架构层出不穷（这里的应用架构是指偏后端服务的软件架构）每个企业由各自业务形态，技术栈，技术路线，技术实力不同，各自架构方案，技术选型各有各的不同，千姿百态，正所谓：“百花齐放，尽吐芬芳”。 没有最好架构，只有当前最适合的架构方案，也没有完美架构，只有持续迭代演进的架构。 有没有一种万能通 ......
基于 RocketMQ Connect 构建数据流转处理平台
为什么在“双11”抢红包活动及大型数据系统中总是出现 RocketMQ 的身影？ RocketMQ Connect在RocketMQ 生态中扮演什么角色？本文为大家解答上述疑问。同时，介绍 OceanBase 与 RocketMQ 如何集成以及能帮助大家解决哪些问题。 ......
ChatGPT强势爆红，背后的技术原理是？一文轻松搞懂！
作者：小牛呼噜噜 | https://xiaoniuhululu.com 计算机内功、源码解析、科技故事、项目实战、面试八股等更多硬核文章，首发于公众号「小牛呼噜噜」 大家好，我是呼噜噜，最近一段时间被ChatGPT疯狂刷屏，自从2022年11月发布上线后，不仅 5 天时间便突破百万用户，月活用户突 ......
低代码平台前端的设计与实现（四）组件大纲树的构建设计
在上篇文章，我们已经设计了一个简单的设计态的Canvas，能够显示经过BuildEngine生成的ReactNode进行渲染。本文，我们将继续上一篇文章的成果，设计并实现一个能够显示组件节点大纲树的组件。 什么是组件大纲树？ 我们希望用户能通过一个地方比较明显的看到当前整个ComponentNode ......
人工智能,丹青圣手,全平台(原生/Docker)构建Stable-Diffusion-Webui的AI绘画库教程(Python3.10/Pytorch1.13.0)
世间无限丹青手，遇上AI画不成。最近一段时间，可能所有人类画师都得发出一句“既生瑜，何生亮”的感叹，因为AI 绘画通用算法Stable Diffusion已然超神，无需美术基础，也不用经年累月的刻苦练习，只需要一台电脑，人人都可以是丹青圣手。 本次我们全平台构建基于Stable-Diffusion算 ......
推荐系统[八]算法实践总结V2：排序学习框架(特征提取标签获取方式)以及京东推荐算法精排技术实战
0.前言 「排序学习（Learning to Rank，LTR）」，也称「机器排序学习（Machine-learned Ranking，MLR)」 ，就是使用机器学习的技术解决排序问题。自从机器学习的思想逐步渗透到信息检索等领域之后，如何利用机器学习来提升信息检索的性能水平变成了近些年来非常热门的研 ......
Java/.Net双平台核心，Jvm和CLR运行异同点
前言： 本篇以.Net 7.0.2 CLR 和 OpenJDk19参照，解析下它们各自调用函数的异同。 以下为个人理解。 概述 JDK大约5.9G，CLR大约7.6G,两者相差1.7G左右。 root@tang-virtual-machine:/home/tang# cd jdk-jdk-19-36 ......
企业如何构建内部开发者平台？
平台工程是一种新兴的行业趋势，帮助企业实现软件交付的现代化，加速企业数字化转型。企业通过平台工程，旨在提高开发人员的生产力以及开发体验，同时也为应用程序开发提供一个稳定可靠的基础。平台工程团队通过构建内部开发者平台（Internal Developer Platform, IDP）将所有的技术和工具 ......
开发者体验：现代企业架构的关键一环
在之前的文章中，我们详细介绍了平台工程的基本内容，文中指出平台团队应该采用产品的方法构建内部开发者平台，即 Platform as a Product。 内部平台面向的用户则是企业内其他部门的开发人员，因此如果要充分体现平台及平台团队的价值，那么打造优质的开发者体验（Developer Experi ......
java生态下后端开发都有哪些技术栈？
前言 大学跟着老师培训班学习的C#，那时（2003-2010）它是比较时髦得开发语言，我2008年毕业后，当了一年多三班倒的工人，由于不是自己要走的路，就换到自己专业上来了，也就开始从事了winform窗体应用程序开发。随着web网站兴起，就转到asp.net开发，前端app混合开发。大约2017年 ......
Qt开发技术：Q3D图表开发笔记（一）：Q3DScatter三维散点图介绍、Demo以及代码详解
前言 qt提供了q3d进行三维开发，虽然这个框架没有得到大量运用也不是那么成功，性能上也有很大的欠缺，但是普通的点到为止的应用展示还是可以的。 其中就包括华丽绚烂的三维图表，数据量不大的时候是可以使用的。 Demo：Q3DScatter散点图演示效果 Q3D提供的三维图表 依赖QtDataVisua ......
技术团队：研发中的短跑冲刺和马拉松游戏
hi，我是熵减，见字如面。 对于技术团队来说，开发软件产品，是一项长期的工作。 就如同马拉松一样，要完成这样的游戏，需要的多个迭代周期和很多冲刺的不断地积累。 在游戏的过程中，需要持续的、有节奏的向着目标前进，并在此过程要不断地做出调整和改变。 然而，在现实中，今天有不少的团队，是无法如此有效的开展 ......
Solon2 分布式事件总线的技术价值？
分布式事件总线在分布式开发（或微服务开发）时，是极为重要的架构手段。它可以分解响应时长，可以削峰，可以做最终一致性的分布式事务，可以做业务水平扩展。 ......
手把手教你搭建Windows 搭建Prometheus + Grafana + Jmeter可视化监控平台
下载安装包 Prometheus windows_exporter Grafana 下载地址：https://share.weiyun.com/D9sdiWoC 工作原理 Exporter 监控工具，获取数据 Prometheus 普罗米修斯时序数据库，用来存储和查询监控数据 Grafana 仪表盘 ......
研发效能负责人/研发效能1号位 ｜DevOps负责人
想要做好业务，老板们除了要梳理好公司级别的业务目标，公司的组织架构，还要搭个有产出的班子，也就是找负责人、建团队，让组织架构充实起来。搭班子最重要的就是把负责人找到，就是团队1号位的人。本文主要讲团队负责人的主要作用，怎么才能找到，不同背景的优劣势，以及各方面的要求。 研发效能团队1号位 「火车跑得 ......
在昇腾平台上对TensorFlow网络进行性能调优
摘要：本文就带大家了解在昇腾平台上对TensorFlow训练网络进行性能调优的常用手段。 本文分享自华为云社区《在昇腾平台上对TensorFlow网络进行性能调优》，作者：昇腾CANN 。 用户将TensorFlow训练网络迁移到昇腾平台后，如果存在性能不达标的问题，就需要进行调优。本文就带大家了解 ......
带你掌握如何查看并读懂昇腾平台的应用日志
摘要：本文介绍了昇腾平台日志分类、日志级别设置、日志内容格式，以及如何获取日志文件的方法。 本文分享自华为云社区《如何查看并读懂昇腾平台的应用日志》，作者：昇腾CANN。 当您完成训练/推理工程开发后，将工程放到昇腾平台运行，以调试工程是否正常运行，此时，可能会出现各种各样、五花八门的异常状况。 当 ......
跨平台`ChatGpt` 客户端
跨平台ChatGpt 客户端 一款基于Avalonia实现的跨平台ChatGpt客户端 ，通过对接ChatGpt官方提供的ChatGpt 3.5模型实现聊天对话 实现创建ChatGpt的项目名称 ，项目类型是Avalonia MVVM ， 添加项目需要使用的Nuget包 <ItemGroup> <P ......
扫码登录认证技术原理介绍及实践
一、背景 最近业务要求PC端系统登录使用APP应用扫码登录。 主要目的是： 1、简化用户录入账号密码，达到快速登录PC； 2、账号登录使用更加安全性； 3、为了推广更多让大家打开使用APP（因为行业的特殊性，实际业务场景中大都设计师都在使用PC端设计软件，同时也习惯了PC端下单）。 二、处理流程 1 ......
火山引擎 DataLeap：一家企业，数据体系要怎么搭建？
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 导读：经过十多年的发展，数据治理在传统行业以及新兴互联网公司都已经产生落地实践。字节跳动也在探索一种分布式的数据治理方式。本篇内容来源于火山引擎超话数据直播活动的回顾，将从以下四个部分展开分享： 字节的挑战与实践 ......
ByteHouse实时导入技术演进
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 ByteHouse 是火山引擎上的一款云原生数据仓库，为用户带来极速分析体验，能够支撑实时数据分析和海量离线数据分析；便捷的弹性扩缩容能力，极致的分析性能和丰富的企业级特性，助力客户数字化转型。 本文将从需求动机、 ......
ArchKeeper (开篇)：架构守护平台的问题与理念
在敏捷开发环境下，系统通过迭代增量的交付价值，系统架构也是如此。团队不可能在项目之初就建立完美的系统架构，系统架构应该随着系统迭代不断演进。架构演进和架构腐化是看待架构的不同视角：架构腐化着眼于现状，架构演进侧重于未来架构腐化不可避免，随着时间流转腐化现象必然发生。而我们需要做的是：通过某种方式及早... ......
Switchquery：移动端秒级配置触达平台
随着前端开发者开发的功能越来越多，对快速控件各类功能的切换、灰度、降级能力也越来越高。那么怎样才能既保证触达信息能力，又能满足低成本的要求呢？其实，Switchquery配置平台就可以满足这些要求。 ......
全局视角看技术-Java多线程演进史
本篇语言通俗易懂，是一篇具有大纲性质的关于多线程的梳理，作者从历史演进的角度讲了多线程相关知识体系，让你知其然知其所以然。 ......
SpringCloud微服务实战——搭建企业级开发框架（四十九）：数据字典注解的设计与实现
数据字典是系统中基本的必不可少的功能，在多种多样的系统中，数据字典表的设计都大同小异。但是使用方式确是多种多样，设计好一套易用的数据字典功能模块，可以使开发事半功倍。 常用的数据字典使用方式： 直接在SQL语句中LEFT JOIN （当然是不推荐这样用的） 查询出原始数据，然后再根据原始数据需要的字 ......
SpringCloud微服务实战——搭建企业级开发框架（五十）：集成移动端推送功能的系统通知公告数据库设计
系统的通知公告功能似乎是很容易被忽略的功能模块，在传统的软件系统中，一般OA类软件系统不可或缺，而在应用软件系统中此功能或有或无，在现在大多数的互联网软件系统中，此功能又必不可缺。所以，在框架设计时，我们需要考虑业务系统是否需要此功能模块，然后将此功能作为扩展插件，在需要时开启，在不需要时配置关闭即 ......