海量
海量数据运维要给力，GaussDB(for Cassandra)来助力
摘要：应用运维管理平台（AOM）和Cassandra是两个不可分割的组成部分，它们共同构成了一个高效的解决方案，可以帮助企业在应用运维业务上取得巨大的优势。在这篇文章中，我们将介绍AOM和Cassandra的优势和特点，揭晓它们如何为企业保持市场竞争力的秘密。 本文分享自华为云社区《海量数据运维要给 ......
MQTT协议：如何支持海量的在线IoT设备?
MQTT 就是专门为物联网设备设计的一套标准的消息队列通信协议。使用 MQTT 协议的 IoT 设备，可以连接到任何支持 MQTT 协议的消息队列上，进行通信。 虽然 MQTT 和普通的消息队列相比，在消息模型、功能和网络结构上都是差不多的，但由于他们面对的使用场景是不一样的，所以，MQTT 和普通 ......
如何处理海量数据并发
后端优化： 一：优化算法和代码 1.优化算法： （1）尽量避免使用嵌套循环，因为嵌套循环的时间复杂度很高，容易导致程序的性能下降。 （2）选择合适的数据结构，比如哈希表、二叉树、红黑树等，可以极大地提高程序的效率。 （3）尽量减少数据交换和数据拷贝的次数，避免频繁的数据操作，因为这会消耗大量的系统资 ......
8 07 | 海量数据处理技术回顾：为什么分布式会遇到 CAP 难题？
你好，我是李智慧。 在这个模块的几个案例中，我们都需要处理海量的数据，需要用到海量的存储介质，其实海量数据本质上就是一种磁盘资源敏感的高并发场景。 我们说过，为了应对资源不足的问题，我们常采用水平伸缩，即分布式的方案。数据存储的分布式问题是所有分布式技术中最具挑战性的，因为相对于“无状态”（stat ......
爬取海量ip
import requests from lxml import etree import pandas as pd import time url = "http://www.66ip.cn/index.html" headers = {"User-Agent": "Mozilla/5.0 (Wi ......
从建模思路看 MySQL 和 TDengine 哪个更适合处理量化交易场景下的海量时序数据
在“量化投资分析”场景中，系统需要从数据接口、网络上等各个地方获取证券的信息，其中往往以“实时的价格变动信息”为主要数据，然后再对这些数据进行实时的分析与存储，供盘中和盘后使用。某企业遇到的问题如下：“我们要对 500 个证券品种进行监控，在开盘时，每 5 秒会更新一次价格数据。这样算下来的话，每个 ......
海量数据监控如何选择存储方案？ 看转转、得物这些企业是怎么做的
对于互联网业务而言，为保证服务的稳定运行，就要时刻关注服务器、服务调用、网络状况等各项指标，单是监控数据就存在非常大的量级。为了应对这种挑战，结合监控数据的特点，许多企业开始选择符合业务需求的时序数据库（Time Series Database），以便更好地支持运维监控。 转转 x TDengine ......
1688商品发布框架升级，海量规则如何覆盖
1688商品发布框架升级，海量规则如何覆盖？ https://mp.weixin.qq.com/s/1pU36WazmxglJHC7T_fmXQ 1688商品发布框架升级，海量规则如何覆盖？ 原创 阿里巴巴技术质量 阿里巴巴技术质量 2023-03-17 10:00 发表于北京 阿里QA导读：168 ......