案例分析 架构 答案 案例
大数据分析与应用笔记
定义 大数据:是需要新处理模式才能具有更强的决策力、洞察发 现力和流程优化能力的海量、高增长率和多样化的信息资产。 数量(Volume)、种类(Variety)、速度 (Velocity)、价值(Value)、准确性(Veracity) (1)数据清理:消除噪声和删除不一致数据。 (2)数据集成:多 ......
trafilatura 网页解析原理分析
Trafilatura是一个Python包和命令行工具，用于收集网络上的文本。其主要应用场景包括网络爬虫下载和网页解析等。
今天我们不讨论爬虫和抓取，主要看他的数据解析是如何做的。 ......
R语言数量生态学冗余分析RDA分析植物多样性物种数据结果可视化
原文链接：http://tecdat.cn/?p=25564 原文出处：拓端数据部落公众号 最近我们被客户要求撰写关于生态学冗余分析RDA的研究报告，包括一些图形和统计输出。 冗余分析（redundancy analysis，RDA）是一种回归分析结合主成分分析的排序方法，也是多因变量（multir ......
python、R语言ARIMA-GARCH分析南方恒生中国企业ETF基金净值时间序列分析
全文链接：https://tecdat.cn/?p=34123 原文出处：拓端数据部落公众号 分析师：Yuyan Wang 虽然中国股票市场日益完善,但还不完全是弱有效市场,因此中国股票市场存在比较明显的通过技术分析达到的套利机会。 解决方案 任务/目标 根据基金净值的要求，运用多种模型分析实现股票 ......
R语言时变面板平滑转换回归模型TV-PSTR分析债务水平对投资的影响|附代码数据
全文下载链接：http://tecdat.cn/?p=21506 最近我们被客户要求撰写关于TV-PSTR的研究报告，包括一些图形和统计输出。 在本文中，当采用两种状态时，单转换函数PSTR模型具有两个变量： 我们的经验方法的基础包括评估N个国家的资本流动性。相应的模型定义如下： 其中，Iit是第i ......
SPSS Modeler分析物流发货明细数据：K-MEANS（K均值）聚类和Apriori关联规则挖掘|附代码数据
全文链接：http://tecdat.cn/?p=32633 原文出处：拓端数据部落公众号 物流发货明细数据在现代物流业中扮演着至关重要的角色。通过对这些数据进行挖掘和分析，我们可以发现隐含在背后的供应链运营规律和商业模式，从而指导企业在物流策略、成本管理和客户服务等方面做出更加科学和有效的决策。 ......
R数据分析：反事实框架和因果中介的理论理解
其实很早之前给大家写中介分析的做法的时候我也有思考过当中介变量或者因变量不是连续变量的时候，中介怎么做？或者说这个时候中介的结果如何解释？当时反正是一直没有太想明白这些问题，毕竟这些情况在发表的文献中也较少见，也就稀里糊涂过去了。 近期又被好多同学多次问及这些问题。想着逃避不过去了，试着看些文献给大 ......
华为云中虚拟机及容器的架构
虚拟机 现实中我们用的计算机看到的都是物理机，而虚拟机，顾名思义就是虚拟的机子，它把磁盘文件和描述文件封装在同一文件夹然后存放在底层存储提供的文件系统中，相较于物理机他的特点有： 资源分区 封装（操作系统与应用） 独立（不同服务器之间的传递） 隔离（每台虚拟机拥有一个独立的OS） 容器 学过C++的 ......
数据分析--数据采集方法
数据采集方法 本文主要是个人学习过程中记录的笔记，此部分内容包括常见的数据文件的存储和读取，通常在使用Python读取数据文件比较推荐Pandas模块，当然在对Excel进行读取和操作时也可以配合openpyxl,xlwings等。由于此前是使用JupyterNotebook进行编写和学习的，如果使 ......
【Java集合】来了两个“插班生”如何打印花名册，以数组案例带你搞懂Collection集合概念
嗨~ 今天的你过得还好吗？ 每件事情都会好起来的 到那时风变得软绵绵的 阳光也会为你而温暖 🌞 前言 这个系列是我在学习Java集合这部分时候，结合书籍和Java提供的api整理的部分知识，也参考了一些网络上的文章，如果错误，望大家指出。希望本系列文章对大家学习Java有所帮助，也可以回顾下这部分 ......
12306的技术架构演进（网络整理）
12306的技术架构是一个非常复杂和庞大的系统，经历了多个版本的演进和优化。根据搜索结果，以下是12306的技术架构的主要特点和演进过程： 第一代架构：互联网售票系统设计了缓存服务、用户管理、车票查询、订单及电子客票处理等多个相对独立的业务分区，以及三级网络安全域。 第二代架构：在2012年春运期间 ......
报错分析：Value specified in CPUShares is out of range: unknown
启动容器时报错： Caused by: org.freedesktop.DBus.Error.InvalidArgs: Value specified in CPUShares is out of range: unknown 初看log不知从哪里来，既不是docker也不是容器运行时，也不是ker ......
编译程序时的各种分析主要是分析什么？
词法分析 识别单词，例如，保留字、标识符、常数、运算符、分界符等； 语义分析 对结构上正确的源程序进行上下文有关性质的审查，进行类型审查； 语法分析 在词法分析的基础上，将单词序列组合成各类语法短语，且判断其结构是否正确； ......
SonarQube安装及分析.NET 5.0代码
SonarQube安装及分析.NET 5.0代码 一、写在前面 在日常逛园子的时候发现了SonarQube 这个代码质量管理平台，感觉挺有意思的所以决定自己捣鼓一下，使用方法大多来源网上本文章只是记录一下使用过程。 二、下载安装 1.官网下载地址：https://www.sonarsource.co ......
ElasticSearch深度解析入门篇：高效搜索解决方案的介绍与实战案例讲解，带你避坑
ElasticSearch深度解析入门篇：高效搜索解决方案的介绍与实战案例讲解，带你避坑 1.Elasticsearch 产生背景 大规模数据如何检索 如：当系统数据量上了 10 亿、100 亿条的时候，我们在做系统架构的时候通常会从以下角度去考虑问题： 1）用什么数据库好？(mysql、oracl ......
Redis部署架构
部署架构 单节点(Single) 优点 架构简单，部署方便 高性价比：缓存使用时无需备用节点(单实例可用性可以用 supervisor 或 crontab 保证)，当然为了满足业务的高可用性，也可以牺牲一个备用节点，但同时刻只有一个实例对外提供服务 高性能 缺点 不保证数据的可靠性 在缓存使用，进程 ......
逻辑漏洞挖掘之CSRF漏洞原理分析及实战演练
本系列文章旨在揭秘逻辑漏洞的范围、原理及预防措施，逐步提升大家的安全意识。第二篇选取了广为熟知的CSRF漏洞进行介绍。 ......
明解Java第二章练习题答案
练习2-1 请对代码清单2-6的2处进行修改，将带有小数部分的实数值赋给x和y,查看结果如何？ 答案：编译器会报错，因为小数的默认类型double是比int更大的类型。如果给double类型的变量赋值整数，则编译器不会报错。 练习2-2 请编写一段程序，对三个int型变量进行赋值，并计算合计值和平均 ......
windows vlookup常见案例
目录windows vlookup常见案例同表格对比同列数 windows vlookup常见案例 vlookup是在excel表格中查找处理数据的强大工具，准确来说他是一个函数 结构：=VLOOKUP(查找值,查找区域,列序数,匹配条件) 解释：=VLOOKUP(找谁,在哪里找,第几列,0或1) ......
记一次老商家端应用内存突然飚高原因分析
一、排查过程 问题发现是因为当时接到了内存UMP报警信息，如下： 通过查看PFinder发现内存一直在增长，没有停止迹象，触发fullGC也并没有下降趋势： 当机立断，先立即去NP上摘除了此台机器流量，然后继续观察，发现内存依然在不断增长。 随即查看故障分析，并没有得到有效信息： 因为流量已经摘除， ......
ELK 企业级日志分析系统
一、ELK 简介 1.1 ELK组件介绍 ELK平台是一套完整的日志集中处理解决方案，将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用， 完成更强大的用户对日志的查询、排序、统计需求。●ElasticSearch：是基于Lucene（一个全文检索引擎的架构） ......
LLVM代码生成分析杂谈
LLVM代码生成分析杂谈 1简介 本文提供了有关生成和编译LLVM程序集代码的其他信息。 LLVM是一个庞大而复杂的系统，用于为各种目标体系结构生成优化的机器代码。对于这个项目，将使用其功能的非常有限的子集，为了方便使用，定义了一个生成LLVM代码的简单接口，可以在示例代码的LLVM目录中找到它。有 ......
一个重量级HTTP api的304优化分析与突发失效问题解决
背景 最近查看nginx log排查问题时，意外中发现重量级的主页 list api 304比例已暴跌至不到1%，之前该比例长期维持在30%以上，近期也未改动过相关逻辑，跟进后最终发现是服务端本地cache混用导致的问题。 304优化原因 app每次冷启初始化时都会请求重量级的HTTP主页list ......
R语言聚类、文本挖掘分析虚假电商评论数据：K-Means(K-均值)、层次聚类、词云可视化|附代码数据
全文链接：http://tecdat.cn/?p=32540 原文出处：拓端数据部落公众号 聚类分析是一种常见的数据挖掘方法，已经广泛地应用在模式识别、图像处理分析、地理研究以及市场需求分析。本文主要研究聚类分析算法K-means在电商评论数据中的应用，挖掘出虚假的评论数据。 本文主要帮助客户研究聚 ......
R语言贝叶斯Metropolis-Hastings Gibbs 吉布斯采样器估计变点指数分布分析泊松过程车站等待时间|附代码数据
原文链接：http://tecdat.cn/?p=26578 原文出处：拓端数据部落公众号 最近我们被客户要求撰写关于吉布斯采样器的研究报告，包括一些图形和统计输出。 指数分布是泊松过程中事件之间时间的概率分布，因此它用于预测到下一个事件的等待时间，例如，您需要在公共汽车站等待的时间，直到下一班车到 ......
R语言自然语言处理NLP:情感分析上市公司文本信息知识发现可视化|附代码数据
全文链接：http://tecdat.cn/?p=31702 原文出处：拓端数据部落公众号 情感分析，就是根据一段文本，分析其表达情感的技术。比较简单的情感分析，能够辨别文本内容是积极的还是消极的（褒义/贬义）；比较复杂的情感分析，能够知道这些文字是否流露出恐惧、生气、狂喜等细致入微的情感。此外，情 ......
hadoop初体验1——官方案例pi值计算
1.执行命令 [hadoop@namenode mapreduce]$ hadoop jar hadoop-mapreduce-examples-3.3.6.jar pi 2 2 hadoop jarHadoop jar命令 hadoop-mapreduce-examples-3.3.6.jar程序 ......
hadoop初体验2——官方案例wordcount
1.命令 [hadoop@namenode mapreduce]$ hadoop jar hadoop-mapreduce-examples-3.3.6.jar wordcount /wordcount/input /wordcount/output 执行命令hadoop jar hadoop-ma ......
阅读笔记：《软件需求分析》阅读笔记四
软件需求分析是软件工程中至关重要的一部分，它涉及到确定和记录系统或应用程序的功能和性能需求，以便开发团队可以理解和满足用户的期望。在进行软件需求分析时，需要考虑各种因素，包括用户需求、系统约束、功能规范等等。本次笔记将继续探讨软件需求分析的重要性以及一些常用的技术和方法。 重要性 满足用户需求：软件 ......