spark hago ack on
一次spark任务提交参数的优化
起因 新接触一个spark集群，明明集群资源（core,内存）还有剩余，但是提交的任务却申请不到资源。 分析 环境 spark 2.2.0 基于yarn集群 参数 spark任务提交参数中最重要的几个： spark-submit --master yarn --driver-cores 1 --dr ......
Discretizing Continuous Action Space for On-Policy Optimization
**发表时间：**2020（AAAI 2020） **文章要点：**作者想说，连续动作通常都假设每个维度是高斯分布的，这就限制了策略一定是一个单峰，而离散动作就没有这个约束，所以有离散的必要。然后这篇文章提出了一个把连续动作空间离散化的方法，同时避免维度爆炸。通常如果一个连续空间有$M$个维度，如果 ......
数据库表为什么创建索引后查询效率变高了呢？left join 中 如果想使用索引提高查询效率，是放到where之后还是on条件中呢？
1.数据库表为什么创建索引后查询效率变高了呢 索引是一种数据结构，它可以帮助数据库快速定位到需要查询的数据，从而提高查询效率1。当我们在数据库表上创建索引时，它会为表中的每一行数据创建一个索引项，这个索引项包含了指向该行数据的指针，这样当我们查询数据时，数据库就可以通过索引项快速定位到需要查询的数据 ......
使用echarts防止出现“There is a chart instance already initialized on the dom.”的警告
var myChart; function historyMapInit(query_date) { //防止出现“There is a chart instance already initialized on the dom.”的警告 //在使用echarts发现需要及时对新建的myChart实 ......
Debunking Rumors on Twitter with Tree Transformer
Article: 论文标题：Debunking Rumors on Twitter with Tree Transformer(利用树状Transformer模型揭露Twitter中的谣言) 论文作者：Jing Ma、Wei Gao 论文来源：2020,COLING 论文地址：https://www ......
论文阅读笔记：Descent methods for elastic body simulation on the GPU (源代码及实现细节)
材料来源于 Descent methods for elastic body simulation on the GPU, ACMTransactions on Graphics (TOG), 2016. 0. 概述 在本论文中，提出了一种***。下面将详细介绍该方法的源代码及实现细节，并对照论文中 ......
[dp 记录] agc020F arcs on a circle
神题。yhx 的讲解 非常好、非常自然。 题意： 给定 $c$ 和 $n$ 段长度为 $a_i$ 的弧，每条弧的起点在圆周上均匀随机一个位置，求所有弧的并集覆盖圆周的概率。 $c \leq 50, n \leq 6$ 环上的问题并不好处理，因此寻求链是自然的。钦定一段弧的起点是一段弧的起点看着不错， ......
Set Static IP Address And DNS On FreeBSD
https://ostechnix.com/set-static-ip-address-and-dns-on-freebsd/ vi /etc/rc.conf vi /etc/resolv.conf ......
ACK One GitOps 最佳实践
ACK One GitOps 解决了应用部署的问题，但开发团队需要的 E2E，从代码提交，镜像构建，到自动部署的全流程全自动方案，全自动方案对开发测试环境尤为重要，可以帮助提高研发效能。 ......
van-popup 组件中的 close-on-click-overlay 失效
我在写van-popup 组件中的的时候 <van-popup v-model="taskShow" round position="bottom" close-on-click-overlay="false"> 禁用了点击蒙层关闭弹窗，但是一直不生效，网上也找了很多的文章一直没解决掉。 后来我转念 ......
一统天下 flutter - dart: 错误处理（assert, try/on/catch/finally）
一统天下 flutter https://github.com/webabcd/flutter_demo 作者 webabcd 一统天下 flutter - dart: 错误处理（assert, try/on/catch/finally） 示例如下: lib\dart\exception.dart ......
修改VCenter的Single Sign-On域名
背景 新装的vCenter，在第一次安装的时候，手抖，把默认的域名从vsphere.local写成了vshere.local。装好以后怎么看怎么不爽。 处理经过 首先上网搜索，找到文献[1]，但是文中描述不够仔细、特别是在讲第一步命令（“pre-check”）的时候，好几个destination，容 ......
react+echarts出现“There is a chart instance already initialized on the dom.”
写了一个关于echatrs组件，报错dom重复 配置信息从props拿 let chart; useEffect(() => { if (chart) { updateChartView(); }else{ chart = echarts.init(dom.current) updateChartV ......
题解 ABC294G【Distance Queries on a Tree】
DFS 序树状数组。 不妨以 $1$ 为根，设 $\operatorname{dep}(u)$ 表示 $u$ 到根路径的边权和，$\operatorname{dis}(u,v)$ 表示 $u,v$ 间路径的边权和，$\operatorname{LCA}(u,v)$ 表示 $u,v$ 的最近公共祖先。 ......
算法学习笔记(19): 树上启发式合并（DSU on tree）
树上启发式合并 DSU on tree，我也不知道DSU是啥意思 这是一种看似特别玄学的优化 可以把树上部分问题由 $O(n^2)$ 优化到 $O(n \log n)$。 例如 CodeForces 600E。 又例如一道神奇的题： 适用情况 可以离线的部分树上问题。 需要子树上的所有信息，但是信息 ......
阿里云 ACK@Edge 助力元戎启行加速进入自动驾驶规模化生产
本文将通过介绍元戎启行使用阿里云边缘容器服务 ACK@Edge 的实践，分享在自动驾驶网约车场景下，如何将云边一体的云原生能力快速覆盖到众多智能车载设备，有效降低自动驾驶车辆管理成本。 ......
《关于我因为flink成为spark源码贡献者这件小事》
各位读者老爷请放下手上的板砖，我可真没有标题党，且容老弟慢慢道来。 spark和flink本身相信我不用做过多的介绍，后端同学不管搞没搞过大数据，应该都多多少少听过。 如果没听过，简单说，spark和flink之于大数据，就好比vue和react之于前端，就好比spring家族之于java。 从20 ......
ABAP 辨析ON INPUT|REQUEST|CHAIN-INPUT|CHAIN-REQUEST
1、逻辑流 在屏幕开发中，存在如下逻辑流： PBO（Process Before Output）：屏幕输出之前触发 PAI（Process After Input）：用户在屏幕中执行操作触发 POH（Process On Help-Request）：查看帮助信息触发（F1） POV（Process ......
微软外服札记④——Spark中的那些坑...
Spark中的那些坑 Spark中的那些坑 前言 读取配置文件 时区陷阱 怪异的DayOfWeek substring陷阱 IP地址解析 枚举的数值 posexplode函数 为什么我的程序运行那么慢？慎用Count()和Show() 为什么我的程序运行那么慢？（2）优化、优化 其它 题外话 前言 ......
Codeforces Round #844 (Div. 1 + Div. 2, based on VK Cup 2022 - Elimination Round) A-D
比赛链接 A 题意 设计一条线路要贴着6个墙面走，从 $(a,b)$ 到 $(f,g)$ ，线路长度最短。 题解 知识点：模拟。 分类取最短即可。 时间复杂度 $O(1)$ 空间复杂度 $O(1)$ 代码 #include <bits/stdc++.h> #define ll long long u ......
GeoLayout: Geometry Driven Room Layout Estimation Based on Depth Maps of Planes
注：刚入门depth estimation，这也是以后的主要研究方向，欢迎同一个方向的加入QQ群(602708168)交流。 1. 论文简介 论文题目：GeoLayout: Geometry Driven Room Layout Estimation Based on Depth Maps of P ......