ndash amp分布式 模型
大模型RAG之向量检索技术-结合LSTM模型编码
本文将介绍两种编码方式，一种直接采用bert进行编码query与待匹配数据；另一种将待匹配数据构造成key-value的形式，key表示从每个待匹配数据的概念或者抽象描述，value是对应的待匹配数据，将query和key进行编码，lstm从过query查询到key之后，就可以获取对应的value ......
PV视角之3D检测模型Sparse4D系列
在自动驾驶视觉感知系统中，为了获得环绕车辆范围的感知结果，通常需要融合多摄像头的感知结果。比较早期的感知架构中，通常采用后融合的范式，即先获得每个摄像头的感知结果，再进行结果层面的融合。后融合范式主要的问题在于难以处理跨摄像头的目标（如大卡车），同时后处理的负担也比较大。而目前更加主流的感知架构则是 ......
中间件 ZK分布式专题与Dubbo微服务入门 4-5 set与delete命令的使用
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12701 1 重点关注 1.1 如何添加watch stat /imooc watch 不存在的节点，可以用该命令，多用于新增 get /imooc watch 修改删除节点等，可以用该命令 z ......
onyxlang 简单包创建&使用
onyxlang 支持包，提供了基于git 的模式，以下是一个简单试用 创建包 初始化 onyx package init 添加配置 按照官方的介绍，一个包需要包含代码（git repo），onyx-pkg.kdl 文件，module.onyx 文件 onyx-pkg.kdl 上边初始化的时候已经创 ......
什么是大模型RAG?RAG与funtionCalling的区别是什么？
大模型的RAG（Retrieval-Augmented Generation）与Function Calling都是用于增强大型语言模型（如GPT）的技术，但它们的工作原理和应用场景有所不同。 Retrieval-Augmented Generation (RAG): 原理：RAG结合了信息检索和文 ......
安装HUE并配置连接Hive&Flink&TIDB
安装依赖包 yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel mak ......
模型类序列化器
1 原来用的Serilizer跟表模型没有直接联系， 模型类序列化器ModelSerilizer，跟表模型有对应关系 2 使用 class BookModelSerializer(serializers.ModelSerializer): class Meta: model=表模型 # 跟哪个表模型 ......
【Spring】@Async & @Schedule
代码位置： spring-context\src\main\java\org\springframework\scheduling\annotation 实现原理： 有对应的BeanPostProcessor实现类 @Async + @EnableAsync 1. 在方法上使用@Async注解，申明 ......
面试官：分布式锁最终解决方案是RedLock吗？为什么？
RedLock 是 Redis 分布式锁的一种实现方案，由 Redis 的作者 Salvatore Sanfilippo 提出。 RedLock 算法旨在解决单个 Redis 实例作为分布式锁时可能出现的单点故障问题，通过在多个独立运行的 Redis 实例上同时获取锁的方式来提高锁服务的可用性和安全 ......
【略读论文|大模型相关】Zero-Shot Relational Learning on Temporal Knowledge Graphs with Large Language Models
时间：2023 学校：慕尼黑大学 创新点： 1.据我们所知，这是第一个试图在TKGF背景下研究零射击关系学习的工作。 2.我们设计了一种基于llm的方法zrLLM，并设法在零射击关系推理中增强各种基于嵌入的TKGF模型。 3.实验结果表明，zrLLM有助于大大提高所有考虑的TKGF模型对包含未见零射 ......
星型模型&雪花模型
数据集市（Data Mart）也有称ADS（Application Data Store），数据集市将主题层和基础层的数据按照各业务的实际需求进行聚合，形成宽表或数据立方体（Cube），可直接供业务部门和数据分析团队使用。 数据集市中主要存在的是事实表（fact）和维度表（dimension）。 事 ......
Nginx部署网站&Docker&自动更新部署
一 搭建web服务器 lsb_release -a # 查看Linux版本 Linux不同版本的操作方式会有所不同，注意区分。我是在阿里云买的，用的是AlibabaCloud，所以文章的大部分命令会以这个系统为准。 1.1 安装与启动Nginx # Debian/Ubuntu apt install ......
Parquet格式文件读写&合并小文件
Parquet格式文件读写 依赖工具parquet-tools： parquet-tools-1.6.0rc3-SNAPSHOT.jar 查看结构： java -jar parquet-tools-1.6.0rc3-SNAPSHOT.jar schema -d pane-0-00000-of-000 ......
中间件 ZK分布式专题与Dubbo微服务入门 4-3 set与delete命令的使用
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12699 1 重点关注 1.1 zk常用命令行 修改 不带版本号 启动zk服务端和客户端（必须启动客户端，不然set和get命令没有） ./zkServer.sh start ./zkCli.s ......
MySQL - 分布式部署&主从复制&读写分离
Step1：基础环境准备 虚拟机环境：VMware workstation 服务器信息： 主机名 IP 操作系统 node01 192.168.1.131 CentOS Linux release 7.9.2009 (Core) node02 192.168.1.132 CentOS Linux r ......
R语言GARCH族模型：正态分布、t、GED分布EGARCH、TGARCH的VaR分析股票指数|附代码数据
全文链接：http://tecdat.cn/?p=31023 最近我们被客户要求撰写关于GARCH族模型的研究报告，包括一些图形和统计输出。 如何构建合适的模型以恰当的方法对风险进行测量是当前金融研究领域的一个热门话题 （ 点击文末“阅读原文”获取完整代码数据******** ）。 VaR方法作为当 ......
CF331A1&CF331A2
不难发现一件事：对于在 \(i\) 之后能跟 \(i\) 匹配的 \(j\)，最好的办法显然是使得 \(j\) 最大。则用前缀和统计整个和，并且用前缀和维护负数和，在枚举 \(i\) 统计出最小答案时在后面计算出满足最大答案的条件并输出即可。 ac records #include<bits/std ......
AI_NLP以及SAM的理解-分割模型
机器学习 一般机器学习分为有监督学习，无监督学习和强化学习 无监督学习 Unsupervised Learning Self-Supervised Learning，又称为自监督学习 -Self-Supervised Learning 的核心思想 Masked Autoencoders Are Sc ......
屎山代码风格指南（避免被优化&&避免被接盘）
欢迎补充！！！ 序言 良好的代码结构：Bad 👎🏻 使用有意义的变量和函数名，遵循命名规范，使代码易于理解。 组织代码，使用适当的文件和文件夹结构，保持模块化。 避免全局变量的滥用，尽量使用局部作用域。 单一职责原则：Bad 👎🏻 每个函数或模块应该只负责一个特定的功能。这样的设计使得代码更 ......
安装HUE并配置连接Hive&Flink&TIDB
创建用户 groupadd hadoop useradd -g hadoop hadoop 解压编译 wget https://cdn.gethue.com/downloads/hue-4.8.0.tgz PREFIX=/usr/share make install 集成Hive Conf 在/op ......
用一张图片测试几个大模型的看图理解，文心一言表现不佳，通义千问了解最到位！
样图如下： 用上面的图片，在几个主流的AI大模型中进行识别理解，最终的理解各有不同。 不过最让我意外的是 文心一言 居然理解的最不到位！ 下图是文心一言的看图理解： 下图是通义千问的看图理解： 下图是讯飞星火的看图理解： 大家觉得哪一个理解的最到位？？？？？ ......
User-defined Sources & Sinks
Dynamic tables are the core concept of Flink’s Table & SQL API for processing both bounded and unbounded data in a unified fashion. Because dynamic ta ......
DataX试用Mongo→Hdfs&Hdfs→Mongo
安装 下载安装包 wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 解压即可 配置 生成模板 python ./datax.py -r hdfsreader -w mongodbwriter python . ......
使用docker搭建deepspeed多机多卡分布式微调大模型环境
前置环境：两台可以互通的centos服务器（服务器1、服务器2），docker，NVIDIA驱动 docker创建overlay共享网络 1）选用服务器1作为manage节点进行初始化，执行docker swarm init Swarm initialized: current node (ly4d ......
公共仓库元模型(CWM)（转）
转自：https://www.jianshu.com/p/21207b50084a 一、什么是CWM？ 在我们学习一个新东西时，首先得弄懂明白它是用来干什么的？然后通过实例与理论交错学习，CWM——Common Warehouse Metamodel, 很明显翻译过来时公共仓库元模型，CWM的提出主 ......
Atlas关系型数据库元数据模型
[ { "category": "ENTITY", "guid": "00b4a314-1185-4cd4-84e9-20275990d58d", "createdBy": "hadoop", "updatedBy": "hadoop", "createTime": 1615973091411, " ......
中间件 ZK分布式专题与Dubbo微服务入门 4-2 session的基本原理与create命令的使用
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12697 1 重点关注 1.1 watcher常用使用场景 集群中统一资源配置 2 课程内容 3 Coding ......
swoosh elixir 方便的邮件发送&测试客户端.
swoosh提供了多中邮件平台的adapter ，可以方便的进行邮件的测试，发送，还包含了对于phoenix 的集成同时还包含了一个方便的本地邮箱预览服务 参考资料 https://github.com/swoosh/swooshhttps://hexdocs.pm/swoosh ......
使用知识图谱提高RAG的能力，减少大模型幻觉
在使用大型语言模型(llm)时，幻觉是一个常见的问题。LLM生成流畅连贯的文本，但往往生成不准确或不一致的信息。防止LLM产生幻觉的方法之一是使用提供事实信息的外部知识来源，如数据库或知识图谱。 向量数据库和知识图谱 向量数据库 向量数据库是表示实体或概念(如单词、短语或文档)的高维向量的集合。数据 ......
biscuit 委托&去中心化&基于功能的授权令牌
基于token 的认证在微服务，以及api 安全中是比较常见的，大家使用比较多的是jwt，但是目前大家对于jwt 吐槽的地方是越来越多了（核心还是和安全有一些关系） 包含的特性 去中心化的校验 基于了公钥模式 离线减弱 核心是可以基于一个校验过的key，生成新的权限小的key（适合权限委托） dat ......