language vision-language模态vision
人类记忆应该是有损压缩还是无损压缩？人类记忆应该是单模态的还是多模态的？
今日胡想，两个问题 —— 人类记忆应该是有损压缩还是无损压缩？人类记忆应该是单模态的还是多模态的？ ......
使用CLIP和LLM构建多模态RAG系统
使用CLIP和LLM构建多模态RAG系统 在本文中我们将探讨使用开源大型语言多模态模型(Large Language Multi-Modal)构建检索增强生成(RAG)系统。本文的重点是在不依赖LangChain或LLlama index的情况下实现这一目标，这样可以避免更多的框架依赖。 什么是RA ......
Coding Languages used in Smart cars
Smart cars utilize a variety of programming languages for different purposes within their systems. The choice of programming language often depends on ......
多模态大模型少样本自适应综述
前言 在医学成像和遥感等一些细粒度领域，多模态基础模型的性能往往不尽人意。因此，许多研究者开始探索这些模型的少样本适应方法，逐渐衍生出三种主要技术途径：1）基于提示的方法；2）基于适配器的方法；3）基于外部知识的方法。尽管如此，这一迅速发展的领域产生了大量结果，但尚无全面的综述来系统地整理研究进展。 ......
【略读论文|大模型相关】Zero-Shot Relational Learning on Temporal Knowledge Graphs with Large Language Models
时间：2023 学校：慕尼黑大学 创新点： 1.据我们所知，这是第一个试图在TKGF背景下研究零射击关系学习的工作。 2.我们设计了一种基于llm的方法zrLLM，并设法在零射击关系推理中增强各种基于嵌入的TKGF模型。 3.实验结果表明，zrLLM有助于大大提高所有考虑的TKGF模型对包含未见零射 ......
设置 QMainWindow 窗口为模态
QDialog 因为有 exec() 函数为阻塞式的可以让 QDialog 成为模态的界面，但是 QMainWindow 创建的对象窗口只能使用 show() 来进行显示，无法直接让以 QMainWindow 的对象实现模态的效果。 如果要使 QMainWindow 的实例化对象能够实现模态的效果， ......
Github揽获3k+星！清华开源CogAgent：基于多模态大模型的GUI Agent
前言 本文提出了视觉 GUI Agent，使用视觉模态（而非文本）对 GUI 界面进行更全面直接的感知，从而做出规划和决策。对此，我们研发了多模态大模型 CogAgent，可接受 1120×1120 的高分辨率图像输入，不仅提升了通用视觉理解能力，还具备强大的 GUI Agent 能力。 本文转载自 ......
南阳师范大学 外国语学院 Foreign language school
省内外高校 郑州大学河南大学河南师范大学 信阳师范学院 安阳师范学院省外洛阳师范学院 商丘师范学院 北京外国语大学 上海外国语大学 广东外语外贸大学 西安外国语大学 天津外国语大学 大连外国语大学 四川外国语大学 ......
3_5 Interpreters for Languages with Abstraction
3_5 Interpreters for Languages with Abstraction The Calculator language provides a means of combination through nested call expressions. However, ther ......
数控系统中的模态指令
一、模态指令概述 在数控加工中，模态指令是控制加工过程中各项参数设置的指令。这些指令会影响加工状态，直到被新的指令覆盖或取消为止。模态指令相对于非模态指令，具有较高的优先级和较长的持续时间，在加工过程中起到了关键的作用。 二、常见的模态指令 1. G指令 G指令是数控系统中最重要的模态指令之一。G指 ......
大模型评测-微软亚洲研究院：A Survey on Evaluation of Large Language Models论文分享
《A Survey on Evaluation of Large Language Models》 一、论文介绍：微软亚洲研究院公开了介绍大模型评测领域的论文《A Survey on Evaluation of Large Language Models》。该论文一共调研了219篇文献，以评测内容 ......
VIT Vision Transformer
VIT Vision Transformer 目录VIT Vision TransformerViT模型结构图像划分PatchLinear Projection of Flatted PatchesPatch+Position Embedding分类向量和位置向量EncoderMLP Head（全连 ......
大模型被偷家！腾讯港中文新研究修正认知：CNN搞多模态不弱于Transfromer
前言 在Transformer占据多模态工具半壁江山的时代，大核CNN又“杀了回来”，成为了一匹新的黑马。腾讯AI实验室与港中文联合团队提出了一种新的CNN架构，图像识别精度和速度都超过了Transformer架构模型。切换到点云、音频、视频等其他模态，也无需改变模型结构，简单预处理即可接近甚至超越 ......
Language Models are Unsupervised Multitask Learners
郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！ OpenAI blog, 2019 ......
[Winform]在Form里显示模态对话框ModalDialog
在Form里显示模态Dialog 问题 如何在WinForm的一个Form里面弹出一个模态Dialog? 背景 程序的框架是Winform，只有一个窗口MainForm。MainForm里面是一个TabControl，每个TabPage是一个Form，每个TabPage的Form相互独立，互不干扰， ......
移动端手写板 + 模态框 + 弹框,前端监听移动端返回按钮
今天的需求是把全屏的手写板改为同一个页面只占半屏的手写板,本来用的iframe,后面发现笔触和屏幕按下的位置不一样,然后用了jQuery的$.load(),发现用$.load会导致文件中的js不执行,后面还是重新开始,在同文件重新写了一个canvas手写板,然后发现了,canvas在全屏的时候没问题 ......
InstructGPT《InstructGPT: Training language models to follow instructions with human feedback》解读
背景 GPT-3 虽然在各大 NLP 任务以及文本生成的能力上令人惊艳，但是他仍然还是会生成一些带有偏见的，不真实的，有害的造成负面社会影响的信息，而且很多时候，他并不按人类喜欢的表达方式去说话。在这个背景下，OpenAI 提出了一个概念“Alignment”，意思是模型输出与人类真实意图对齐，符合 ......
GPT-3《Language Models are Few-Shot Learners》解读
GPT-3 和 GPT-2差别 1. 效果上，超出 GPT-2 非常多，能生成人类难以区分的新闻文章；2. 主推 few-shot，相比于 GPT-2 的 zero-shot，具有很强的创新性；3. 模型结构略微变化，采用 sparse attention 模块；4. 海量训练语料 45TB（清洗后 ......
UNIQUE VISION Programming Contest 2023 Christmas (AtCoder Beginner Contest 334)
UNIQUE VISION Programming Contest 2023 Christmas (AtCoder Beginner Contest 334) A - Christmas Present 代码: #include <bits/stdc++.h> using namespace std ......
GPT-2 《Language Models are Unsupervised Multitask Learners》解读
背景 GPT1采用了pre-train + fine-tuning训练方式，也就是说为了适应不同的训练任务，模型还是需要在特定任务的数据集上微调，仍然存在较多人工干预的成本。GPT-2 想彻底解决这个问题，通过 zero-shot，在迁移到其他任务上的时候不需要额外的标注数据，也不需要额外的模型训练 ......
GPT-1论文《Improving Language Understanding by Generative Pre-Training》解读
背景 GPT-1 采用了两阶段训练的方式： 1. 第一阶段 pre-training，在海量文本上训练，无需label，根据前k-1个词预测第k个单词是什么，第一阶段的训练让模型拥有了很多的先验知识，模型具有非常强的泛化性 2. 第二阶段在特定任务上fine-tuning，让模型能适应不同的任务，提 ......
《OneLLM: One Framework to Align All Modalities with Language》论文学习
一、Abstract 随着LLM的兴起，由于其强大的语言理解和推理能力，在学术和工业界中越来越受欢迎。LLM的进展也启发了研究人员将LLM作为多模态任务的接口，如视觉语言学习、音频和语音识别、视频理解等，因此多模态大语言模型(Multimodal Large Language Model， MLLM ......
《Learning Transferable Visual Models From Natural Language Supervision》论文学习
一、Abstract 最先进的计算机视觉系统被训练用以预测一组预定的固定目标类别。这种受限的监督方式限制了它们的通用性和可用性，因为需要额外的标记数据来指定任何新的视觉概念。因此，直接从关于图像的原始描述文本中学习是一个有希望的替代方法，它利用了更广泛的因特网监督来源。 我们证明了预测哪个标题与哪张 ......
多模态大模型的体验
主要是出图，结合实际做3个例子：1、形容天气非常寒冷的风景图片（ 画一幅未来极度寒冷下城市的场景）2、妈妈过生日的庆祝图片（画一幅妈妈过生日的庆祝图片，水墨画风格）3、包含GreenOpen字样的富含科技感的图片未来不可限量，对于当前来说是提出准确的需求。关注提高用户体验： ......
信而泰X-Vision助力网络质量监测
网络背景与挑战 Internet的最早起源于美国国防部高级研究计划署DARPA（Defence Advanced Research Projects Agency）的前身ARPAnet，该网于1969年投入使用。由此，ARPAnet成为现代计算机网络诞生的标志。 网络的数字化发展、业务模式的变化,致 ......
large language model evaluation
1 Evaluate medical model fine-tuned by llama 1.1 evaluation dataset here how to organize the dataset ......
Vision Transformer with Super Token Sampling
Vision Transformer with Super Token Sampling * Authors: [[Huaibo Huang]], [[Xiaoqiang Zhou]], [[Jie Cao]], [[Ran He]], [[Tieniu Tan]] Local library 初读 ......
InternImage: Exploring Large-Scale Vision Foundation Models with Deformable Convolutions 可变形卷积v3
InternImage: Exploring Large-Scale Vision Foundation Models with Deformable Convolutions * Authors: [[Wenhai Wang]], [[Jifeng Dai]], [[Zhe Chen]], [[Z ......
SegViT: Semantic Segmentation with Plain Vision Transformers
SegViT: Semantic Segmentation with Plain Vision Transformers * Authors: [[Bowen Zhang]], [[Zhi Tian]], [[Quan Tang]], [[Xiangxiang Chu]], [[Xiaolin We ......
BiFormer: Vision Transformer with Bi-Level Routing Attention 使用超标记的轻量ViT
alias: Zhu2023a tags: 超标记 注意力 rating: ⭐ share: false ptype: article BiFormer: Vision Transformer with Bi-Level Routing Attention * Authors: [[Lei Zhu] ......