performance maximizing techniques llm
开源大模型(large language model, LLM)介绍
作为如今LLM圈内绝对的领头羊，OpenAI并没有遵从其创立初衷，无论是ChatGPT早期所使用的的GPT3、GPT3.5还是此后推出的GPT4模型，OpenAI都因“暂无法保证其不被滥用”为由拒绝了对模型开源，开启了订阅付费模式。 对于大型科技企业而言，不管是出于秀肌肉还是出于商业竞争目的，自研L ......
LLM（大语言模型）解码时是怎么生成文本的？
Part1配置及参数 transformers==4.28.1 源码地址：transformers/configuration_utils.py at v4.28.1 · huggingface/transformers (github.com) 文档地址：Generation (huggingfa ......
10 iozone Examples for Disk I/O Performance Measurement on Linux
https://www.thegeekstuff.com/2011/05/iozone-examples/ As we discussed in our Linux performance monitoring introduction article, measuring IO subsystem ......
Unlock the Power of High-Performance Networking with the IPQ9554
Unlock the Power of High-Performance Networking with the IPQ9554 In today's world, reliable and high-speed internet connectivity is essential for ever ......
如何理解人工智能领域 LLM 的 No notion of time or chronological order 这一局限性？
在人工智能领域，LLM代表“大型语言模型”。当一个LLM处理一段文本时，它通常只考虑当前的句子，而不考虑整个上下文中的时间或时间顺序。 这种局限性意味着LLM无法处理一些需要考虑时间或时间顺序的任务。例如，如果一个LLM被用来预测天气，它可能无法考虑先前的天气预报，这会影响其预测准确性。同样，在一些 ......
怎么裁剪LLM（大语言模型）的vocab（词表）？
怎么裁剪LLM（大语言模型）的vocab（词表）？ Part1前言 对于一些多语言的大语言模型而言，它的词表往往很大。在下游使用这些模型的时候，可能我们不需要其它的一些语言，例如只需要中文和英文，此时，我们可以对其vocab进行裁剪，既可以大大减少参数量，也能够保留模型的性能，接下来以Bloom模型 ......
Unlock the Power of High-Performance Networking with the IPQ9554
In today's world, reliable and high-speed internet connectivity is essential for everything from online gaming and streaming to remote work and learni ......
vite启动vue项目报错import { performance } from 'node:perf_hooks'
import { performance } from 'node:perf_hooks'^^^^^^ SyntaxError: Cannot use import statement outside a module 要求node版本要大于16 使用nvm 切换node版本 成功运行 ......
SQLite performance tuning
SQLite performance tuning - Scaling SQLite databases to many concurrent readers and multiple gigabytes while maintaining 100k SELECTs per second - phi ......
ANTS Performance Profiler 11&ANTS Memory Profiler 11 百度网盘分享
链接: https://pan.baidu.com/s/1Wji6PcuI6TehBgYKdiwAoA?pwd=m9w4 提取码: m9w4 上面的分享是原版安装包，目前最新是11版本。 先找到安装目录，然后使用dnspy打开RedGate.Client.ActivationPluginShim.d ......
使用LLM的问题
当前大模型的低成本实现方案： 语言模型 + 指令微调数据 + 微调加速 llama + alpaca_data(Fine-tuning) + lora 语言模型: ... 指令微调数据: 在一组通过指示描述的数据集上对语言模型微调，大大提高了在未见过任务上的 Zero-Shot 能力。 通过对多种任 ......
Chrome DevTools Performance 功能详解
简介 本文整理介绍 Chrome DevTools Performance 面板的所有功能，以便使用其分析页面加载时/运行时性能，找出性能瓶颈。 本人通常每周都会写文章，但直接粘贴搬运到这里总有很多错乱，逐一检查调整很是繁琐，若文章对你有所帮助，劳烦点赞关注支持一下，我也有动力更新更多内容。若内容存 ......
Semantic Kernel 入门系列：🪄LLM的魔法
ChatGPT 只是LLM 的小试牛刀，让人类能够看到的是机器智能对于语言系统的理解和掌握。 如果只是用来闲聊，而且只不过是将OpenAI的接口封装一下，那么市面上所有的ChatGPT的换皮应用都差不多。这就像是买了个徕卡镜头的手机，却只用来扫二维码一样。 由于微软的财大气粗，在OpenAI取得进展 ......
Semantic Kernel 入门系列：🛸LLM降临的时代
不论你是否关心，不可否认，AGI的时代即将到来了。 在这个突如其来的时代中，OpenAI的ChatGPT无疑处于浪潮之巅。而在ChatGPT背后，我们不能忽视的是LLM（Large Language Model）大型语言模型。 一夜之间所有的大厂商都在搞LLM，虽然很难有谁能和OpenAI相匹敌，但 ......
[Javascript] Improve performance of Array.reduce
Compare two code snippet const people = [ {id: 1,name: 'John', age: 45}, {id: 2,name: "Op", age: 32}, {id: 3, name: "Wade",age: 39 } ] // option 1 con ......
Feynman Technique
费曼学习法（Feynman Technique）是一种学习和思考的方法，它以理解为重点，通过将知识解释给别人或者以教代学的方式来加深自己的理解。费曼学习法主要包括以下几个步骤： 1.选择一个概念或者知识点，并尽可能简单地解释它。这个解释可以用自己的语言来表述，也可以通过画图、图表等方式来展示。 2. ......
Online Continual Learning with Maximally Interfered Retrieval---阅读笔记
Online Continual Learning with Maximally Interfered Retrieval 阅读笔记 摘要： 本文主要提出了一种可控的样本采集策略的重放方法。我们检索受干扰最大的样本，即它们的预测将受到预测参数更新的最大负面影响。 1 Introduction 人工神 ......
LeetCode 85. Maximal Rectangle
class Solution { public: int method(vector<int> h)//求柱状图中最大的矩形 { int n=h.size(); vector<int> l=vector<int> (n),r=l; stack<int> st; //预处理l，r数组 for(int ......
什么是 Chrome 开发者工具 performance 面板 Experience 里的 Layout shift
Chrome 开发者工具 performance 面板 Experience 中的 Layout shift（布局位移）是指在页面加载过程中元素的位置发生了意外的变化，这种变化可能会导致用户的不良体验，例如元素突然移动导致用户误点击其他链接或按钮。 Layout shift 主要由于以下原因引起： ......
Schillace法则：使用LLM创建软件的最佳实践
LLM（大语言模型）的发展正在改变软件开发的方式。 以前，开发人员需要编写大量的代码来实现其意图，但现在，随着语言模型的发展，开发人员可以使用自然语言来表达他们的意图，而无需编写大量的代码。这使得软件开发更加高效和灵活，同时也降低了开发人员的工作量。LLM的发展将极大地改变软件开发的方式，使软件开发 ......
A Survey of Diversification Techniques in Search and Recommendation
Wu H., Zhang Y., Ma C., Lyu F., Diaz F. and Liu X. A survey of diversification techniques in search and recommendation. arXiv preprint arXiv:2212.1446 ......
微软开源了一个 助力开发LLM 加持的应用的 工具包 semantic-kernel
在首席执行官萨蒂亚·纳德拉（Satya Nadella）的支持下，微软似乎正在迅速转变为一家以人工智能为中心的公司。最近微软的众多产品线都采用GPT-4加持，从Microsoft 365等商业产品到“新必应”搜索引擎，再到低代码/无代码Power Platform等面向开发的产品，包括软件开发组件P ......
To display this page, Firefox must send information that will repeat any action (such as a search or order confirmation) that was performed earlier.
To display this page, Firefox must send information that will repeat any action (such as a search or order confirmation) that was performed earlier. P ......
从 B 站出发，用 Chrome devTools performance 分析页面如何渲染
页面是如何渲染的？通常会得到“解析 HTML、css 合成 Render Tree，就可以渲染了”的回答。但是具体都做了些什么，却很少有人细说，我们今天就从 Chrome 的性能工具开始，具体看看一个页面是如何进行渲染的，以及进行页面优化时需要关注哪些指标。 以“老二次元”网站 bilibili 为 ......
Performance API不完全使用指北
本教程解释了如何使用Performance API来记录真实用户访问你的应用程序的统计数据。 使用浏览器的DevTools来评估web应用性能是很有用的，但要复现现实世界的使用情况并不容易。因为人们在不同地点使用不同的设备、浏览器和网络，都会有不同的体验。 Performance API介绍 Per ......
【前端调试】- 借助Performance分析并优化性能
欢迎阅读本系列其他文章 【前端调试】- 更好的调试方式 VSCode Debugger 【前端调试】- 断点调试的正确打开方式 介绍 首先简单过一下Performance的使用，打开网页点击控制台Performance,录制5s的数据 其中 Main 这部分就是网页的主线程，也就是执行 Event ......