Inference
MLPerf™ 推理基准套件- mlcommons-inference
MLPerf™ 推理基准套件- mlcommons-inference MLPerf推理是一个基准套件，用于衡量系统在各种部署场景中运行模型的速度。 请参阅MLPerf推理基准文件，了解基准的详细描述以及基准套件背后的动机和指导原则。如使用此基准的任何部分（例如，参考实现、提交等），请引用以下内容： ......
Computer vision: models, learning and inference
http://www.computervisionmodels.com/ 13.2.3 SIFT detector SIFT 尺度不变特征转换 s a second method for identifying interest points 一个尺度和对应兴趣点定位 14 15 16 ......
[论文阅读] Latent Consistency Models@ Synthesizing High-Resolution Images with Few-Step Inference
1. Pre title: Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference accepted: arXiv 2023 (ICLR 2024 Submission) paper ......
模型推理batch inference速度无明显提升、耗时线性增长问题排查
模型推理batch inference速度无明显提升、耗时线性增长问题排查 现象描述 当模型在推理阶段使用batch inference时，推理速度并无明显提升，相比单帧多次推理收益不大。如笔者在Xavier上测试某模型结果 batch size 推理时间ms 折算耗时 ms/img 1 11.23 ......
论文阅读：A Lightweight Knowledge Graph Embedding Framework for Efficient Inference and Storage
ABSTRACT 现存的KGE方法无法适用于大规模的图（由于存储和推理效率的限制） 作者提出了一种LightKG框架： 自动的推断出码本codebooks和码字codewords，为每个实体生成合适的embedding。 同时，框架中包含残差模块来实现码本的多样性，并且包含连续函数来近似的实现码字的 ......
Proj CDeepFuzz Paper Reading: NeuRI: Diversifying DNN Generation via Inductive Rule Inference
## Abstract 背景：The correctness of DL systems is crucial for trust in DL applications 本文: NeuRI BaseTool: FreeFuzz Github: https://github.com/ise-uiuc/ ......
[React Typescript] Fixing type inference in a Custom React Hook
// Problem import { useState } from "react"; import { Equal, Expect } from "../helpers/type-utils"; export const useId = (defaultId: string) => { cons ......
[React Typescript] Generic Inference through Multiple Type Helpers
import { Equal, Expect } from "../helpers/type-utils"; interface Button<T> { value: T; label: string; } interface ButtonGroupProps<T> { buttons: Butto ......
[React Typescript] Ensure correct inference for prop types with satisfies & ComponentProps
import { ComponentProps } from "react"; import { Equal, Expect } from "../helpers/type-utils"; const buttonProps = { type: "button", // @ts-expect-err ......
Rethinking with Retrieval Faithful Large Language Model Inference
[TOC] > [He H., Zhang H. and Roth D. Rethinking with retrieval: faithful large language model inference. arXiv preprint arXiv:2301.00303, 2023.](http: ......
Part2: DDPM as Example of Variational Inference
> 很多次翻看DDPM，始终不太能理解论文中提到的$\text{Variational Inference}$到底是如何在这个工作中起到作用。五一假期在家，无意间又刷到徐亦达老师早些年录制的理论视频，没想到其中也有介绍这部分的内容。老师的上课方式总是娓娓道来，把每一步都讲解得很仔细。本文记录一下个人 ......
百度飞桨(PaddlePaddle) - PP-OCRv3 文字检测识别系统 Paddle Inference 模型推理
Paddle Inference 模型推理流程 分别介绍文字检测、方向分类器和文字识别3个模型，基于Paddle Inference的推理过程。 使用whl包预测推理 whl 格式本质上是一个压缩包,里面包含了py文件,以及经过编译的pyd文件 为了更加方便快速体验OCR文本检测与识别模型，Padd ......
Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference 论文全程及链接：《Exploiting Cloze Questions for Few Shot Text Class ......
ILLA Cloud: 调用 Hugging Face Inference Endpoints，开启大模型世界之门
一个月前，我们 宣布了与 ILLA Cloud 与达成的合作，ILLA Cloud 正式支持集成 Hugging Face Hub 上的 AI 模型库和其他相关功能。 今天，我们为大家带来 ILLA Cloud 集成 Hugging Face 功能的更新，经过双方团队的沟通和推进，ILLA Clou ......
原生推理库Paddle Inference
原生推理库Paddle Inference https://www.paddlepaddle.org.cn/tutorials/projectdetail/3949123 深度学习一般分为训练和推理两个部分，训练是神经网络“学习”的过程，主要关注如何搜索和求解模型参数，发现训练数据中的规律，生成模型 ......
Delphi 论文阅读 Delphi: A Cryptographic Inference Service for Neural Networks
摘要 许多公司为用户提供神经网络预测服务，应用范围广泛。然而，目前的预测系统会损害一方的隐私:要么用户必须将敏感输入发送给服务提供商进行分类，要么服务提供商必须将其专有的神经网络存储在用户的设备上。前者损害了用户的个人隐私，而后者暴露了服务提供商的专有模式。 我们设计、实现并评估了DELPHI，这是 ......