所有文章
> 当前分类:AI驱动
为什么深度学习是非参数的？
2024/12/26
今天我想要与大家分享的是深度神经网络的工作方式，以及深度神经与“传统”机器学习模型的不同之处。我的计划具体如下： 首先简单地思考一下如何将问题设置成分类的形式； 接下来回顾偏差-方差分解，并在偏差-方差权衡的背景下，在VC-维...
深度学习的图原理
【AI驱动】
1. 图论(Graph Theory) 1.1 什么是图(graph)？ 在图论的上下文中，图是一种结构化数据类型，具有节点(nodes)（保存信息的实体）和边缘(edges)（连接节点的连接，也可以保存信息...
2024/12/26
深度神经网络剪枝综述
【AI驱动】
模型压缩可以有效地减少模型的存储和计算资源需求，提高模型的推理速度和效率，从而实现在移动设备、边缘设备等资源受限的场景中进行高效的机器学习应用。常用的模型压缩方法有4种：知识蒸馏（Knowledge Distillation，KD）、 轻量...
2024/12/26
深度学习必须掌握的 13 种概率分布
【AI驱动】
深度学习从业者，你需要知道概率分布相关的知识。这里有一份最常见的基本概率分布教程，大多数和使用 python 库进行深度学习有关。 一、概率分布的关系概览 conjugate 意味着它有共轭分布的关系。 Mult...
2024/12/26
深度神经网络的全面概览：从模型到硬件加速
【AI驱动】
深度神经网络（DNN）目前是许多现代AI应用的基础。自从DNN在语音识别和图像识别任务中展现出突破性的成果，使用DNN的应用数量呈爆炸式增加。这些DNN方法被大量应用在无人驾驶汽车，癌症检测，游戏AI等方面。在许多领域中，DNN目前的准确性...
2024/12/25
漫谈图神经网络模型（GNN)：从图到图卷积
【AI驱动】
笔者最近看了一些图与图卷积神经网络的论文，深感其强大，但一些Survey或教程默认了读者对图神经网络背景知识的了解，对未学过信号处理的读者不太友好。同时，很多教程只讲是什么，不讲为什么，也没有梳理清楚不同网络结构的区别与设计初衷(Motiv...
2024/12/25
树+神经网络算法强强联手（Python）
【AI驱动】
结合论文《Revisiting Deep Learning Models for Tabular Data》的观点，集成树模型通常擅长于表格数据这种异构数据集，是实打实的表格数据王者。 集成树模型中的LightGBM是增强版的GBDT...
2024/12/25
手部分开发一个深度学习框架（Python）
【AI驱动】
当前深度学习框架越来越成熟（如Keras、Pytorch、TensorFlow等等），对于使用者而言封装程度越来越高，好处就是现在可以非常快速地将这些框架作为工具使用，用非常少的代码就可以构建模型进行实验，坏处就是可能背后地实现都被隐藏起来...
2024/12/25
大规模神经网络调节参及优化规律
【AI驱动】
从理论分析入手把握大规模神经网络优化的规律，可以指导实践中的超参数选择。反过来，实践中的超参数选择也可以指导理论分析。本篇文章聚焦于大语言模型，介绍从 GPT 以来大家普遍使用的训练超参数的变化。 规模律研究的是随着神经网络规模的增大...
2024/12/25
关于大模型的思考及研究热点
【AI驱动】
本文阐述李航老师对 LLM 的一些看法，主要观点如下： ChatGPT 的突破主要在于规模带来的质变和模型调教方式的发明。 LLM 融合了实现人工智能的三条路径。 LLM 的开发需要结合第三者体验和第一者体验。 L...
2024/12/25
小样本学习在深度学习的效果（综述）
【AI驱动】
众所周知，深度学习往往需要大量的标注样本进行训练才能达到一个满意的效果，但是在实际应用场景中，数据标注通常非常困难，很难获得大量的标注数据，这种情况下，深度学习怎么才能发挥出应有的魅力呢？ 01 什么是小样本学习 我家小孩在2岁...
2024/12/25
人工神经网络中的脑启发学习综述
【AI驱动】
人工神经网络(ANNs)已经成为机器学习中的一个重要工具，在不同的领域取得了显著的成功，包括图像和语音生成、游戏和机器人。然而，在人工神经网络的操作机制和生物大脑的操作机制之间存在着根本的不同，特别是在学习过程方面。本文对当前人工神经网络中...
2024/12/25
深度学习中优化技术总结
【AI驱动】
1 背景与应用 学习深度网络架构需要大量数据，是一个计算需求很高的任务。神经元之间的连接和参数数量庞大，需要梯度下降优化或其变端进行迭代调整，但存在许多局限，例如无法处理非凸复杂函数以及难以找到全局最小值。因此，可以使用正则化和优化技...
2024/12/25
小白看得懂的图解Transformer
【AI驱动】
Trasnformer可以说是完全基于自注意力机制的一个深度学习模型，因为它适用于并行化计算，和它本身模型的复杂程度导致它在精度和性能上都要高于之前流行的RNN循环神经网络 什么是transformer 你可以简单理解为它是一个...
2024/12/25
神经网络背后的数学原理是什么？
【AI驱动】
神经网络简介 神经网络是线性模块和非线性模块的巧妙排列。当聪明地选择并连接这些模块时，我们就得到了一个强大的工具来逼近任何一个数学函数，如一个能够借助非线性决策边界进行分类的神经网络。 本文代码的如下： git clone...
2024/12/25
一文概览神经网络优化算法
【AI驱动】
一、机器学习的优化 机器学习的优化（目标），简单来说是：搜索模型的一组参数 w，它能显著地降低代价函数 J(w)，该代价函数通常包括整个训练集上的性能评估（经验风险）和额外的正则化（结构风险）。与传统优化不同，它不是简单地根据数据的求...
2024/12/25
搜索文章
热门话题
文章精选
