所有文章
> 当前分类:AI驱动
关于大模型的思考及研究热点
2024/12/25
本文阐述李航老师对 LLM 的一些看法，主要观点如下： ChatGPT 的突破主要在于规模带来的质变和模型调教方式的发明。 LLM 融合了实现人工智能的三条路径。 LLM 的开发需要结合第三者体验和第一者体验。 L...
小样本学习在深度学习的效果（综述）
【AI驱动】
众所周知，深度学习往往需要大量的标注样本进行训练才能达到一个满意的效果，但是在实际应用场景中，数据标注通常非常困难，很难获得大量的标注数据，这种情况下，深度学习怎么才能发挥出应有的魅力呢？ 01 什么是小样本学习 我家小孩在2岁...
2024/12/25
人工神经网络中的脑启发学习综述
【AI驱动】
人工神经网络(ANNs)已经成为机器学习中的一个重要工具，在不同的领域取得了显著的成功，包括图像和语音生成、游戏和机器人。然而，在人工神经网络的操作机制和生物大脑的操作机制之间存在着根本的不同，特别是在学习过程方面。本文对当前人工神经网络中...
2024/12/25
深度学习中优化技术总结
【AI驱动】
1 背景与应用 学习深度网络架构需要大量数据，是一个计算需求很高的任务。神经元之间的连接和参数数量庞大，需要梯度下降优化或其变端进行迭代调整，但存在许多局限，例如无法处理非凸复杂函数以及难以找到全局最小值。因此，可以使用正则化和优化技...
2024/12/25
小白看得懂的图解Transformer
【AI驱动】
Trasnformer可以说是完全基于自注意力机制的一个深度学习模型，因为它适用于并行化计算，和它本身模型的复杂程度导致它在精度和性能上都要高于之前流行的RNN循环神经网络 什么是transformer 你可以简单理解为它是一个...
2024/12/25
神经网络背后的数学原理是什么？
【AI驱动】
神经网络简介 神经网络是线性模块和非线性模块的巧妙排列。当聪明地选择并连接这些模块时，我们就得到了一个强大的工具来逼近任何一个数学函数，如一个能够借助非线性决策边界进行分类的神经网络。 本文代码的如下： git clone...
2024/12/25
一文概览神经网络优化算法
【AI驱动】
一、机器学习的优化 机器学习的优化（目标），简单来说是：搜索模型的一组参数 w，它能显著地降低代价函数 J(w)，该代价函数通常包括整个训练集上的性能评估（经验风险）和额外的正则化（结构风险）。与传统优化不同，它不是简单地根据数据的求...
2024/12/25
深度学习GPU环境配置及建模（Python）
【AI驱动】
对于深度学习开发者，操作系统的选择、到深度学习相关依赖包安装、环境配置上，这些步骤看似简单基础，但其实也经常有不少麻烦。本文简要梳理了从环境配置到深度学习建模的完整的流程。 操作系统的选择 1 Linux 如果是深度学习的...
2024/12/25
从浅层到深层神经网络：概览深度学习优化算法
【AI驱动】
摘要：本篇论文旨在介绍关于将最优化方法应用于机器学习的关键模型、算法、以及一些开放性问题。这篇论文是写给有一定知识储备的读者，尤其是那些熟悉基础优化算法但是不了解机器学习的读者。首先，我们推导出一个监督学习问题的公式，并说明它是如何基于上下...
2024/12/25
10个深度学习最常用的激活函数（原理及优缺点）
【AI驱动】
激活函数（Activation Function）是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。类似于人类大脑中基于神经元的模型，激活函数最终决定了要发射给下一个神经元的内容。 在人工神经网络中，一个节点...
2024/12/25
神经网络训练失败的原因总结
【AI驱动】
在面对模型不收敛的时候，首先要保证训练的次数够多。在训练过程中，loss并不是一直在下降，准确率一直在提升的，会有一些震荡存在。只要总体趋势是在收敛就行。若训练次数够多（一般上千次，上万次，或者几十个epoch）没收敛，再考虑采取措施解决。...
2024/12/25
神经网络与高斯过程会碰撞出怎样的火花？
【AI驱动】
本文中，我们先梳理出单隐层神经网络与高斯过程（GP）的关系，再将概念拓展到多隐层神经网络，然后讨论如何用 GP 来完成传统神经网络的任务，即学习和预测。 1 单隐层神经网络与NNGP 在如下图所示的全连接神经网络中： ...
2024/12/25
图神经网络原理解析及代码实现（PyTorch）
【AI驱动】
图神经网络(gnn)是一类功能强大的神经网络，它对图结构数据进行操作。它们通过从节点的局部邻域聚合信息来学习节点表示(嵌入)。这个概念在图表示学习文献中被称为“消息传递”。 消息(嵌入)通过多个GNN层在图中的节点之间传递。每...
2024/12/25
神经网络训练技巧汇总(Tricks)
【AI驱动】
前言 神经网络构建好，训练不出好的效果怎么办？明明说好的，拟合任意函数(一般连续)？可以参考： 说好的足够多的数据( 很直观，因为神经网络可以随意设计，先验假设较少，参数多，超参数更多，那模型的自由度就非常高了，精心设计对...
2024/12/25
图模型数据处理的综述
【AI驱动】
前言 近期，非欧几里得领域的进步引发了人工智能界的关注，图数据在许多领域都有广泛应用。在过去的十年中，图模型的创新推动了相关研究的发展，但很少有研究关注图数据的内在方面。 以数据为中心的新兴人工智能强调利用好合适的数据以提高模型...
2024/12/24
卷积神经网络特征图的可视化(CNN)
【AI驱动】
卷积神经网络(CNN)是一种神经网络，通常用于图像分类、目标检测和其他计算机视觉任务。CNN的关键组件之一是特征图，它是通过对图像应用卷积滤波器生成的输入图像的表示。 理解卷积层 1、卷积操作 卷积的概念是CNN操...
2024/12/24
搜索文章
热门话题
