必威英雄联盟标记的问题[渐变 - 下降]

针对有关必威英雄联盟梯度下降的问题,一种基于另一个常称为损失或误差函数的函数来寻找参数化函数的最佳状态的方法。它通过根据梯度和学习率组成的偏导数的乘积调整参数,迭代地使损失面下降到最小损失。

157个必威英雄联盟问题
过滤
排序
标记有
1
投票
0答案
23次观点

在Logistic回归中,为什么二进制交叉熵损失函数凸起?

我正在研究二进制分类的逻辑回归。使用的损失函数是交叉熵。对于给定的输入$ x $,如果我们的型号生成$ \ hat {y} $而不是$ y $,丢失由$$ \ ...提供
0
1回答
66意见

为什么损失显示为具有梯度下降的平均平方误差的抛物线?

我正在寻找损失功能:机器学习中渐变下降的均方误差。我正在构建一个输出线性数字的单个神经元网络(Perceptron)。例如:输入* ...
1
投票
0答案
32的观点

是否可以转换均方误差损失函数的输入以允许更大的学习率?

在神经网络$ \ hat {y} = f_ \ theta(\ mathbf {x})的上下文中,使用参数$ \ theta $培训以执行回归,使得预测$ \ hat {\ mathbf {y}} = [\ hat {y} _1,\ hat {y} _2,......,...
-1
1回答
30的观点

如何从矩阵微积分的角度计算权重的梯度?

让$\sigma(x)$是sigmoid函数。考虑$\text{out}=\sigma(\vec{x} \times W + \vec{b})$的情况,我们想计算$\frac{\partial{\text{out}}}{\partial{W}}。$设置维度为…
5
3.答案
205意见

深度学习的梯度下降是否假设一个光滑的健身景观?

我之前遇到了健身景观的概念,在我的理解中,顺利健身景观是算法通过增量的全局最佳的融合景观......
1
投票
0答案
34次观点

可防止参数振荡的优化器

当我们执行梯度下降时,特别是在训练数据以非随机顺序呈现的在线设置中,一个特定的一维参数(如边缘权重)可能首先…
0
0答案
24日视图

渐变下降和自然渐变解决同样的问题吗?

我被自然渐变方法困扰着。如果我们有一个函数f(x),我们希望最小化,梯度下降最小化f(x)当然,但自然梯度是什么?我在https找到:// ...
0
0答案
17次观点

使用混合重量而不是正常重量矩阵的效果和行为是什么?

假设我尝试在差分方程式$ \ dot {x}中找到适当的矩阵A = a x $使用rnn。当前状态是$ x = \ begin {bmatrix} x_ {1} \\ x_ {2} \\ \ neat {bmatrix} $,所需的轨迹状态为$ x_d = ... ...
1
投票
1回答
68意见

在梯度下降的更新规则中,为什么我们使用$\sigma(z^{l-1})\frac{C_0}{\delta w^{l}}$而不是$\frac{\delta C_0}{\delta w^{l}}$?

我正在尝试编写一个两个分层神经网络简单的NN,因为我在这里描述了https://itisexplate.com/html/nn/ml/5_codingneuralnetwork/我被困在更新的最后一步......
1
投票
0答案
25的观点

如何在多任务学习中处理不同尺度的损失?必威电竞

假设我正在训练一个模型来完成多个任务,通过梯度下降最小化损失$ l1 + $ 必威电竞l2。如果这些损失的规模不同,范围更大的将占主导地位……
2
0答案
26意见

该算法的名称是估计梯度,通过分布中的采样平均值?

使用渐变上升,考虑最大化函数$ r(w)$ w $ w $。但是,我们不知道梯度$ \ nabla_wr(w)$公式。现在假设从概率分布中取样了$ w $ ......
2
0答案
74意见

批量归一化之前层的偏置梯度总是零

从原始纸张和这篇文章我们有那个批量归一化反作传可以配制,因为我对上一层输出的衍生品感兴趣$ x_i = \ sigma(w x_i + b)$ ...
7
2答案
325意见

是否有一个理想的学习率,总是在所有问题中始终提供良好的结果?

我曾经在某个地方阅读过,在哪些学习率之内,几乎在哪些学习率几乎在所有情况下都是最佳的,但我找不到任何关于它的文学。我所能得到的只是下图......
2
0答案
34次观点

当我有一个小样本大小时,我应该使用批量梯度下降吗?

我有一个输入大小为155 × 155的数据集,输出为155 × 1,使用3-4层神经网络进行回归。这么小的样本容量,我应该使用全批梯度…
4
0答案
57次观点

为什么最常用的激活函数是连续的?

我注意到最常用的激活函数是连续的。这其中有什么具体原因吗?诸如这篇论文的结果已经在训练网络与……

15. 30. 50. 每页
1
2 3. 4 5
...
11.