怎样使损失函数在梯度方向上减少

怎样使损失函数在梯度方向上减少

,在(x0.y0)点出发的方向由无穷多个,那这时函数变化快慢就由方向导数来反映.假如在所在的屋顶是一个曲面,你所在的地面就是定义域,你站在一点,头上对应屋顶一点,当你要从这点离开时,屋顶的高度是变大还是变小,变化的程度怎样?这就是方向导数反映的.梯度的方向是一个特定的方向,你往这个方向走屋顶就向最陡峭的方向,梯度的模反映陡峭到什么程度.一元函数在一点的导数是反映函数在这点变化趋势快慢的量,并且导数值是反映自变量由小变大时,函数值的增大趋势.自变量由大到小变化时,函数值的增大趋势是由负的导数值描述,这点很重要.二元函数的偏导数,本质上就是一元函数z=f(x,y0)的导数,反映曲面上的一条平面曲线：z=f(x,y),y=y0,在点(x0.y0)这点沿着x由小到大的方向变化时,z=f(x,y0)的变化快慢.显然,对二元函数而言,两个偏导数,只是反映了在点(x0.y0)沿着坐标轴方向上,函数变化快慢,坐标轴的反向变化情况,是由负的偏导数反映.紧接着的问题是,沿着任意方向的方向导数都存在,偏导数不一定存在.因为偏导数存在要求沿着坐标轴正向的与反向的方向导数必须是绝对值相等符号相反才成