电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術文章
文章詳情頁

python 深度學習中的4種激活函數(shù)

瀏覽:3日期:2022-07-10 18:42:28

這篇文章用來整理一下入門深度學習過程中接觸到的四種激活函數(shù),下面會從公式、代碼以及圖像三個方面介紹這幾種激活函數(shù),首先來明確一下是哪四種:

Sigmoid函數(shù) Tahn函數(shù) ReLu函數(shù) SoftMax函數(shù)

激活函數(shù)的作用

下面圖像A是一個線性可分問題,也就是說對于兩類點(藍點和綠點),你通過一條直線就可以實現(xiàn)完全分類。

python 深度學習中的4種激活函數(shù)

當然圖像A是最理想、也是最簡單的一種二分類問題,但是現(xiàn)實中往往存在一些非常復雜的線性不可分問題,比如圖像B,你是找不到任何一條直線可以將圖像B中藍點和綠點完全分開的,你必須圈出一個封閉曲線。

而激活函數(shù)就是幫助'繪制'這個封閉曲線的非線性函數(shù),有了激活函數(shù)的幫助,很多算法的處理能力會得到加強,也可以處理線性不可分問題。

Sigmoid函數(shù)

Sigmoid函數(shù)曾在介紹邏輯回歸時提起過,它的數(shù)學表達式為:

python 深度學習中的4種激活函數(shù)

其中 e 為納皮爾常數(shù),其值為2.7182... 它的圖像如下:

python 深度學習中的4種激活函數(shù)

可以觀察出圖像的一些特點:

曲線的值域為(0,1) 當x = 0時,Sigmoid函數(shù)值為0.5 隨著 x 不斷增大,Sigmoid函數(shù)值無限趨近于1 隨著 x 不斷減小,Sigmoid函數(shù)值無限趨近于0

對于梯度下降法而言,信息的更新很大程度上都取決于梯度,而Sigmoid函數(shù)一個很明顯的缺點就是當函數(shù)值特別靠近0或1這兩端時,因為它的曲線已經(jīng)近乎平緩,所以此時的梯度幾乎為0,這樣非常不利于權重的更新,從而就會導致模型不收斂。

Sigmoid函數(shù)的代碼如下:

import numpy as npdef tanh(x): return (exp(x)-exp(-x))/(exp(x)+exp(-x))

Tanh函數(shù)

Tanh函數(shù)是雙曲正切函數(shù),它的的數(shù)學表達式為:

python 深度學習中的4種激活函數(shù)

Tanh函數(shù)和Sigmoid函數(shù)非常相近,這點從圖像上可以很好的體現(xiàn):

python 深度學習中的4種激活函數(shù)

這兩個函數(shù)相同的是,當輸入的 x 值很大或者很小時,對應函數(shù)輸出的 y 值近乎相等,同樣的缺點也是梯度特別小,非常不利于權重的更新;不同的是Tanh函數(shù)的值域為(-1,1),并且當 x = 0 時,輸出的函數(shù)值為0。

Tanh函數(shù)的代碼如下:

import numpy as npdef tanh(x): return (exp(x)-exp(-x))/(exp(x)+exp(-x))

ReLu函數(shù)

ReLu是線性整流函數(shù),又稱為修正性線性單元,它的函數(shù)的數(shù)學表達式為

python 深度學習中的4種激活函數(shù)

Tanh是一個分段函數(shù),它的圖像如下:

python 深度學習中的4種激活函數(shù)

圖像很容易理解,若輸入的 x 值小于0,則輸出為也為0;若輸入的 x 值大于0,則直接輸出 x 值,需要注意的是ReLu函數(shù)在x = 0 處不連續(xù)(不可導),但同樣也可以作為激活函數(shù)。

與Sigmoid函數(shù)和Tanh函數(shù)相比,ReLu函數(shù)一個很明顯的優(yōu)點就是在應用梯度下降法是收斂較快,當輸入值為整數(shù)時,不會出現(xiàn)梯度飽和的問題,因為大于0的部分是一個線性關系,這個優(yōu)點讓ReLu成為目前應用較廣的激活函數(shù)。

ReLu函數(shù)的代碼如下:

import numpy as npdef relu(x): return np.maximum(0,x)

SoftMax函數(shù)

分類問題可以分為二分類問題和多分類問題,Sigmoid函數(shù)比較適合二分類問題,而SoftMax函數(shù)更加適合多分類問題。SoftMax函數(shù)的數(shù)學表達式為:

python 深度學習中的4種激活函數(shù)

其中Vi表示分類器的輸出,i表示類別索引,總的類別個數(shù)為C,Si表示當前元素的指數(shù)與所有元素指數(shù)和的比值。概括來說,SoftMax函數(shù)將多分類的輸出值按比例轉化為相對概率,使輸出更容易理解和比較。

為了防止SoftMax函數(shù)計算時出現(xiàn)上溢出或者下溢出的問題,通常會提前對 V 做一些數(shù)值處理,即每個 V 減去 V 中的最大值,假設D=max(V),SoftMax函數(shù)數(shù)學表達式更改為:

python 深度學習中的4種激活函數(shù)

因為SoftMax函數(shù)計算的是概率,所以無法用圖像進行展示,SoftMax函數(shù)的代碼如下:

import numpy as npdef softmax(x): D = np.max(x) exp_x = np.exp(x-D) return exp_x / np.sum(exp_x)

以上就是python 深度學習中的4種激活函數(shù)的詳細內(nèi)容,更多關于python 激活函數(shù)的資料請關注好吧啦網(wǎng)其它相關文章!

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 专业生产动态配料系统_饲料配料系统_化肥配料系统等配料系统-郑州鑫晟重工机械有限公司 | 定时排水阀/排气阀-仪表三通旋塞阀-直角式脉冲电磁阀-永嘉良科阀门有限公司 | 天津拓展_天津团建_天津趣味运动会_天津活动策划公司-天津华天拓展培训中心 | 热熔胶网膜|pes热熔网膜价格|eva热熔胶膜|热熔胶膜|tpu热熔胶膜厂家-苏州惠洋胶粘制品有限公司 | 废旧物资回收公司_广州废旧设备回收_报废设备物资回收-益美工厂设备回收公司 | 称重传感器,测力传感器,拉压力传感器,压力变送器,扭矩传感器,南京凯基特电气有限公司 | 拉卡拉POS机官网 - 官方直营POS机办理|在线免费领取 | 罗氏牛血清白蛋白,罗氏己糖激酶-上海嵘崴达实业有限公司 | 色谱柱-淋洗液罐-巴罗克试剂槽-巴氏吸管-5ml样品瓶-SBS液氮冻存管-上海希言科学仪器有限公司 | 翰香原枣子坊加盟费多少钱-正宗枣核糕配方培训利润高飘香 | 【德信自动化】点胶机_全自动点胶机_自动点胶机厂家_塑料热压机_自动螺丝机-深圳市德信自动化设备有限公司 | 北京自然绿环境科技发展有限公司专业生产【洗车机_加油站洗车机-全自动洗车机】 | 手机游戏_热门软件app下载_好玩的安卓游戏下载基地-吾爱下载站 | 电磁流量计厂家_涡街流量计厂家_热式气体流量计-青天伟业仪器仪表有限公司 | 品牌设计_VI设计_电影海报设计_包装设计_LOGO设计-Bacross新越品牌顾问 | 除湿机|工业除湿机|抽湿器|大型地下室车间仓库吊顶防爆除湿机|抽湿烘干房|新风除湿机|调温/降温除湿机|恒温恒湿机|加湿机-杭州川田电器有限公司 | 大学食堂装修设计_公司餐厅效果图_工厂食堂改造_迈普装饰 | BOE画框屏-触摸一体机-触控查询一体机-触摸屏一体机价格-厂家直销-触发电子 | 酒万铺-酒水招商-酒水代理 | 天津云仓-天津仓储物流-天津云仓一件代发-顺东云仓 | 重庆波纹管|重庆钢带管|重庆塑钢管|重庆联进管道有限公司 | 叉车电池-叉车电瓶-叉车蓄电池-铅酸蓄电池-电动叉车蓄电池生产厂家 | 电动卫生级调节阀,电动防爆球阀,电动软密封蝶阀,气动高压球阀,气动对夹蝶阀,气动V型调节球阀-上海川沪阀门有限公司 | 硬度计_影像测量仪_维氏硬度计_佛山市精测计量仪器设备有限公司厂家 | 考勤系统_考勤管理系统_网络考勤软件_政企|集团|工厂复杂考勤工时统计排班管理系统_天时考勤 | 找果网 | 苹果手机找回方法,苹果iPhone手机丢了找回,认准找果网! | 废水处理-废气处理-工业废水处理-工业废气处理工程-深圳丰绿环保废气处理公司 | 西装定制/做厂家/公司_西装订做/制价格/费用-北京圣达信西装 | 机床主轴维修|刀塔维修|C轴维修-常州翔高精密机械有限公司 | 安全光栅|射频导纳物位开关|音叉料位计|雷达液位计|两级跑偏开关|双向拉绳开关-山东卓信机械有限公司 | 医学模型生产厂家-显微手术模拟训练器-仿真手术模拟训练系统-北京医教科技 | 「安徽双凯」自动售货机-无人售货机-成人用品-自动饮料食品零食售货机 | 香港新时代国际美容美发化妆美甲培训学校-26年培训经验,值得信赖! | 水轮机密封网 | 水轮机密封产品研发生产厂家 | 钛板_钛管_钛棒_钛盘管-无锡市盛钛科技有限公司 | 辐射仪|辐射检测仪|辐射巡测仪|个人剂量报警仪|表面污染检测仪|辐射报警仪|辐射防护网 | 视频教程导航网_视频教程之家_视频教程大全_最新视频教程分享发布平台 | BESWICK球阀,BESWICK接头,BURKERT膜片阀,美国SEL继电器-东莞市广联自动化科技有限公司 | 字典-新华字典-在线字典查字-字典趣 | 浙江栓钉_焊钉_剪力钉厂家批发_杭州八建五金制造有限公司 | 上海深蓝_缠绕机_缠膜机-上海深蓝机械装备有限公司 |