电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術文章
文章詳情頁

python 深度學習中的4種激活函數

瀏覽:8日期:2022-07-10 18:42:28

這篇文章用來整理一下入門深度學習過程中接觸到的四種激活函數,下面會從公式、代碼以及圖像三個方面介紹這幾種激活函數,首先來明確一下是哪四種:

Sigmoid函數 Tahn函數 ReLu函數 SoftMax函數

激活函數的作用

下面圖像A是一個線性可分問題,也就是說對于兩類點(藍點和綠點),你通過一條直線就可以實現完全分類。

python 深度學習中的4種激活函數

當然圖像A是最理想、也是最簡單的一種二分類問題,但是現實中往往存在一些非常復雜的線性不可分問題,比如圖像B,你是找不到任何一條直線可以將圖像B中藍點和綠點完全分開的,你必須圈出一個封閉曲線。

而激活函數就是幫助'繪制'這個封閉曲線的非線性函數,有了激活函數的幫助,很多算法的處理能力會得到加強,也可以處理線性不可分問題。

Sigmoid函數

Sigmoid函數曾在介紹邏輯回歸時提起過,它的數學表達式為:

python 深度學習中的4種激活函數

其中 e 為納皮爾常數,其值為2.7182... 它的圖像如下:

python 深度學習中的4種激活函數

可以觀察出圖像的一些特點:

曲線的值域為(0,1) 當x = 0時,Sigmoid函數值為0.5 隨著 x 不斷增大,Sigmoid函數值無限趨近于1 隨著 x 不斷減小,Sigmoid函數值無限趨近于0

對于梯度下降法而言,信息的更新很大程度上都取決于梯度,而Sigmoid函數一個很明顯的缺點就是當函數值特別靠近0或1這兩端時,因為它的曲線已經近乎平緩,所以此時的梯度幾乎為0,這樣非常不利于權重的更新,從而就會導致模型不收斂。

Sigmoid函數的代碼如下:

import numpy as npdef tanh(x): return (exp(x)-exp(-x))/(exp(x)+exp(-x))

Tanh函數

Tanh函數是雙曲正切函數,它的的數學表達式為:

python 深度學習中的4種激活函數

Tanh函數和Sigmoid函數非常相近,這點從圖像上可以很好的體現:

python 深度學習中的4種激活函數

這兩個函數相同的是,當輸入的 x 值很大或者很小時,對應函數輸出的 y 值近乎相等,同樣的缺點也是梯度特別小,非常不利于權重的更新;不同的是Tanh函數的值域為(-1,1),并且當 x = 0 時,輸出的函數值為0。

Tanh函數的代碼如下:

import numpy as npdef tanh(x): return (exp(x)-exp(-x))/(exp(x)+exp(-x))

ReLu函數

ReLu是線性整流函數,又稱為修正性線性單元,它的函數的數學表達式為

python 深度學習中的4種激活函數

Tanh是一個分段函數,它的圖像如下:

python 深度學習中的4種激活函數

圖像很容易理解,若輸入的 x 值小于0,則輸出為也為0;若輸入的 x 值大于0,則直接輸出 x 值,需要注意的是ReLu函數在x = 0 處不連續(不可導),但同樣也可以作為激活函數。

與Sigmoid函數和Tanh函數相比,ReLu函數一個很明顯的優點就是在應用梯度下降法是收斂較快,當輸入值為整數時,不會出現梯度飽和的問題,因為大于0的部分是一個線性關系,這個優點讓ReLu成為目前應用較廣的激活函數。

ReLu函數的代碼如下:

import numpy as npdef relu(x): return np.maximum(0,x)

SoftMax函數

分類問題可以分為二分類問題和多分類問題,Sigmoid函數比較適合二分類問題,而SoftMax函數更加適合多分類問題。SoftMax函數的數學表達式為:

python 深度學習中的4種激活函數

其中Vi表示分類器的輸出,i表示類別索引,總的類別個數為C,Si表示當前元素的指數與所有元素指數和的比值。概括來說,SoftMax函數將多分類的輸出值按比例轉化為相對概率,使輸出更容易理解和比較。

為了防止SoftMax函數計算時出現上溢出或者下溢出的問題,通常會提前對 V 做一些數值處理,即每個 V 減去 V 中的最大值,假設D=max(V),SoftMax函數數學表達式更改為:

python 深度學習中的4種激活函數

因為SoftMax函數計算的是概率,所以無法用圖像進行展示,SoftMax函數的代碼如下:

import numpy as npdef softmax(x): D = np.max(x) exp_x = np.exp(x-D) return exp_x / np.sum(exp_x)

以上就是python 深度學習中的4種激活函數的詳細內容,更多關于python 激活函數的資料請關注好吧啦網其它相關文章!

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 电动葫芦|手拉葫芦|环链电动葫芦|微型电动葫芦-北京市凌鹰起重机械有限公司 | 全自动烧卖机厂家_饺子机_烧麦机价格_小笼汤包机_宁波江北阜欣食品机械有限公司 | 模温机-油温机-电加热导热油炉-工业冷水机「欧诺智能」 | 民用音响-拉杆音响-家用音响-ktv专用音响-万昌科技 | 高光谱相机-近红外高光谱相机厂家-高光谱成像仪-SINESPEC 赛斯拜克 | 写方案网_方案策划方案模板下载| 电子海图系统-电梯检验系统-智慧供热系统开发-商品房预售资金监管系统 | 安德建奇火花机-阿奇夏米尔慢走丝|高维|发那科-北京杰森柏汇 | 爱德华真空泵油/罗茨泵维修,爱发科-比其尔产品供应东莞/杭州/上海等全国各地 | 底部填充胶_电子封装胶_芯片封装胶_芯片底部填充胶厂家-东莞汉思新材料 | 创绿家招商加盟网-除甲醛加盟-甲醛治理加盟-室内除甲醛加盟-创绿家招商官网 | 热缩管切管机-超声波切带机-织带切带机-无纺布切布机-深圳市宸兴业科技有限公司 | 欧美日韩国产一区二区三区不_久久久久国产精品无码不卡_亚洲欧洲美洲无码精品AV_精品一区美女视频_日韩黄色性爱一级视频_日本五十路人妻斩_国产99视频免费精品是看4_亚洲中文字幕无码一二三四区_国产小萍萍挤奶喷奶水_亚洲另类精品无码在线一区 | 世界箱包品牌十大排名,女包小众轻奢品牌推荐200元左右,男包十大奢侈品牌排行榜双肩,学生拉杆箱什么品牌好质量好 - Gouwu3.com | 吸污车_吸粪车_抽粪车_电动三轮吸粪车_真空吸污车_高压清洗吸污车-远大汽车制造有限公司 | 一体化净水器_一体化净水设备_一体化水处理设备-江苏旭浩鑫环保科技有限公司 | 动物解剖台-成蚊接触筒-标本工具箱-负压实验台-北京哲成科技有限公司 | 电动百叶窗,开窗器,电动遮阳百叶,电动开窗机生产厂家-徐州鑫友工控科技发展有限公司 | 房车价格_依维柯/大通/东风御风/福特全顺/江铃图片_云梯搬家车厂家-程力专用汽车股份有限公司 | 礼仪庆典公司,礼仪策划公司,庆典公司,演出公司,演艺公司,年会酒会,生日寿宴,动工仪式,开工仪式,奠基典礼,商务会议,竣工落成,乔迁揭牌,签约启动-东莞市开门红文化传媒有限公司 | 长沙印刷厂-包装印刷-画册印刷厂家-湖南省日大彩色印务有限公司 青州搬家公司电话_青州搬家公司哪家好「鸿喜」青州搬家 | 底部填充胶_电子封装胶_芯片封装胶_芯片底部填充胶厂家-东莞汉思新材料 | 水质传感器_水质监测站_雨量监测站_水文监测站-山东水境传感科技有限公司 | 河南生物显微镜,全自动冰冻切片机-河南荣程联合科技有限公司 | 色油机-色母机-失重|称重式混料机-称重机-米重机-拌料机-[东莞同锐机械]精密计量科技制造商 | 带式压滤机_污泥压滤机_污泥脱水机_带式过滤机_带式压滤机厂家-河南恒磊环保设备有限公司 | 阜阳成人高考_阜阳成考报名时间_安徽省成人高考网 | 网站建设-高端品牌网站设计制作一站式定制_杭州APP/微信小程序开发运营-鼎易科技 | RO反渗透设备_厂家_价格_河南郑州江宇环保科技有限公司 | 耐酸泵,耐腐蚀真空泵,耐酸真空泵-淄博华舜耐腐蚀真空泵有限公司 精密模具-双色注塑模具加工-深圳铭洋宇通 | 欧盟ce检测认证_reach检测报告_第三方检测中心-深圳市威腾检验技术有限公司 | 全自动端子机|刺破式端子压接机|全自动双头沾锡机|全自动插胶壳端子机-东莞市傅氏兄弟机械设备有限公司 | 诚暄电子公司首页-线路板打样,pcb线路板打样加工制作厂家 | MVE振动电机_MVE震动电机_MVE卧式振打电机-河南新乡德诚生产厂家 | 橡胶接头_橡胶软接头_可曲挠橡胶接头-巩义市创伟机械制造有限公司 | 大米加工设备|大米加工机械|碾米成套设备|大米加工成套设备-河南成立粮油机械有限公司 | 高压贴片电容|贴片安规电容|三端滤波器|风华电容代理南京南山 | 耐腐蚀泵,耐腐蚀真空泵,玻璃钢真空泵-淄博华舜耐腐蚀真空泵有限公司 | 谷梁科技| 贝朗斯动力商城(BRCPOWER.COM) - 买叉车蓄电池上贝朗斯商城,价格更超值,品质有保障! | 破碎机锤头_合金耐磨锤头_郑州宇耐机械工程技术有限公司 |