史上最全激活函数总结篇（持续更新ing......）

1 引言2 文章和对应的激活函数2.1 激活函数总结（一）：ReLU及其变体2.1.1 Sigmoid2.1.2 Tanh2.1.3 ReLU2.1.4 Leaky ReLU2.1.5 PReLU2.1.6 Swish (SiLU)

2.2 激活函数总结（二）：ELU、SELU、GELU激活函数2.2.1 ELU2.2.2 SELU2.2.3 GELU

2.3 激活函数总结（三）：激活函数补充2.3.1 Softmax2.3.2 Softplus2.3.3 Mish2.3.4 Maxout

2.4 激活函数总结（四）：Hard系列激活函数补充(HardSigmoid、HardTanh、Hardswish)2.4.1 HardSigmoid2.4.2 HardTanh2.4.3 Hardswish

2.5 激活函数总结（五）：Shrink系列激活函数补充(HardShrink、SoftShrink、TanhShrink)2.5.1 HardShrink2.5.2 SoftShrink2.5.3 TanhShrink

2.6 激活函数总结（六）：ReLU系列激活函数补充(RReLU、CELU、ReLU6)2.6.1 RReLU2.6.2 CELU2.6.3 ReLU6

2.7 激活函数总结（七）：激活函数补充(Softsign、Threshold、Sinc)2.7.1 Softsign2.7.2 Threshold2.7.3 Sinc

2.8 激活函数总结（八）：基于Gate mechanism机制的激活函数补充(GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU)2.8.1 GLU2.8.2 SwiGLU2.8.3 GTU2.8.4 Bilinear2.8.5 ReGLU2.8.6 GEGLU

2.9 激活函数总结（九）：：Softmax系列激活函数补充(Softmin、Softmax2d、Logsoftmax)2.9.1 Softmin2.9.2 Softmax2d2.9.3 Logsoftmax

2.10 激活函数总结（十）：激活函数补充(Identity、LogSigmoid、Bent Identity)2.10.1 Identity2.10.2 LogSigmoid2.10.3 Bent Identity

2.11 激活函数总结（十一）：激活函数补充(Absolute、Bipolar、Bipolar Sigmoid)2.11.1 Absolute2.11.2 Bipolar2.11.3 Bipolar Sigmoid

2.12 激活函数总结（十二）：三角系列激活函数补充(Sinusoid、Cosine、Arcsinh、Arccosh、Arctanh)2.12.1 Sinusoid2.12.2 Cosine2.12.3 Arcsinh、Arccosh、Arctanh

2.13 激活函数总结（十三）：Tanh系列激活函数补充(LeCun Tanh、TanhExp)2.13.1 LeCun Tanh2.13.2 TanhExp

2.14 激活函数总结（十四）：激活函数补充(Gaussian 、GCU、ASU)2.14.1 Gaussian2.14.2 GCU2.14.3 ASU

2.15 激活函数总结（十五）：振荡系列激活函数补充(SQU、NCU、DSU、SSU)2.15.1 SQU2.15.2 NCU2.15.3 DSU2.15.4 SSU

2.16 激活函数总结（十六）：激活函数补充(SReLU、BReLU)2.16.1 SReLU2.16.2 BReLU

2.17 激活函数总结（十七）：激活函数补充(PELU、Phish)2.17.1 PELU2.17.2 Phish

2.18 激活函数总结（十八）：激活函数补充(RBF、SQ-RBF)2.18.1 RBF2.18.2 SQ-RBF

2.19 激活函数总结（十九）：激活函数补充(ISRU、ISRLU)2.19.1 ISRU2.19.2 ISRLU

2.20 激活函数总结（二十）：激活函数补充(SQNL、PLU)2.20.1 SQNL2.20.2 PLU

2.21 激活函数总结（二十一）：激活函数补充(APL、Inverse Cubic)2.21.1 APL2.21.2 Inverse Cubic

2.22 激活函数总结（二十二）：激活函数补充(Soft Exponential、ParametricLinear)2.22.1 Soft Exponential2.22.2 ParametricLinear

2.23 激活函数总结（二十三）：激活函数补充(Piecewise Linear Unit、CLL)2.23.1 Piecewise Linear Unit2.23.2 CLL

2.24 激活函数总结（二十四）：激活函数补充(SquaredReLU、ModReLU)2.24.1 SquaredReLU2.24.2 ModReLU

2.25 激活函数总结（二十五）：激活函数补充(CosReLU、SinReLU)2.25.1 CosReLU2.25.2 SinReLU

2.26 激活函数总结（二十六）：激活函数补充(Probit、Smish)2.26.1 Probit2.26.2 Smish

2.27 激活函数总结（二十七）：激活函数补充(Multiquadratic、InvMultiquadratic)2.27.1 Multiquadratic2.27.2 InvMultiquadratic

2.28 激活函数总结（二十八）：激活函数补充(PSmish、ESwish)2.28.1 PSmish2.28.2 ESwish

2.29 激活函数总结（二十九）：激活函数补充(CoLU、ShiftedSoftPlus)2.29.1 CoLU2.29.2 ShiftedSoftPlus

2.30 激活函数总结（三十）：激活函数补充(Logit、Softsign)2.30.1 Logit2.30.2 Softsign

2.31 激活函数总结（三十一）：激活函数补充(ELiSH、Hard ELiSH)2.31.1 ELiSH2.31.2 Hard ELiSH

2.32 激活函数总结（三十二）：激活函数补充(Serf、FReLU)2.32.1 Serf2.32.2 FReLU

2.33 激活函数总结（三十三）：激活函数补充(QReLU、m-QReLU)2.33.1 QReLU2.33.2 m-QReLU

2.34 激活函数总结（三十四）：激活函数补充(FReLU、CReLU)2.34.1 FReLU2.34.2 CReLU

2.35 激活函数总结（三十五）：激活函数补充(KAF、Siren)2.35.1 KAF2.35.2 Siren

2.36 激活函数总结（三十六）：激活函数补充(ARiA、m-arcsinh)2.36.1 ARiA2.36.2 m-arcsinh

2.37 激活函数总结（三十七）：激活函数补充(PAU、DELU)2.37.1 PAU2.37.2 DELU

2.38 激活函数总结（三十八）：激活函数补充(PDELU、CosLU)2.38.1 PDELU2.38.2 CosLU

2.39 激活函数总结（三十九）：激活函数补充(NFN、Hermite)2.39.1 NFN2.39.2 Hermite

2.40 激活函数总结（四十）：激活函数补充(AHAF、SERLU)2.40.1 AHAF2.40.2 SERLU

2.41 激活函数总结（四十一）：激活函数补充(ShiLU、ReLUN)2.41.1 ShiLU2.41.2 ReLUN

2.42 激活函数总结（四十二）：激活函数补充(SSFG、Gumbel Cross Entropy)2.42.1 SSFG2.42.2 Gumbel Cross Entropy

2.43 激活函数总结（四十三）：激活函数补充(ScaledSoftSign、NormLinComb)2.43.1 ScaledSoftSign2.43.2 NormLinComb

2.44 激活函数总结（四十四）：激活函数补充(NLSIG、EvoNorms)2.44.1 NLSIG2.44.2 EvoNorms

2.45 激活函数总结（四十五）：激活函数补充(Smooth Step、LinComb)2.45.1 Smooth Step2.45.2 LinComb

2.46 激活函数总结（四十六）：激活函数补充(Nipuna、StarReLU)2.46.1 Nipuna2.46.2 StarReLU

2.47 激活函数总结（四十七）：激活函数补充(Adaptive Spline Activation Function、Adversarial Soft Advantage Fitting)2.47.1 Adaptive Spline Activation Function2.47.2 Adversarial Soft Advantage Fitting

3 总结

1 引言

刚开始只是想简单介绍和总结下现有的激活函数，结果越讲越多。现在不得不开一篇新的文章来对激活函数总的内容进行标注，这样大家可以方便查找各种各样的激活函数。 目前来说（截止2023.9.28日），该激活函数版本是最全激活函数版本。后续会看情况进行更新，如果有没有提及到的激活函数，请在评论区留言，后续会将所有提及到的激活函数进行更新，可以持续关注，谢谢。。。。

激活函数系列中提及到的激活函数包括：Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、Threshold、Sinc、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax、Identity、LogSigmoid、Bent Identity、Absolute、Bipolar、Bipolar Sigmoid、Sinusoid、Cosine、Arcsinh、Arccosh、Arctanh、LeCun Tanh、TanhExp、Gaussian 、GCU、ASU、SQU、NCU、DSU、SSU、SReLU、BReLU、PELU、Phish、RBF、SQ-RBF、ISRU、ISRLU、SQNL、PLU、APL、Inverse Cubic、Soft Exponential、ParametricLinear、Piecewise Linear Unit、CLL、SquaredReLU、ModReLU、CosReLU、SinReLU、Probit、Smish、Multiquadratic、InvMultiquadratic、PSmish、ESwish、CoLU、ShiftedSoftPlus、Logit、Softsign、ELiSH、Hard ELiSH、Serf、FReLU、QReLU、m-QReLU、FReLU、CReLU、KAF、Siren、ARiA、m-arcsinh、PAU、DELU、PDELU、CosLU、NFN、Hermite、AHAF、SERLU、ShiLU、ReLUN、SSFG、Gumbel Cross Entropy、ScaledSoftSign、NormLinComb、NLSIG、EvoNorms、Smooth Step、LinComb、Nipuna、StarReLU、Adaptive Spline Activation Function、Adversarial Soft Advantage Fitting

2 文章和对应的激活函数

2.1 激活函数总结（一）：ReLU及其变体

文章链接：激活函数总结（一）：ReLU及其变体

2.1.1 Sigmoid

2.1.2 Tanh

2.1.3 ReLU

2.1.4 Leaky ReLU

2.1.5 PReLU

2.1.6 Swish (SiLU)

2.2 激活函数总结（二）：ELU、SELU、GELU激活函数

文章链接：激活函数总结（二）：ELU、SELU、GELU激活函数

2.2.1 ELU

2.2.2 SELU

2.2.3 GELU

2.3 激活函数总结（三）：激活函数补充

文章链接：激活函数总结（三）：激活函数补充

2.3.1 Softmax

2.3.2 Softplus

2.3.3 Mish

2.3.4 Maxout

2.4 激活函数总结（四）：Hard系列激活函数补充(HardSigmoid、HardTanh、Hardswish)

文章链接：激活函数总结（四）：Hard系列激活函数补充(HardSigmoid、HardTanh、Hardswish)

2.4.1 HardSigmoid

2.4.2 HardTanh

2.4.3 Hardswish

2.5 激活函数总结（五）：Shrink系列激活函数补充(HardShrink、SoftShrink、TanhShrink)

文章链接：激活函数总结（五）：Shrink系列激活函数补充(HardShrink、SoftShrink、TanhShrink)

2.5.1 HardShrink

2.5.2 SoftShrink

2.5.3 TanhShrink

2.6 激活函数总结（六）：ReLU系列激活函数补充(RReLU、CELU、ReLU6)

文章链接：激活函数总结（六）：ReLU系列激活函数补充(RReLU、CELU、ReLU6)

2.6.1 RReLU

2.6.2 CELU

2.6.3 ReLU6

2.7 激活函数总结（七）：激活函数补充(Softsign、Threshold、Sinc)

文章链接：激活函数总结（七）：激活函数补充(Softsign、Threshold、Sinc)

2.7.1 Softsign

2.7.2 Threshold

2.7.3 Sinc

2.8 激活函数总结（八）：基于Gate mechanism机制的激活函数补充(GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU)

文章链接：激活函数总结（八）：基于Gate mechanism机制的激活函数补充(GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU)

2.8.1 GLU

2.8.2 SwiGLU

2.8.3 GTU

2.8.4 Bilinear

2.8.5 ReGLU

2.8.6 GEGLU

2.9 激活函数总结（九）：：Softmax系列激活函数补充(Softmin、Softmax2d、Logsoftmax)

文章链接：激活函数总结（九）：：Softmax系列激活函数补充(Softmin、Softmax2d、Logsoftmax)

2.9.1 Softmin

2.9.2 Softmax2d

2.9.3 Logsoftmax

2.10 激活函数总结（十）：激活函数补充(Identity、LogSigmoid、Bent Identity)

文章链接：激活函数总结（十）：激活函数补充(Identity、LogSigmoid、Bent Identity)

2.10.1 Identity

2.10.2 LogSigmoid

2.10.3 Bent Identity

2.11 激活函数总结（十一）：激活函数补充(Absolute、Bipolar、Bipolar Sigmoid)

文章链接：激活函数总结（十一）：激活函数补充(Absolute、Bipolar、Bipolar Sigmoid)

2.11.1 Absolute

2.11.2 Bipolar

2.11.3 Bipolar Sigmoid

2.12 激活函数总结（十二）：三角系列激活函数补充(Sinusoid、Cosine、Arcsinh、Arccosh、Arctanh)

文章链接：激活函数总结（十二）：三角系列激活函数补充(Sinusoid、Cosine、Arcsinh、Arccosh、Arctanh)

2.12.1 Sinusoid

2.12.2 Cosine

2.12.3 Arcsinh、Arccosh、Arctanh

2.13 激活函数总结（十三）：Tanh系列激活函数补充(LeCun Tanh、TanhExp)

文章链接：激活函数总结（十三）：Tanh系列激活函数补充(LeCun Tanh、TanhExp)

2.13.1 LeCun Tanh

2.13.2 TanhExp

2.14 激活函数总结（十四）：激活函数补充(Gaussian 、GCU、ASU)

文章链接：激活函数总结（十四）：激活函数补充(Gaussian 、GCU、ASU)

2.14.1 Gaussian

2.14.2 GCU

2.14.3 ASU

2.15 激活函数总结（十五）：振荡系列激活函数补充(SQU、NCU、DSU、SSU)

文章链接：激活函数总结（十五）：振荡系列激活函数补充(SQU、NCU、DSU、SSU)

2.15.1 SQU

2.15.2 NCU

2.15.3 DSU

2.15.4 SSU

2.16 激活函数总结（十六）：激活函数补充(SReLU、BReLU)

文章链接：激活函数总结（十六）：激活函数补充(SReLU、BReLU)

2.16.1 SReLU

2.16.2 BReLU

2.17 激活函数总结（十七）：激活函数补充(PELU、Phish)

文章链接：激活函数总结（十七）：激活函数补充(PELU、Phish)

2.17.1 PELU

2.17.2 Phish

2.18 激活函数总结（十八）：激活函数补充(RBF、SQ-RBF)

文章链接：激活函数总结（十八）：激活函数补充(RBF、SQ-RBF)

2.18.1 RBF

2.18.2 SQ-RBF

2.19 激活函数总结（十九）：激活函数补充(ISRU、ISRLU)

文章链接：激活函数总结（十九）：激活函数补充(ISRU、ISRLU)

2.19.1 ISRU

2.19.2 ISRLU

2.20 激活函数总结（二十）：激活函数补充(SQNL、PLU)

文章链接：激活函数总结（二十）：激活函数补充(SQNL、PLU)

2.20.1 SQNL

2.20.2 PLU

2.21 激活函数总结（二十一）：激活函数补充(APL、Inverse Cubic)

文章链接：激活函数总结（二十一）：激活函数补充(APL、Inverse Cubic)

2.21.1 APL

2.21.2 Inverse Cubic

2.22 激活函数总结（二十二）：激活函数补充(Soft Exponential、ParametricLinear)

文章链接：激活函数总结（二十二）：激活函数补充(Soft Exponential、ParametricLinear)

2.22.1 Soft Exponential

2.22.2 ParametricLinear

2.23 激活函数总结（二十三）：激活函数补充(Piecewise Linear Unit、CLL)

文章链接：激活函数总结（二十三）：激活函数补充(Piecewise Linear Unit、CLL)

2.23.1 Piecewise Linear Unit

2.23.2 CLL

2.24 激活函数总结（二十四）：激活函数补充(SquaredReLU、ModReLU)

文章链接：激活函数总结（二十四）：激活函数补充(SquaredReLU、ModReLU)

2.24.1 SquaredReLU

2.24.2 ModReLU

2.25 激活函数总结（二十五）：激活函数补充(CosReLU、SinReLU)

文章链接：激活函数总结（二十五）：激活函数补充(CosReLU、SinReLU)

2.25.1 CosReLU

2.25.2 SinReLU

2.26 激活函数总结（二十六）：激活函数补充(Probit、Smish)

文章链接：激活函数总结（二十六）：激活函数补充(Probit、Smish)

2.26.1 Probit

2.26.2 Smish

2.27 激活函数总结（二十七）：激活函数补充(Multiquadratic、InvMultiquadratic)

文章链接：激活函数总结（二十七）：激活函数补充(Multiquadratic、InvMultiquadratic)

2.27.1 Multiquadratic

2.27.2 InvMultiquadratic

2.28 激活函数总结（二十八）：激活函数补充(PSmish、ESwish)

文章链接：激活函数总结（二十八）：激活函数补充(PSmish、ESwish)

2.28.1 PSmish

2.28.2 ESwish

2.29 激活函数总结（二十九）：激活函数补充(CoLU、ShiftedSoftPlus)

文章链接：激活函数总结（二十九）：激活函数补充(CoLU、ShiftedSoftPlus)

2.29.1 CoLU

2.29.2 ShiftedSoftPlus

2.30 激活函数总结（三十）：激活函数补充(Logit、Softsign)

文章链接：激活函数总结（三十）：激活函数补充(Logit、Softsign)

2.30.1 Logit

2.30.2 Softsign

2.31 激活函数总结（三十一）：激活函数补充(ELiSH、Hard ELiSH)

文章链接：激活函数总结（三十一）：激活函数补充(ELiSH、Hard ELiSH)

2.31.1 ELiSH

2.31.2 Hard ELiSH

2.32 激活函数总结（三十二）：激活函数补充(Serf、FReLU)

文章链接：激活函数总结（三十二）：激活函数补充(Serf、FReLU)

2.32.1 Serf

2.32.2 FReLU

2.33 激活函数总结（三十三）：激活函数补充(QReLU、m-QReLU)

文章链接：激活函数总结（三十三）：激活函数补充(QReLU、m-QReLU)

2.33.1 QReLU

2.33.2 m-QReLU

2.34 激活函数总结（三十四）：激活函数补充(FReLU、CReLU)

文章链接：激活函数总结（三十四）：激活函数补充(FReLU、CReLU)

2.34.1 FReLU

2.34.2 CReLU

2.35 激活函数总结（三十五）：激活函数补充(KAF、Siren)

文章链接：激活函数总结（三十五）：激活函数补充(KAF、Siren)

2.35.1 KAF

2.35.2 Siren

2.36 激活函数总结（三十六）：激活函数补充(ARiA、m-arcsinh)

文章链接：激活函数总结（三十六）：激活函数补充(ARiA、m-arcsinh)

2.36.1 ARiA

2.36.2 m-arcsinh

2.37 激活函数总结（三十七）：激活函数补充(PAU、DELU)

文章链接：激活函数总结（三十七）：激活函数补充(PAU、DELU)

2.37.1 PAU

2.37.2 DELU

2.38 激活函数总结（三十八）：激活函数补充(PDELU、CosLU)

文章链接：激活函数总结（三十八）：激活函数补充(PDELU、CosLU)

2.38.1 PDELU

2.38.2 CosLU

2.39 激活函数总结（三十九）：激活函数补充(NFN、Hermite)

文章链接：激活函数总结（三十九）：激活函数补充(NFN、Hermite)

2.39.1 NFN

2.39.2 Hermite

2.40 激活函数总结（四十）：激活函数补充(AHAF、SERLU)

文章链接：激活函数总结（四十）：激活函数补充(AHAF、SERLU)

2.40.1 AHAF

2.40.2 SERLU

2.41 激活函数总结（四十一）：激活函数补充(ShiLU、ReLUN)

文章链接：激活函数总结（四十一）：激活函数补充(ShiLU、ReLUN)

2.41.1 ShiLU

2.41.2 ReLUN

2.42 激活函数总结（四十二）：激活函数补充(SSFG、Gumbel Cross Entropy)

文章链接：激活函数总结（四十二）：激活函数补充(SSFG、Gumbel Cross Entropy)

2.42.1 SSFG

2.42.2 Gumbel Cross Entropy

2.43 激活函数总结（四十三）：激活函数补充(ScaledSoftSign、NormLinComb)

文章链接：激活函数总结（四十三）：激活函数补充(ScaledSoftSign、NormLinComb)

2.43.1 ScaledSoftSign

2.43.2 NormLinComb

2.44 激活函数总结（四十四）：激活函数补充(NLSIG、EvoNorms)

文章链接：激活函数总结（四十四）：激活函数补充(NLSIG、EvoNorms)

2.44.1 NLSIG

2.44.2 EvoNorms

2.45 激活函数总结（四十五）：激活函数补充(Smooth Step、LinComb)

文章链接：激活函数总结（四十五）：激活函数补充(Smooth Step、LinComb)

2.45.1 Smooth Step

2.45.2 LinComb

2.46 激活函数总结（四十六）：激活函数补充(Nipuna、StarReLU)

文章链接：激活函数总结（四十六）：激活函数补充(Nipuna、StarReLU)

2.46.1 Nipuna

2.46.2 StarReLU

2.47 激活函数总结（四十七）：激活函数补充(Adaptive Spline Activation Function、Adversarial Soft Advantage Fitting)

文章链接：激活函数总结（四十七）：激活函数补充(Adaptive Spline Activation Function、Adversarial Soft Advantage Fitting)

2.47.1 Adaptive Spline Activation Function

2.47.2 Adversarial Soft Advantage Fitting

3 总结

目前大体上就这些激活函数了，可能还有一些最近提及或者是不常用的，没有提及到的激活函数欢迎在评论区留言。作者会后续更新的。。。。 另外，下个篇章即将开始关于损失函数的更新，关于激活函数系列不足的地方也欢迎在评论区指出。

如果觉得这篇文章对你有用，记得点赞、收藏并分享给你的小伙伴们哦😄。