重链

人工智能 社区

技能解读

当前原文的自动摘译,尚未人工审校。

内容

示例 sinkhorn_knopp 和 mhc_layer_forward 的完整 JAX 实现。深层理论动机、稳定性证明和可扩展性论证。

用途

在实现标准残差连接失败(梯度消失、表示崩溃)的深度变换器(1000+层)时使用此技能。

流狐档案 运行与权限由流狐静态检查推断,不代表作者声明或实际测试结果。
领域
人工智能
作者声明的智能体
未找到明确声明;不据此推断已兼容或已测试
静态检查
88 / 100 · 启发式扫描,不代表运行安全
运行环境证据
未执行;当前没有隔离运行测试证据
作者 / 版本 / 许可证
@diegosouzapw · 未声明许可证
上下文用量评级
低消耗
接入复杂程度
即装即用
是否需要外部接口密钥
不需要
兼容的系统
未声明(默认跨平台)
运行环境要求
Python
检测到的文件与系统行为
  • 只读
网络行为
仅限本地
安装命令数
无(仅作为资料)

需要注意: 未声明工具权限范围;实际权限由运行环境决定。

作者说明文件(原文) SKILL.md
# mHC Skill

Manifold-Constrained Hyper-Connections (mHC) uses Doubly Stochastic Matrices to improve Deep Learning stability.

## Contents

- [Examples](examples.md)
    - Full JAX implementation of `sinkhorn_knopp` and `mhc_layer_forward`.
- [Deep Theory](reference.md)
    - Motivation, stability proofs, and scalability arguments.

## Usage

Use this skill when implementing Deep Transformers (1000+ layers) where standard residual connections fail (Gradient Vanishing, Representation Collapse).

```python
# Quick Ref: Sinkhorn-Knopp (See examples.md for full context)
def sinkhorn_knopp(log_matrix, n_iters=20):
    M = jnp.exp(log_matrix)
    def body(i, m):
        m /= m.sum(axis=1, keepdims=True)
        m /= m.sum(axis=0, keepdims=True)
        return m
    return jax.lax.fori_loop(0, n_iters, body, M)
```

讨论

基于 GitHub Discussions。登录 GitHub 即可参与讨论、点赞、订阅更新。