kreasof-ai/OpenFormer
📦 开源项目kreasof-ai
基于 tinygrad 的可定制化 Transformer 运行与微调库，支持多种 GPU 硬件。
OpenFormer 是一个专为 Transformer 架构设计的轻量级接口，构建于 tinygrad 生态系统之上。与庞大的主流框架不同，OpenFormer 优先考虑代码的可定制性和透明度，使用户能够轻松检查并修改底层的注意力机制及层实现。它特别适合那些希望在非标准硬件（如替代性 GPU 或边缘设备）上部署模型的开发者。通过在保持与 tinygrad 张量操作直接联系的同时抽象化 Transformer 操作，该库支持对液体神经网络（Liquid Neural Networks）和现代注意力变体进行快速原型设计。它专为那些需要在不依赖重型生产框架的情况下，对训练循环和模型权重进行精细化控制的用户而打造。