DeepMind 发布全新模型设计工具 Tracr：从可解释逻辑反向搭建模型

DeepMind 发布全新模型设计工具 Tracr：从可解释逻辑反向搭建模型

「可解释性」一直是深度学习难以绕过的难题，用户无法理解模型的运行机制，也就无法放心地把模型应用到实际场景中。

最近来自苏黎世联邦理工学院和 DeepMind 的研究人员提出了一种全新的模型构造工具 Tracr，直接由人来根据「已知的机制」针对不同任务编写代码，然后由 Tracr 编译成模型的权重，让模型的解释变得更轻松。

Tracr 的输入为采用领域特定语言 RASP 编写的代码，输出为标准的、仅包含解码器的、类似 GPT 的 Transformer 结构的权重。

在实验部分，研究人员使用 Tracr 创建了一系列 ground truth Transformers，实现了包括计算 token 频率、排序和 Dyck-n 括号检查等程序。