特征

  • 加速100倍,性能媲美SOTA,浙大提出无数据知识蒸馏新方法FastDFKD

    机器之心报道编辑:小舟、陈萍在无法获取到原始训练数据的情况下,你可以尝试一下这种新型蒸馏算法 FastDFKD,数据合成与现有的生成方法相比,可以实现 10 倍的加速,与非生成方法相比,甚至可以达到 100 倍以上的加速。知识蒸馏(KD)最近成为一种流行的范式,它是一种很典型的模型压缩方法,可以复用

    6天前
    0 11
  • 加速100倍,性能媲美SOTA,浙大提出无数据知识蒸馏新方法FastDFKD

    机器之心报道编辑:小舟、陈萍在无法获取到原始训练数据的情况下,你可以尝试一下这种新型蒸馏算法 FastDFKD,数据合成与现有的生成方法相比,可以实现 10 倍的加速,与非生成方法相比,甚至可以达到 100 倍以上的加速。知识蒸馏(KD)最近成为一种流行的范式,它是一种很典型的模型压缩方法,可以复用

    2022年1月9日
    0 18