开源
Lime:解释型机器学习分类器的工具包
来源:元经纪     阅读:1173
网站管理员
发布于 2023-01-29 07:57
查看主页

概述

这个项目是关于解释机器学习分类器(或模型)在做什么。目前,我们支持解释对文本分类器或作用于表格(数字或分类数据的 numpy 数组)或图像的分类器的个别预测,使用名为 lime(本地可解释模型不可知解释的缩写)的包。Lime 基于本文介绍的工作(bibtex here for citation)。Lime 能够解释任何具有两个或更多类别的黑盒分类器。我们所需要的只是分类器实现一个函数,该函数接收原始文本或 numpy 数组并输出每个类的概率。内置对 scikit-learn 分类器的支持。

lime 包在PyPI上。只需运行:

pip install lime

或者克隆存储库并运行:

pip install .

截图

下面是石灰解释的一些截图。这些是在 html 中生成的,可以很容易地生成并嵌入到 ipython 笔记本中。我们还支持使用 matplotlib 进行可视化,尽管它们看起来不如这些可视化。

二级案例,文本

[hidecontent type="logged" desc="隐藏内容:登录后可查看"]

否定(蓝色)词表示无神论,而正面(橙色)词表示基督教。通过将权重应用于预测概率来解释权重的方法。例如,如果我们从文档中删除单词 Host 和 NNTP,我们期望分类器以 0.58 - 0.14 - 0.11 = 0.31 的概率预测无神论。

多类案例

表格数据

图片(解释预测“猫”的优缺点)

教程和 API

例如文本分类器的用法,请查看以下两个教程(从 ipython 笔记本生成):

对于使用数字或分类数据的分类器,请查看以下教程(这是较新的,所以如果您发现错误,请告诉我):

对于图像分类器:

对于回归:

子模块选择:

这些教程的原始(非 html)笔记本可在此处获得。

API 参考可在此处获得。

什么是解释?

直观上,解释是模型行为的局部线性近似。虽然模型在全局范围内可能非常复杂,但在特定实例附近对其进行近似比较容易。在将模型视为黑盒的同时,我们扰乱了我们想要解释的实例,并围绕它学习了一个稀疏线性模型,作为解释。下图说明了此过程的直觉。该模型的决策函数由蓝色/粉红色背景表示,显然是非线性的。明亮的红色十字是正在解释的实例(我们称之为 X)。我们对 X 周围的实例进行采样,并根据它们与 X 的接近程度对它们进行加权(这里的权重由大小表示)。然后我们学习一个线性模型(虚线),它在 X 附近很好地近似模型,但不一定是全局的。阅读我们的论文,或查看这篇博文。

[/hidecontent]

 
免责声明:本文为用户发表,不代表网站立场,仅供参考,不构成引导等用途。 开源
“超级光盘”是这样诞生的
随着元宇宙技术的崛起,未来会发生怎样的改变?
杨幂开箱上手华为Mate XT非凡大师:横竖都好用
前程无忧2024年春季招聘行情:四成雇主社招量与2023同期持平,维持去年同期校招量的雇主仅为29%
全新的vivoX200系列正式登场

首页

分类

定制方案

消息

我的