COMP737022-Course Info

COMP737022 : Trustworthy Machine Learning (可信机器学习)

课程简介/Course Introduction

随着机器学习系统在现实生活中的广泛部署，确保这些系统是可信的，即安全的、鲁棒的、可解释的、保护隐私的、公平的、知识产权受保护的等，变的尤为重要。可信机器学习属于机器学习的新兴分支领域，旨在解决现有机器学习算法和模型的可信性问题，并最终实现“负责任”、“可信赖”的人工智能。本课程将系统的介绍可信机器学习的主要研究方向，以及在每个方向下当前机器学习算法与模型所存在的问题和现有的解决方案。具体地，课程首先简要回顾机器学习基本概念，然后依次展开介绍可解释性、普通鲁棒性、对抗鲁棒性（对抗攻击与防御）、数据投毒（数据投毒与防御）、后门鲁棒性（后门攻击与防御）、隐私性（数据泄露与模型窃取）、差分隐私、联邦学习、公平性、数据篡改与伪造、模型知识产权保护以及科学前沿讲座等内容。学生将在实践中建立对可信机器学习的全面了解，参加课堂对抗攻防比赛，参与开源社区构建，并独立完成一个自选课题的研究。

在线课堂会议链接: https://meeting.tencent.com/dm/OVZVKDNvsPej
#腾讯会议: 495-1168-7986
会议密码: 203630

教学目标/Course Object

本课程的重点在于向学生介绍可信机器学习的主要研究方向、各方向上当前机器学习所面临的问题以及可能的解决方案，使学生能够系统全面的了解可信机器学习这一新兴研究领域，并熟练掌握各类攻击和防御方法，同时培养学生发现问题解决问题的能力和致力于做“负责任”、“可信赖”人工智能的热情。

教学内容及进度安排/Course Content & Schedule

教学周 Week	课件 Slides	教学内容及预期效果 Content & Expected Achievement	作业/实验/实践 Assignment
1	Week 1.pdf	介绍机器学习基本概念，包括典型学习范式、损失函数、优化方法、模型、训练方式以及代表性应用场景，帮助学生建立对机器学习的宏观理解。
2	Week 2.pdf	可解释性和普通噪声鲁棒性：介绍机器学习可解释性方面的主要思路和代表性方法，介绍机器学习模型对普通噪声的鲁棒性，帮助学生快速建立分析、解释和评估模型的能力。
3	Week 3.pdf	对抗样本：介绍常见的白盒和黑盒对抗攻击方法以及现有对对抗样本的解释。
4	Week 4.pdf	对抗防御（上）：介绍对抗样本检测方法，使学生了解基本检测原理和实际应用所面临的挑战。	课堂对抗攻击赛（ click here to participate ）
5	N/A	National holiday break	课堂对抗攻击赛（ click here to participate ）
6	Week 6.pdf	对抗防御（下）介绍早期的对抗样本防御方法以及它们的不可靠性，介绍对抗训练方法，使学生了解对抗训练的理论基础、训练方法和技巧，以及尚存在的挑战。	课堂对抗攻击赛（ click here to participate ）
7	Week 7.pdf	数据投毒和防御：介绍经典数据投毒攻击方法和相关的防御方法。	课堂对抗攻击赛（ click here to participate ）
8	Week 8.pdf	后门攻击和防御：介绍后门攻击方法及其存在的深层原因，使学生了解机器学习模型的记忆功能。	课堂对抗攻击赛（ click here to participate ）
9	Week 9.pdf	数据泄露和模型窃取：介绍由机器学习模型的记忆功能所引发的两个隐私性问题，即数据泄露和模型窃取，使学生了解常见的数据和模型窃取方法。	课堂对抗攻击赛（ click here to participate ）
10	Week 10.pdf	差分隐私：介绍差分隐私的基本概念和典型方法，使学生了解成员推理攻击以及防御方法。
11	Week 11.pdf	数据篡改与伪造：介绍传统的图像视频篡改算法、基于深度模型的Deepfake及检测方法，使学生了解检测篡改与伪造数据的必要性和挑战。
12	Week 12.pdf	联邦学习：介绍联邦学习的基本概念、其隐私保护的功能、收敛性问题以及联邦学习中存在的隐私和投毒攻击和防御。	课程大作业（ click here to register ）
13	Week 13.pdf	公平性：介绍传统机器学习和联邦学习中所面临的典型公平性问题和解决办法，使学生了解偏见的几种常见形式和无偏学习的原理。简单介绍AI伦理相关知识。
14	Week 14.pdf	模型知识产权保护：介绍模型知识产权保护的经典方法，包括模型水印、模型指纹以及基于深度学习测试的方法，使学生了解经典的模型知识产权保护方法和它们的优缺点。
15	To appear	科学前沿讲座：邀请1-2位国内外学者做可信机器学习方面的研究前沿讲座
16	To appear	课程大作业汇报
17	To appear	课程大作业汇报
18

课程考核及成绩评定/Course Assessment & Grading

The course assessment standard will involve attendance, assignment(s), course paper and other(s).

考核形式* Assessment Criteria	权重 Percentage	评定标准 Assessment Standard
出勤 Attendance	10%	全勤10分，缺席1次扣1分
课堂表现 Participation	0%
作业/实验/实践 Assignment(s)	20%	基于Kaggle的课堂对抗攻防赛（20%）
课程论文 Course Paper	60%	学生自选研究题目，解决一个可信机器学习问题，设计自己的方法并与基线方法比较。 40分以上：选题新颖，方法创新，具备学术价值和现实意义、写作规范，行文流畅。 30分以上：选题合理，观点明确，思路清晰，方法具有一定的创新。 30分以下：背景知识缺乏了解，选题、方法设计、分析不能达到基本要求。
开卷考试 Open-book exam	0%
闭卷考试 Close-book exam	0%
其他 Other(s)	10%	开源社区贡献（10%），包括但不限于收集各研究方向的论文、设计开源示例、整合并复现各研究方向的基线方法、建设开源社区等。

任课教师简介/Profile of Instructor(s)

Xingjun Ma

马兴军，复旦大学计算机科学与技术学院青年研究员、博士生导师。墨尔本大学博士、墨尔本大学博士后、迪肯大学助理教授。主要研究方向为可信机器学习、深度学习和计算机视觉。在国际知名会议和期刊发表论文30余篇，并担任国际知名期刊审稿人、国际会议程序委员会委员。研究成果多次被机器学习领域国际会议ICML和ICLR评为口头报告和亮点论文，并获得国际知名媒体MIT Technology Review的报道。获得一项最佳论文奖和一项最佳论文奖第二名。所提出的鲁棒训练方法、鲁棒模型结构和鲁棒损失函数被广泛应用于图像识别、物体分割、自动驾驶、医疗影像诊断、自然语言处理、图学习等任务中解决现实场景中的可信性问题。