type
status
date
slug
summary
tags
category
icon
password
URL
Rating
《机器学习&自然语言处理》课程是一门涵盖机器学习和自然语言处理领域的综合性课程。这门课是几年前我与朋友的线下教育机构合作开发的。感谢课程开发过程中付出努力的诸多工作人员。根据合同规定并与朋友确认后，此课程现在免费公开出来。
课程中包含的部分内容继承自合作方更早期的合作老师，感谢相关老师。如有任何问题欢迎和我沟通。
目录：
Part 1: 机器学习1. 机器学习简介2. 机器学习中的数学基础知识3. 线性回归 & 逻辑回归 4. 支持向量机（SVM）5. KNN模型与距离度量6. 树模型和融合模型7. 无监督模型：K-Means、DBSCAN、PCA8. 机器学习范式9. 实战机器学习与特征工程Part 2: 自然语言处理10. NLP：很难，怎么能学好11. 语言模型全解析：从N-Gram到LSTM12. 信息检索精解：从基础框架到排序模型13. 文本表示-Part114. 文本表示-Part215. 中文分词技术16. 注意力机制（Attention）17. 情感分析18. 序列标注技术（Sequence Labeling）19. 模型预训练技术20. 语义匹配
课程第一部分为机器学习，包括9节课。主要涵盖机器学习的核心概念和技术。从基础理论入手，课程会探讨机器学习的定义、数学基础，同时会介绍包括线性回归、逻辑回归、支持向量机在内的诸多经典模型。接下来课程还进一步讨论了复杂模型，如KNN、决策树以及集成学习方法，无监督学习中的聚类和降维方法等。
本课程很注重项目实战，其中特别设计了两节实战课程。第八节课阐述了机器学习的基本概念和范式，并介绍了偏差-方差权衡、泛化能力、损失函数等机器学习核心概念，让你了解如何将理论知识运用到实际问题中。第九节课则专注于特征工程，从如何将实际问题转化为机器学习问题，到特征处理技术，再到模型诊断的基本方法，课程将代理大家在实际项目中如何具体实践机器学习。
总的来说，课程第一部分将为学员提供一套全面的机器学习知识体系，其中不仅覆盖了理论知识，更有针对性的提供了实战经验。无论你是初学者还是希望提升现有技能的学员，相信都能从本课程第一部分中收获一些知识。
课程第二部分为自然语言处理（NLP），包括11节课。这部分课程将首先介绍NLP的定义、分类和应用，及其在实现人机交互等领域的重要性。课程将着重讲解多学科基础对于NLP的成功实现的必要性，同时还会深入传统的N-gram语言模型和神经网络语言模型，为你揭示它们如何帮助我们理解和生成自然语言。
接下来，课程将深入信息检索的领域，包括排序模型和评估指标的基本知识。你会学习如何使用这些模型和指标来更有效地从大量信息中检索到有用的数据。同时，课程还将介绍文本表示方法，包括词袋模型、TF-IDF以及词向量，以便更好地理解和使用文本数据。
最后，课程将探讨中文分词技术和注意力机制，这将帮助你更深入地理解和应用这些知识。课程还会学习情感分析的技术，包括构建情感词典和预测情感极性。此外，我们还将讲解模型预训练技术，包括ELMo、GPT和BERT，以及在语义匹配任务中的主要技术方法。通过这部分的学习，你将能全面理解NLP并能应用所学知识来解决实际问题。
通过本课程，您将掌握机器学习和自然语言处理的核心概念和技术，了解它们在实际应用中的价值和挑战。课程将结合理论讲解和实际示例，帮助您建立扎实的知识基础，并培养对机器学习和自然语言处理领域的兴趣和研究能力。
以下是每节课的内容介绍，以及课程视频和PPT下载地址（还在二次编辑中，会陆续放出）。
<ins/>
Part 1: 机器学习
1. 机器学习简介
本节课旨在帮助学习者建立机器学习的基础知识和实践技能。课程内容包括机器学习的定义、入门知识点、相关学科介绍和应用领域。通过丰富的示例和演示，学习者将深入理解机器学习算法的原理和实际应用。此外，课程还关注企业对人才的需求标准，并提供可供参考的学习资料和网站。通过本节课的学习，学习者将培养对机器学习的兴趣，并了解应用机器学习解决实际问题的整体思路。
- Slides下载
2. 机器学习中的数学基础知识
本节课介绍了机器学习中常用的数学基础知识，包括微积分、线性代数和概率论等高等数学概念，以及信息论中的信息量、熵、KL散度和交叉熵等概念。在优化问题部分，讨论了凸优化问题的特点，以及常用的优化算法如梯度下降法和牛顿法等。总的来说，本节课涵盖了机器学习建模中经常用到的基础数学知识，能够帮助学习者夯实数学基础，并为进一步深入研究机器学习理论与应用打下坚实的基础。
- Slides下载
3. 线性回归 & 逻辑回归
本节课主要介绍了线性回归和逻辑回归这两类基础的机器学习模型。在线性回归部分，介绍了模型表达式、参数估计的解析解和随机梯度下降（SGD）求解方法、正则化等知识。在逻辑回归部分，介绍了基于sigmoid函数将其扩展为分类模型，最大对数似然估计的参数解法，以及逻辑回归与线性回归在深度学习中的关系。总体而言，本节课重点介绍了这两类基础机器学习模型的表达形式、求解方法以及与深度学习的关系，能够帮助学习者理解机器学习中最基础和重要的模型。
- Slides下载
4. 支持向量机（SVM）
本节课主要介绍了支持向量机（Support Vector Machine, SVM）模型。首先介绍了线性可分SVM的基本数学表达，以及通过解决对偶问题来求解SVM的方法。然后扩展到非线性情况下，通过核技巧引入各种核函数来处理非线性分类问题。进一步讲解了软间隔SVM，用于处理非线性分类问题中的噪声和异常点。最后介绍了支持向量回归（SVR），以及SVM与Hinge Loss的关系。总体而言，本节课系统地介绍了SVM模型的数学表达、求解方法、核技巧的应用，以及SVM在分类与回归任务中的应用。这将帮助学习者全面理解和掌握支持向量机模型的原理和应用。
- Slides下载
5. KNN模型与距离度量
本节课主要介绍了k近邻（kNN）模型和距离度量的知识。在kNN模型部分，介绍了其基本思路、超参数选择、分类和回归应用等方面的知识。在距离度量部分，介绍了各种常用的距离计算方法，如欧式距离、汉明距离等。最后，给出了kNN在推荐系统中的典型应用。总体而言，本节课系统地介绍了kNN模型和距离度量的相关知识，内容全面，能够帮助学习者全面理解和应用kNN模型和距离度量方法。
- Slides下载
6. 树模型和融合模型
本节课主要介绍了决策树模型和集成学习方法（Decision Tree & Ensemble Models）。在决策树部分，重点介绍了ID3、C4.5和CART决策树（Decision Tree）的算法原理，包括节点划分准则（Node Splitting Criteria）、预剪枝（Pre-pruning）和后剪枝（Post-pruning）等内容。在集成学习部分，详细讲解了Bagging、随机森林（Random Forest）和Boosting等算法的思想、模型表达和实现方式。最后，以GBDT（Gradient Boosting Decision Trees）和XGBoost为例，介绍了梯度提升决策树的技术原理。总体而言，本节课系统全面地介绍了决策树模型和集成学习方法的关键知识点，帮助学习者全面理解和应用这些算法。
- Slides下载
7. 无监督模型：K-Means、DBSCAN、PCA
本节课主要介绍了无监督学习（Unsupervised Learning）中的聚类和降维方法。在聚类部分，重点介绍了K-Means和DBSCAN这两种典型的聚类算法，包括它们的思路、实现方式和应用场景。K-Means通过迭代优化聚类中心来实现聚类，而DBSCAN则基于密度聚类的思想。在降维部分，详细讲解了主成分分析（PCA）的数学原理、算法思路和应用场景，通过正交变换实现数据的降维。总体而言，本节课全面介绍了无监督学习中的聚类和降维两个重要方向，内容丰富，能够帮助学习者深入理解和掌握无监督学习的基本方法和应用。
- Slides下载
8. 机器学习范式
本节课主要介绍了机器学习的基本概念和范式。首先，介绍了监督学习、增强学习和无监督学习这三类机器学习问题的区别。接着，讲解了机器学习中几个核心概念，包括偏差-方差权衡、泛化能力、损失函数和模型评价指标等。最后，给出了在实际应用机器学习时需要考虑的问题，并提供了一个典型的模型构建流程。总体而言，本节课全面系统地介绍了机器学习的基础知识，内容丰富，对于理解机器学习理论和实际应用都非常有帮助。
- Slides下载
9. 实战机器学习与特征工程
本节课主要介绍了实际应用机器学习过程中的特征工程知识。首先，讲解了如何将实际问题转化为标准的机器学习问题，为后续的特征工程奠定基础。接着，详细介绍了特征工程的基本概念，包括不同类型特征的表示方法，如数值型特征、类别型特征和文本型特征。讨论了特征处理技术，包括特征构造、特征选择和降维等方法，以优化模型性能。最后，介绍了模型诊断的基本方法，用于评估模型的效果和识别潜在问题。总体而言，本节课系统全面地介绍了特征工程的相关知识，内容丰富，对实际应用机器学习具有重要的指导意义。
- Slides下载
<ins/>
Part 2: 自然语言处理
《机器学习&自然语言处理》第二部分终于剪辑出来了，课程链接：https://www.bilibili.com/cheese/play/ss7461 。实在不想打乱我 B 站的视频主线，所以就放在 B 站课堂。之前的经验表明不收钱的课没人稀罕，所以定价是半杯星巴克☕️，11 课时卖 18 元，星球会员 购买可以找我退款（微信加小助手。B 站有个收入分成比例，我只能把我拿到的所有钱退回，应该是 7 成）。
10. NLP：很难，怎么能学好
本节课首先介绍了自然语言处理（NLP）的定义、分类和应用，并强调了NLP在人机交互中的重要性。然后分析了NLP的难点，包括语言的非规则性、递归性、依赖外部知识等特征，使学习者了解到NLP领域的挑战和复杂性。接着概述了在NLP领域取得成功所需的多学科基础，包括对自然语言、数学、机器学习和深度学习等知识的理解和运用。最后，预告了后续课程将深入讲解的内容，为学习者提供了一个整体的学习框架。总体而言，本节课以全面的视角概述了NLP的内涵、难点和所需的知识基础，为后续课程的学习打下了良好的基础。
11. 语言模型全解析：从N-Gram到LSTM
本节课主要介绍了语言模型的相关知识。首先介绍了语言模型的定义、作用，以及传统的N-gram语言模型的训练方法，并分析了N-gram模型中的稀疏性问题和Out-Of-Vocabulary问题。然后讲解了神经网络语言模型，包括DNN（Deep Neural Network）语言模型和RNN（Recurrent Neural Network）语言模型，这些模型很好地缓解了稀疏性问题。最后给出了语言模型的评估方法，如困惑度（Perplexity），以及一些应用示例，如语言生成和机器翻译。总体上全面介绍了语言模型的基础知识，内容丰富，有助于理解和应用语言模型的原理和方法。
12. 信息检索精解：从基础框架到排序模型
本节课主要介绍了信息检索（Information Retrieval）的基本知识。首先介绍了信息检索系统的通用框架，包括查询、检索候选集、排序模型和后处理流程。然后详细讲解了各种排序评估指标，如P/R（Precision/Recall）、MAP（Mean Average Precision）、NDCG（Normalized Discounted Cumulative Gain）等。接着介绍了倒排索引的构建方法，它能够快速检索文档中包含特定词汇的记录。最后讲解了pointwise、pairwise、listwise等学习排序模型，以及常见的RankSVM（Rank Support Vector Machine）、RankBoost等算法。总体而言，本节课全面系统地概述了信息检索的基础知识，有助于理解和应用信息检索的方法和技术。
13. 文本表示-Part1
本节课主要介绍了文本表示（Text Representation）的基础知识。首先详细介绍了词袋模型（Bag-of-Words Model），说明了其基本思想，并给出了具体例子，解释了如何利用词频向量来表示文本。接着讲解了TF-IDF（Term Frequency-Inverse Document Frequency）的思路，说明TF-IDF考虑了词频和逆文本频率两个因素，能够表示词的重要性。最后讨论了词袋模型和TF-IDF存在的问题，说明仅考虑词频不够全面，并简要介绍了词向量等其他文本表示方法。总体上全面系统地概述了文本表示的基础知识。
14. 文本表示-Part2
本节课主要介绍了词向量（Word Embedding）作为一种文本表示方法。首先介绍了one-hot表示的缺点，即无法捕捉词语间的语义关系。然后详细讲解了词向量的思想，通过向量化表示词语，能够更好地表达词语的语义关系。接着介绍了Word2Vec模型中的CBOW（Continuous Bag-of-Words）和Skip-gram等算法，以及训练策略如Hierarchical Softmax和Negative Sampling。然后介绍了GloVe（Global Vectors for Word Representation）模型，它基于统计信息来训练词向量。最后讲解了FastText模型，它利用子词信息来表示词向量。总体而言，本节课全面系统地介绍了词向量这种文本表示方法。
15. 中文分词技术
本节课主要介绍了中文分词（Chinese Word Segmentation）的相关知识。首先指出中文分词的难点在于词的构成边界不确定。然后详细介绍了基于词典的分词方法，包括正向最大匹配（Forward Maximum Matching）、逆向最大匹配（Backward Maximum Matching）和双向最大匹配（Bidirectional Maximum Matching）。接着介绍了基于统计和深度学习的分词方法，这些方法通过训练可以处理新词。最后推荐了几种常用的中文分词工具，如Jieba、LTP和BosonNLP。总体而言，本节课系统全面地概述了中文分词的各种技术方法。
16. 注意力机制（Attention）
本节课主要介绍了注意力机制（Attention）的相关知识。首先介绍了Attention的基本思想，即通过对信息进行重要性筛选来实现更精准的计算。然后详细介绍了Attention的计算公式，包括生成权重分布和加权平均的过程。接着讲解了Attention在不同应用场景中的应用，如机器翻译任务中的Encoder-Decoder Attention以及其他跨模态任务中的Attention等。最后介绍了Transformer中的多头自注意力机制和编码器-解码器Attention的计算过程。总体而言，本节课全面系统地概述了注意力机制的相关知识，为学习者深入理解和应用Attention提供了基础。
17. 情感分析
本节课主要介绍了情感分析（Sentiment Analysis）的相关知识。首先介绍了情感分析的定义、应用场景，以及不同粒度的情感分析任务，如文档级（Document-level）、句子级（Sentence-level）和属性级（Aspect-level）情感分析。然后详细介绍了属性级情感分析中的对象识别、属性提取和情感判断等步骤。接着讲解了情感词典的构建、极性预测等相关技术。最后介绍了朴素贝叶斯在情感分析中的应用实例。总体而言，本节课全面系统地概述了情感分析的相关知识，为学习者深入理解和应用情感分析提供了基础。
18. 序列标注技术（Sequence Labeling）
本课程介绍了序列标注（Sequence Labeling）任务的基本概念和主要模型方法。首先阐述了序列标注问题的定义，即输入带有时序信息的多个数据，输出相同长度的标注序列。常见的序列标注任务有分词、词性标注、命名实体识别、机器翻译和自然语言生成等。然后分别介绍了几种主要的序列标注模型：HMM (隐马尔可夫模型)、MEMM (最大熵马尔可夫模型)、CRF (条件随机场)、RNN/LSTM/GRU、BiRNN-CRF 和 BERT。最后，本课程介绍了序列标注在分词、命名实体识别、关系抽取等应用场景，并给出了相关参考文献。总体而言，本课程全面系统地讲解了序列标注的基本概念、主要模型方法及应用场景，为学习者理解和掌握该领域知识打下了扎实基础。
19. 模型预训练技术
本节课主要介绍了近年来自然语言处理中的三种语言模型预训练技术：ELMo、GPT（Generative Pre-trained Transformer）和BERT（Bidirectional Encoder Representations from Transformers）。首先介绍了ELMo通过双向LSTM语言模型实现词向量的上下文化表达，并可以叠加不同层级的表达。然后介绍GPT利用Transformer decoder作为语言模型进行预训练，并为下游任务提供统一的fine-tuning框架。最后介绍BERT提出masked语言模型和next sentence prediction进行预训练，通过双向encoder更好地表达语义信息，在fine-tuning后效果更佳。总体上全面概述了三种预训练技术的方法、效果及优化策略。
20. 语义匹配
本节课主要介绍了文本语义匹配（Text Semantic Matching）的相关知识。首先介绍了语义匹配的定义和不同类型的匹配任务，包括文本相似度计算（Text Similarity）、问答匹配（Question Answering）、信息检索（Information Retrieval）等。然后详细讲解了基于表征的语义匹配模型，如DSSM、CDSSM和LSTM-DSSM等。接着介绍了基于交互的匹配模型，如ARC-II、MatchPyramid和DA模型等。最后讲解了基于GPT和BERT等预训练语言模型的匹配方法。总体而言，本节课全面系统地概述了语义匹配任务中的主要技术方法，为学习者深入理解和应用文本语义匹配提供了基础。
【Update: 2024.03】
《机器学习&自然语言处理》第二部分终于剪辑出来了，课程链接：https://www.bilibili.com/cheese/play/ss7461 。实在不想打乱我 B 站的视频主线，所以就放在 B 站课堂。之前的经验表明不收钱的课没人稀罕，所以定价是半杯星巴克☕️，11 课时卖 18 元，星球会员 购买可以找我退款（微信加小助手。B 站有个收入分成比例，我只能把我拿到的所有钱退回，应该是 7 成）。
- 作者:Breezedeus
- 链接:https://www.breezedeus.com/article/ml-nlp-course
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
相关文章