词嵌入与语言模型

🧬 知识点关系网络

独热编码→静态词嵌入→上下文词嵌入

⬆️ 从稀疏到稠密，从静态到动态，词的表示越来越精准。

Word2Vec —— CBOW用周围词预测中心词，Skip-gram用中心词预测周围词。负采样加速训练。
💡 用Gensim训练一个Word2Vec模型，找“国王-男人+女人”的类比词。
GloVe —— 基于全局词共现矩阵分解，融合了LSA与Word2Vec的优点。
💡 加载预训练GloVe向量，计算词相似度。
FastText —— 引入子词(subword)信息，对未登录词(OOV)和稀有词更友好。
💡 用FastText处理包含拼写错误的文本。
上下文词嵌入 —— ELMo、BERT根据上下文动态调整词向量，“苹果”在水果与公司语境下向量不同。
💡 用BERT提取同一个词在不同句子中的向量，计算相似度。

💡 学习贴士： 理论与代码并重，动手实现经典模型，在GPU上验证想法。

前置依赖： 学习词嵌入与语言模型前，建议具备Python编程、线性代数、概率论基础。

后续延伸： 学完词嵌入与语言模型后，可继续深入AI的其他子领域或应用方向。

🔵 已开放 · 可随时探索🟠 生长中 · 内容持续丰富🟣 探索级 · 深度拓展

🌱 为了包容与博爱的传递，为了知识平权，善智导航正在陆续深化每一个知识点页面。
下方所有知识点均已预留链接，可随时点击探索。

✨ 每个链接都是一扇门，推开即是新世界。

用词向量计算查询与文档的语义相似度。

理解用户意图，匹配标准问题。

用词向量表示文档，进行K-Means聚类。

我是一名正在学习词嵌入与语言模型的学生，请用生动易懂的方式为我讲解其核心概念，并结合AI领域的实际应用场景加以说明。