So you have to trust that the dots will somehow connect in your future.
【AI 得学啊】makemore 02：用 MLP 构建字符级语言模型
本文承接上一篇 makemore 01。为便于单独运行，下文代码默认已执行下面的公共初始化；姓名数据集可从课程仓库的 names.txt 获取。 1 2 3 4 5 6 7 8 9 import torch import torch.nn.functional as F import matplotlib.pyplot as plt words = open("names.txt", "r").read().splitlines() chars = sorted(set("".join(words))) stoi = {s: i + 1 for i, s in enumerate(chars)} stoi["."] = 0 itos = {i: s for s, i in stoi.items()} N-gram 模型的局限性 上一节虽然我们使用神经网络代替了基于统计的 N-gram 模型实现，但其预测结果依然不够理想。 ...
【AI 得学啊】makemore 01：从统计语言模型到神经网络 Bigram
本文是 Andrej Karpathy 《Neural Networks: Zero to Hero》 课程 makemore01 章节的笔记，介绍根据姓名数据集，用统计学习和神经网络的方式实现姓名预测的模型。 N-gram 自然语言处理（NLP, Natural Language Processing）是人工智能的一个重要分支，其目的是让计算机理解、生成和处理人类语言。典型任务包括分词、文本分类、情感分析、机器翻译、信息抽取、问答系统、摘要生成、对话系统等。语言模型（Language Model, LM，语言模型）是 NLP 的核心课题之一，它学习”一个词或 token 在上下文中出现的概率“，然后根据给定的前面的文本，模型预测后面最可能出现什么。例如： ...
【AI 得学啊】从零实现反向传播和神经网络
本文是 Andrej Karpathy 《Neural Networks: Zero to Hero》 课程 building micrograd 章节的笔记，看大佬是如何带我们一步步实现反向传播和神经网络的。 导数计算与链式法则 神经网络可以视作一个函数 f(x)，其各个参数的权重和偏置相当于函数的参数。训练神经网络就是不断调整参数以达到预期效果，方法就是计算各个参数变化时对整个函数的变化影响，本质上是一个求导数的过程。 ...
【深入理解 Linux 网络】数据发包原理与内核实现
本系列文章 【深入理解 Linux 网络】关键术语 【深入理解 Linux 网络】内核初始化流程 【深入理解 Linux 网络】收包原理与内核实现（上）从网卡到协议层 【深入理解 Linux 网络】收包原理与内核实现（中）TCP 传输层处理 【深入理解 Linux 网络】收包原理与内核实现（下）应用层读取与 epoll 实现（待完善） 【深入理解 Linux 网络】数据发送处理流程与内核实现 【深入理解 Linux 网络】配置调优与性能优化（待完善） 数据的接收和处理流程分析完了，本篇我们来看下数据的发送流程。 ...
【Kubernetes 源码剖析】Deployment 的实现原理
本篇我们来探讨下 Deployment Controller 的执行过程，了解下 Deployment 具体的实现原理。 Deployment 概述 Kubernetes 的 Deployment 用来管理无状态应用的部署和扩缩容，除了少数分布式存储外，我们日常开发的所有服务都是无状态的，状态数据都被存储在 关系型数据库 、缓存等外部存储中，因此大部分情况下都是使用 Deployment 作为 Controller 来部署服务。 ...
【深入理解 Linux 网络】收包原理与内核实现（中）TCP 传输层处理
本系列文章 【深入理解 Linux 网络】关键术语 【深入理解 Linux 网络】内核初始化流程 【深入理解 Linux 网络】收包原理与内核实现（上）从网卡到协议层 【深入理解 Linux 网络】收包原理与内核实现（中）TCP 传输层处理 【深入理解 Linux 网络】收包原理与内核实现（下）应用层读取与 epoll 实现（待完善） 【深入理解 Linux 网络】数据发送处理流程与内核实现 【深入理解 Linux 网络】配置调优与性能优化（待完善） 上一篇我们分析了从网卡到达数据包到 IP 层的处理流程，接下来我们将深入探讨 L4 层 TCP 协议栈的处理流程，也就是来到了图中第 7 步协议栈 L2、L3、L4 三层处理的最后阶段。 ...
【深入理解 Linux 网络】收包原理与内核实现（上）从网卡到协议层
本系列文章 【深入理解 Linux 网络】关键术语 【深入理解 Linux 网络】内核初始化流程 【深入理解 Linux 网络】收包原理与内核实现（上）从网卡到协议层 【深入理解 Linux 网络】收包原理与内核实现（中）TCP 传输层处理 【深入理解 Linux 网络】收包原理与内核实现（下）应用层读取与 epoll 实现（待完善） 【深入理解 Linux 网络】数据发送处理流程与内核实现 【深入理解 Linux 网络】配置调优与性能优化（待完善） 整体流程 Linux 收包的整体流程如下: ...