计算机系统基础-PA0

这里是计算机系统基础的学习 & 实验文档, 全课程从 PA0 ~ PA4 总 5 部分, 本篇是第一篇介绍 PA0, 也就是环境准备和回顾 C 语言的部分, 后续逐步更新和放出.

0x00. 前言

PA (Programming Assignment) 是南大经典的 OS 课程前置课, 也是非常适合理解和深入计算机原理和体系的课程, 非常推荐不能直接上手 ARM 或 X86 下汇编或 OS 课程的同学先打基础. 其他参考官方文档就不多说了, 直接开始:

核心的几个模块: (官网)

• 图灵机与简易调试器
• 冯诺依曼计算机系统
• 批处理系统
• 分时多任务
• 程序性能优化

从这上面几个总结来看, 第一印象就是觉得高大上或者是真硬核呀, 这都啥能在本科生大一大二就做么? 就算能一门课程里包含这么多内容么, 带着这些疑问继续看官方文档就好~

其他大部分官方文档已经写的很详实我就不搬了, 只做一些必要的笔记记录. 特别注意提醒的是, 课程中涉及大量的自查/自学部分, 所以对 man 的使用, 资料查找, 以及好的参考资料的依赖度就高得多,

教案和文档可能阅读耗时只占 5% 的时间, 剩下 95% 都是给需要根据那 5% 自学和探索, 要不断注意整理和思考, 形成自己的学习体系, 否则效率会很低也会很快劝退自己. 但是坚持下来你会发现收获的的确远不是一门课程这么简单. ENJOY IT~

0x01. 序章

讲述 “先驱创造计算机” 的故事, 哈哈, 简单说就是准备环境 (预计耗时 10h, 你如果不用 ubuntu21.04 桌面版可能要耗时20h…)

2022更新: 特别注意, 原本的文档里没有强调需要使用 x64 ubuntu21.04 桌面版(GUI), 然后我换了几次版本(还试了 arm 款的 mac), 在环境这整活了, 建议大家不要抱侥幸心理使用其他版本, 否则后患挺多的.

由于机器配置原因, 我最早使用的是已有的物理机 Ubuntu16.04, 官方推荐是用最新的 Ubuntu 21.04, 后续请特别注意版本上带来的些许差异. (不过我想 ubuntu 应该不大吧, 实际是坑惨了 ), 先参考文档换成对应的清华镜像源, 我这默认用的阿里云源

# 安装 libsdl2-dev 出现下面的提示, 那么可知依赖的 systemd 版本低了, 先升级 systemd, 再安装
The following packages have unmet dependencies:
 udev : Breaks: systemd (< 233-4)
        Breaks: systemd:i386 (< 233-4)
E: Error, pkgProblemResolver::Resolve generated breaks, this may be caused by held packages.

注: 因为 ubuntu16 的环境冲突依赖问题太多, 再进入 PA1之后, 还是申请了云主机自己升级到 21.04, 然后重新走流程了, 后续这部分旧的报错内容全部 archive 出来, 不再更新.

Ubuntu 21.04 (X64 桌面/GUI版)

oh jesus, 虽然我开始觉得用哪个版本 ubuntu 无所谓吧, 后面随着大量的环境问题, 还是觉得不能这样折腾浪费时间了, 建议还是虚拟机或者云服务器直接上 Ubunut21.04, 请千万注意是 X86/64 (如果你使用 m1/arm 的 mac, 请换环境停止.)

然后因为我看到官方文档写学习过程 GUI 环境不是必须的, 误以为是推荐大家选择 server 版本的, 直接选了腾讯云主机的 2核/4G 版本, 一年70左右, 性价比是不错, 但很快发现课程里还是有不少依赖图形化的地方的, 只能先硬着头皮走走看看, 希望核心部分不受影响就好. (大家有条件请务必选择 GUI 版本) 下面是 server 版的升级步骤, 直接装了 21.04 的可跳过

云主机 Ubuntu21.04

原本以为云主机只能安装 server 版的, 后来想到 VNC 的方式也可以远程到桌面版, 岂不美哉, 这样还是云主机最香了? 虽然要手动安装配置, 来一起试试吧.

A. 升级到 21.04

1. 安装后先选择 ubuntu20.04LTS (因为21非LTS 版本, 只能自己升级)
2. 立刻生成新的 ssh 密钥对, 并在本地 ~/.ssh/config 里手动配置别名 (强烈推荐)
3. 立刻修改 ssh 端口, 并禁止 22 端口等不必要端口访问, 做完这些准备工作, 再开始内核升级

下面的方法仅限于基于 ubuntu 20.04 LTS, 其他版本请谨慎操作:

# 1. 切换到 root 用户, 第一步更新包, 默认使用腾讯源
apt update && sudo apt dist-upgrade

# 2. 修改 LTS 为普通
/etc/update-manager/release-upgrades
Prompt = normal
# 更新了内核, 需要重启一下先
reboot

# 3. 执行升级命令 (无需带-d, 因为21.10已经成为开发版了)
do-release-upgrade

# 这里有一些选项, 大部分是选 yes, 下载要5分钟左右, 之后会弹出一个玫红色 UI 框 (选择YES)
# 然后安装过程还是有一些需要手动确认的, 有点不太人性化.. 希望是静默全选好才对 (安装需要 30min 以上)

# 完成后, 建议在云主机里添加一个免费的快照 + 镜像, 标记为 ubuntu21.04 (方便复用)

# 然后安装必备软件
sudo apt-get install build-essential man gcc-doc gdb git \
libreadline-dev libsdl2-dev llvm tmux -y

B. 安装 GNOME & VNC

建议跟着云主机对应的安装文档走, 而不要随意参考网上的流程随意换源之类的. (我这是Tencent)

#echo "deb http://archive.ubuntu.com/ubuntu/ hirsute universe" >> /etc/apt/sources.list
# 1. 更新源安装 gnome 环境依赖等
apt-get update
# 安装核心 GUI 依赖, 大概需要10min+
apt install gnome-panel gnome-settings-daemon metacity nautilus gnome-terminal ubuntu-desktop -y

# 2. 安装 vnc-server, 然后跟着文档走, 中间略
apt-get -y install tightvncserver # 可选 xfonts-75dpi xfonts-100dpi

# 为了避免后续配置文件没同步, 也避免直接远程到 root, 强烈建议先切回你个人用户 (或者后续自己搬配置)
su ubuntu # 或你自己的用户

# (可选) 建议修改 vnc 默认端口, 否则8位密码直连还挺危险的
vi /usr/bin/vncserver # 替换5900为其他不常见端口
%s/5900/xxxxx/gc #

# 最后启动
vncserver -geometry 1920x1080 :1 #生成新的会话
# 修改 vi ~/.vnc/xstartup
#!/bin/sh
export XKL_XMODMAP_DISABLE=1
export XDG_CURRENT_DESKTOP="GNOME-Flashback:GNOME"
export XDG_MENU_PREFIX="gnome-flashback-"
gnome-session --session=gnome-flashback-metacity --disable-acceleration-check &
gnome-terminal &

# 注: 修改端口直接 kill 就行, 无需重启 vnc 服务
vncserver -kill :x # x 对应桌面号

# macos 本地 vnc 记得配置里开启允许 remote 声音传出(后续实验有带声音部分)
# 然后 vnc 链接地址写 ip:newport, 注意如果修改了默认的不是原本的'ip:1'了

# 安装课程必备依赖, dev 依赖最新 systemd
sudo apt-get -y install build-essential systemd gcc-doc libreadline-dev llvm && sudo apt-get -y install libsdl2-dev

VNC本地的客户端非常小巧易用, 出现灰屏请确认 vnc-server 的配置正确, 以及账户正常, 请勿随便参考网上教程设置. 测试成功请务必创建一个快照或镜像, 以免后续 GUI 驱动出现问题会非常耗时 (有快照一键回退就好太多了)

注: 任何时候操作请不要强制关机, 使用 sudo poweroff 来关机再镜像之类的, 避免出现文件损坏等问题.

Docker 方式 (不推荐, 作废)

因为现在 ubuntu 的 docker 镜像默认已经做的非常精简, 连 ping/nano/vi 都不会自带, 网络环境弱的情况先就卡住了. 你可以试试执行下面自带的扩展脚本. 如果跑不动就不建议折腾了.

# 下面是 ubuntu21.04 的 docker 镜像后
unminimize # 这个命令封装了一个 /usr/local/sbin/unminimize 的脚本, 避免从0开始构建 ubuntu..

apt install net-tools iputils-ping vim # 很慢就此放弃为宜

0x02. Vim 学习

老实说我的 vim 的确一直是四角猫功夫, 还在使用上下左右…这里也顺便记录一些新知识吧:

# 快速生成 1~n 的数字, 每个占一行 (我之前就写个脚本 echo 了..)
i1 <ESC> q1yyp <Ctrl+a> q8@1 # 如何记忆?

不得不说这例子难度的确不小呀 (也可能是就完全没学会用 vi? 哈哈, 先过一下可以么), 我参考 vim 配置入门设置了如下:

# 配置 vi
cp /etc/vim/vimrc ~/.vimrc && vi ~/.vimrc

" 如下的基本选项, 因为后续开发使用需要, 建议一次配齐点
set showmatch           " Show matching brackets.
set ignorecase          " Do case insensitive matching
set smartcase           " Do smart case matching
set incsearch           " Incremental search
set hidden              " Hide buffers when they are abandoned
set number
setlocal noswapfile
set hlsearch
set smartindent
set expandtab
set softtabstop=4

" 可选项
set mouse=a
set t_Co=256
set wrap
set linebreak

另外~/.bashrc 中配置一下很常用的改进别名

# cat 高亮, 推荐
alias cat='pygmentize -P style=monokai -P tabsize=4 -f terminal256 -g'
alias c='cat'

0x03. C 编译流程

首先要自己编译一个 c 语言程序, 然后用 Makefile 的方式执行它, 这里使用 gcc ,那么首先熟悉一下 C编译过程, 然后学习一下 Makefile 来龙去脉

1. gcc

我们当然可以直接 gcc test.c 生成可执行 test.out 文件然后执行, 但是还是对过程模糊不清.

man gcc
# 我们可看到简介, gcc 通常做预处理, 编译, 汇编, 链接的工作
it normally does preprocessing, compilation, assembly and linking
# 1. 预处理, 简单理解就是把源文件展开/处理成完整文件
 -E  Stop after the preprocessing stage; do not run the compiler proper. The output is in the 
form of preprocessed source code, which is sent to the standard output.
 
gcc -E test.c # 根据说明, 预处理的内容直接会到标准输出, -o 就可以指定为文件, 思考为何需要以 ".i" 结尾呢?
file test.i # C source, ASCII text

# 2. 编译, 把源码转成汇编代码, 注意最后一句话
-S  Stop after the stage of compilation proper; do not assemble. The output is in the form of 
an assembler code file for each non-assembler input file specified. By default, the assembler 
file name for a source file is made by replacing the suffix ".c .i" ... with ".s"

gcc -S test.i

# 3. 汇编. 把汇编代码转成机器码
-c Compile or assemble the source files, but do not link. The linking stage simply is not 
done.  The ultimate output is in the form of an object file for each source file.By default, 
the object file name for a source file is made by replacing the suffix ".c .i .s",etc with ".o"

gcc -c test.s # 默认生成为 .o 后缀
file test.o # ELF 64-bit LSB relocatable, x86-64, version 1 (SYSV), not stripped

# 如果强制给权限执行, 会提示如下报错
./test.o: cannot execute binary file: Exec format error

# 4. 链接. 机器码转为可执行文件 (静态链接先略)
-o file
Place output in file file.  This applies to whatever sort of output is being produced, whether 
it be an executable file, an object file, an assembler file or preprocessed C code.

If -o is not specified, the default is to put an executable file in a.out, the object file for 
source.suffix in source.o, its assembler file in source.s, a precompiled header file in 
source.suffix.gch, and all preprocessed C source on standard output

gcc test.o -o test # 不带 -o 也可, 根据规则生成 a.out

# 仔细观察一下 file 的输出, 对比一下与 test.o 时候区别 (默认动态链接)
file test # ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically linked, 
          # interpreter /lib64/ld-linux-x86-64.so.2, for GNU/Linux 3.2.0,BuildID[sha1]=xxxHash, not stripped

宏定义

C/C++ 中有一个很重要的语法, 就是宏, 如果完全不了解还是影响代码阅读的, 它并不难, 简单说就是在预编译的时候, 字符展开替换成具体的代码, 而不比普通的函数复用, 还需要多一次函数栈的调用开销, 宏最简单的用法就是拷贝 N 份原始代码, 相当于计算机帮才需要做了这个”人肉拷贝“. 因为代码可复用的地方很多, 所以宏使用的地方非常多.

下面是一些常见的预处理指令, 大部分常与宏组合使用:

• #define : 最常见, 定义宏, 例如 #define max(a,b) ((a)>(b)?(a):(b) [思考为何需要带这么多括号? 不带可以么] , 反义是 #undef 取消已定义的宏
• #ifdef : 次常见, 判断某个宏是否定义过, 是则展开覆盖代码, 搭配 #endif 结束. 反义指令是 #ifndef
• #if : 很常见, 判断给定条件是否成立, 成立则展开覆盖代码, 搭配 #else, 结束同配 #endif, 还有一个 else-if 标记 #elif
• #error : 执行到它就会停止编译抛出错误, 常用来找未定义的宏

然后看简单例子就理解了: (熟悉的同学直接跳过)

#include <stdio.h>
#define max(x, y) x>y?x:y  // withoud brace, somebug will occur while expanding the expr
#define MIN(x, y) (((x)<(y))?(x):(y))

int main(void)
{
#ifdef max   // 'max' macro exist?
    printf("a and b the max is:%c\n", max('a', 'b'));
#endif

#ifdef MIN // if change to 'min', the code before compile won't include next line
    printf("3 and 5 the min is:%d\n", MIN(3, 5));
#endif

    return 0;
}

除了抽取重复定义, 另一个关键作用就是调试/注释代码, 原本我们需要大量的注释/取消注释部分代码来测试, 或者是干脆删掉了, 现在我们可以用简单的 #if DEBUG do_debug_code(); #else do_origin_code(); 这样的方式来屏蔽掉部分代码. 然后在执行时 gcc -DDEBUG=1 test.c, 直接修改宏的具体值, 而不用反复的 hard code. (宏有一些生成代码的高级用法, 我就没碰了, 很容易埋坑, 暂略)

2. 编译流程

再重新回顾一下细节, 首先是 preprocess(预处理), 它生成的是扩展后代码:

1. 先删除#define, 展开宏处理预编译指令 (#if/#eif)
2. 再处理 #include 预编译指令, 把引入的文件插入到对应位置
3. 删除代码里所有的注释行
4. 添加行号 & 文件标识, 方便编译过程警告等提示
5. 保留#pragma 编译器指令, 后续使用

然后是 compile (编译) 过程, 它对预处理后的文本文件进行词法/语法/语义解析 & 优化, 然后生成汇编代码, 我们还是可以直接 cat 查看, 只不过输出调用的指令稍多一些.

  .file	"test.c"
  .text
  .section	.rodata
.LC0:
  .string	"yep"
  .text
  .globl	main
  .type	main, @function
main:
.LFB0:
  .cfi_startproc
  pushq	%rbp
  .cfi_def_cfa_offset 16
  .cfi_offset 6, -16
  movq	%rsp, %rbp
  .cfi_def_cfa_register 6
  leaq	.LC0(%rip), %rdi
  movl	$0, %eax
  call	printf@PLT
  movl	$0, %eax
  popq	%rbp
  .cfi_def_cfa 7, 8
  ret
  .cfi_endproc
.LFE0:
  .size	main, .-main
  .ident	"GCC: (Ubuntu 7.5.0-3ubuntu1~18.04) 7.5.0"
  .section	.note.GNU-stack,"",@progbits

接着是 asm (汇编) 过程, 也就是执行汇编代码, 转成二进制机器码, 一般每个汇编语句都对应了 cpu 的指令, 所以这个过程反而比较简单, 调用 binutils 的 as 命令从“汇编-处理器”指令对照表一一转换即可.

补充: 汇编后生成的 ELF 文件是二进制的, 没法直接查看, 简单用 objdump -D 反汇编看

最后是 link (链接), 生成可执行程序. 它稍微麻烦一点, 分动态和静态两种, 在此之前想想一下温和需要链接? 直接执行刚才的 test.o 二进制文件不就可以了么? 最简单的例子还是想一下, 现实应用中一个软件有很多的 sourceX.c, 也就对应了许多二进制文件, 最后需要把它们组装到一起给用户使用呐.

那么就以 test.o 为例, 可执行程序和机器码有啥区别呢? 首先可执行文件在 linux 下为 ELF (win 下常见为 .exe), 你可以通过 file 命令来看类型

3. Makefile

接下来简单复习一下 makefile, 其实它就是把手动编译的过程封装起来, 完整的规则很复杂, 建议参考文档

# 核心就是如下的语法
目标 : 依赖的文件
    要执行的命令
    
test: test.c
    gcc test.c -o test
    
# 用变量替换一下后
target=test
obj=test.c

$(target): $(obj)
    gcc $(obj) -o $(target)
    
# 常见的自动清理也就是加个步骤, 一般放末尾 (make clean 触发)
clean : 
    rm test $(obj)

4. GDB

给了一个 GDB(GNU Debugger) 的 tutorial, 看完也可以参考, 关键是要注意第一个作业就是要实现一个 mini-gdb, 所以核心的设计还是得熟悉滴..老师的确是狠嗷~

man gcc # find gdb

# 从文档里可以得知 -g 的作用类似于把源码嵌入可执行文件中, 也相当于提供调试 flag
-g  Produce debugging information in the OS's native format (stabs, COFF, XCOFF, or DWARF).  GDB can work with this debugging information.

On most systems that use stabs format, -g enables use of extra debugging information that only GDB can use; 
this extra information makes debugging work better in GDB but probably makes other debuggers crash or refuse to read the program.  
If you want to control for certain whether to generate the extra information, use -gstabs+, -gstabs, -gxcoff+, -gxcoff, or -gvms (see below).

gdb test
# 进入 gdb 交互界面, 先尝试随便设个断点 (行号是多少?)
(gdb) break 7
No line 7 in the current file.
Make breakpoint pending on future shared library load? (y or [n]) n

(gdb) break 4
Breakpoint 1 at 0x63e: file test.c, line 4.

列一下 gdb 里常用的命令:

l: 显示源码

break lineNum: 添加断点

run: debug 运行

n(next): 断点下一步

如果初从 IDE 的智能图形化切换过来, 感到巨大压力和不解, 想改善一下使用体验, 可看看韦神的调教 gdb 文章, 但是不建议新手食用. 另外补充老师强力推荐的 mit 计算机缺失一环

0x04. Tmux 分屏

其实这也是第一次真正用内置的终端复用, 以前都是借助 XShell/iTerm 等工具无脑开新session, 的确不太好..

sudo apt-get install tmux -y

vi ~/.tmux.conf # 加入下面几行保存
bind-key c new-window -c "#{pane_current_path}"
bind-key % split-window -h -c "#{pane_current_path}"
bind-key '"' split-window -c "#{pane_current_path}"

# 简单上手 tmux, 先 man 一下 (然后看看 ryf 即可)
tmux # 进入 tmux 模式
tmux new -s test
# 提示如下啥意思呢?
sessions should be nested with care, unset $TMUX to force # unset TMUX

tmux detach # 离开当前tmux window, 但是session 内进程仍运行
tmux ls

# tmux 最简4步使用 (推荐)
1. tmux new -s test (crate a new session)
2. run some programs (like "ping github.com")
3. Ctrl+b d  (detach the session, keep run bg)
4. tmux attach-session -t test (next time，reattach it, ping still runs)

# 补充开启滚动条 (重要)
ctrl+b : #进入 cmd 模式输入 set -g mouse on

# 其他常用快捷键 (ctrl+b ?可查)
Ctrl+b % # 划分左右两个窗格。
ctrl+b " # 划分上下
Ctrl+b x # 关闭当前
ctrl+b 上下左右 # 切换窗口内的跳转

熟练之后, 在常用的有 tmux/screen 环境的地方, 就不再需要过度依赖工具分屏以及各种 nohup 和 N 个窗口切换了, 详细的说明阮前辈的文章写的很清晰了, 推荐食用. 使用了 tmux 之后几个明显的好处:

1. 可以把工作环境完整保存下来, 不管因为什么原因断开了ssh 连接, 都可以通过 tmux 很快重恢复
2. 如果是单独的多个任务前台输出, 不再需要开多个 ssh 会话, 而可以在一个 session 进行复用
3. 待补充

0x05. 源码编译

使用 git 的地方略过, 核心是下载项目后开始初识它们

# 若 init.sh 下载慢就自行改下载地址, 例如替换 github.com -> hub.fastgit.org
git clone -b 2021 https://github.com/NJU-ProjectN/ics-pa.git ics2021
bash init.sh nemu
bash init.sh abstract-machine  # 完成后检查环境变量 (或手动修改)

source ~/.bashrc && echo $NEMU_HOME $AM_HOME

要先尝试编译 nemu 这个核心项目

make menuconfig # 有个图形化的界面帮忙生成 .config 文件, 但是报错了

# (注: 21.04不用) STFM 后, 发现 ubuntu16 的问题, 大家可根据报错自行查 
sudo apt-get install bison ncurses-dev -y 

以下仅针对 Ubuntu 16, 其他不用参考. 不出意外的退出保存后 make 又报错了: (应该是因为 llvm 版本过低才是6)

# 继续安装缺少的依赖
sudo apt-get install lsb-release wget software-properties-common -y

# (推荐)官方脚本安装 llvm 11 (如果网络原因安装失败, 就只能二进制包安装了, 有几百 MB)
wget https://apt.llvm.org/llvm.sh
chmod +x llvm.sh
sudo ./llvm.sh 11 #建议用这种方式安装, 环境依赖完整 (无需额外配置)

vi src/utils/filelist.mk # 修改 make-config 为 make-config-11

# (不太推荐)选择你 ubuntu 版本对应的 llvm11
# 这里下载用其他 cdn 加速地址替换, 否则一般也很慢
sudo wget https://github.com/llvm/llvm-project/releases/download/llvmorg-11.1.0/clang+llvm-11.1.0-x86_64-linux-gnu-ubuntu-16.04.tar.xz
sudo tar xvf clang+llvm-11.1.0-x86_64-linux-gnu-ubuntu-16.04.tar.xz
sudo mv clang+llvm-11.1.0-x86_64-linux-gnu-ubuntu-16.04 llvm # 然后软链接到 /usr/local 下
    export PATH="$PATH:/usr/local/llvm/bin" # 建议永久修改
# 配置好后重启编译发现又报了 ld(Link eDitor) 的错
+ LD /xx/ics2021/nemu/build/riscv32-nemu-interpreter
/usr/bin/ld: cannot find -lLLVMXRay #还有一大堆 llvm 的, 看起来是没有正确找到环境.用 apt 安装则无

在解决了低版 ubuntu 的一系列环境依赖问题之后, 可以尝试运行了, 然后仍然是报错哈哈:

make run
# nemu 运行后
[src/monitor/monitor.c:17 welcome] Build time: 11:00:51, Jan 10 2022
Welcome to riscv32-NEMU!
For help, type "help"
[src/monitor/monitor.c:20 welcome] Exercise: Please remove me in the source code and compile NEMU again.
riscv32-nemu-interpreter: src/monitor/monitor.c:21: welcome: Assertion `0' failed.
/home/disk3/test/os/ics2021/nemu/scripts/native.mk:22: recipe for target 'run' failed
make: *** [run] Aborted (core dumped

# 注释断言后, 重新编译运行,  交互界面 help
(nemu) c
[src/cpu/cpu-exec.c:119 cpu_exec] nemu: HIT GOOD TRAP at pc = 0x8000000c
[src/cpu/cpu-exec.c:48 statistic] host time spent = 107 us
[src/cpu/cpu-exec.c:49 statistic] total guest instructions = 4
[src/cpu/cpu-exec.c:50 statistic] simulation frequency = 37,383 instr/s

# 调试模式要注意这是项目了
make gdb

好了到这 pa0 就暂时告一段落了, 全程最关键的就是安装好桌面版的 Ubuntu21.04, 其他都好说….pa0 大概相当于游戏的新手村, 准备好之后就进入正式的挑战了. 下一个是 pa1

---

参考资料:

1. 腾讯云 VNC 搭建 Ubuntu GUI - Doc
2. Introduction of C - RuanYiFeng
3. Linux C - one step studying (recommend)
4. How to write Makefile - Doc - 陈皓
5. 南大-SICP 课程 python 版
6. 南大-计算机系统基础 - 蒋炎岩
7. 南大-操作系统设计与实现 - 蒋炎岩 (推荐)