KusakabeShi's Space

RootlessRouter系列: Rootless Router(Part: 0): 用戶態DN42節點 Rootless Router(Part: 1): wggo-vpp Rootless Router(Re: 0): VPP Host stack Rootless Router(Part: 2): BIRD-vpp Rootless Router(Part: 3): EtherGuard Rootless Router(Extra):蒐集的Userspace 網路棧 Rootless Router(Part: 4): 被VPP Host Stack衝康 Rootless Router(Part: 5): 完結 Rootless Router(Fin): UML版本上線啦! Rootless Router(Afterword): Azure App Service真的很靈 先說結論: 失敗了 唉，忙了5個月，結果一場空。真的是很難過 本地最終測試 大部分的拼圖都造好了，我又花了一個月把這些拼圖拼再一起 總時間花了5個月的RootlessRouter總算能運作上線了 在本地測試，BGP session起來了，路由有廣播出去，也有收到外面的路由 上線後遇到第一個麻煩，赫然發現CPU占用率居然是100% ! 才想起來，VPP為了性能，採用的是輪詢模式，而不是中斷模式。所以會直接佔用一顆CPU 100%。因為本地是多核心，所以沒發現。但是雲端上是一核心，直接卡死 首先我想到的是cpulimit。我限制成1%，用了以後CPU降到剩下10%。但是有很大的問題，就是ping超級不穩定。因為她的細粒度太低了，跑0.1秒，卡0.9秒。所以部分ping值直接跳上900 後來找到 這篇 ，解決了VPP CPU 100%的問題。 但是又發現，怎麼換成BIRD的cpu 卡100%了? 然後又找 上海交大的這篇 ，經過一番修改，總算是壓住CPU使用率了 在他的輪巡迴圈裡面加上sleep，解決100%的問題。 我是usleep(1000)，延遲還算勉強可用，idle狀態壓在3%左右 我做的修改:  https://github.com/KusakabeSi/vpp/commit/73ee9164f8a7c4c65ced4aa61ab865878b2e5d3a 部屬上線 之後我就開始部屬到a

本文轉載自:  https://sdic.sjtu.edu.cn/wp-content/uploads/2019/10/VPP-Based-Optimization-for-NGINX.pdf Background 1. Session lock and session lock table in VPP 在VPP里，一个VPP session可以是一个网络流，可以将这个session理解为原来Linux内核的一个socket。为了处理多线程应用场景中多线程应用竞争socket的情况，Linux内核为socket引入了socket lock来解决socket竞争问题。而VPP将自己的网络协议栈实现在用户态的同时，也将原来Linux内核中的socket lock拿到了用户态去实现。VPP在用户态实现的这个lock就是VPP session lock。 在多线程应用的每个线程使用一个VPP session之前，线程需要首先获得相应的session lock。因此为了让所有线程都能访问到session lock，VPP就将所有的session lock放到线程均能访问到的共享内存中进行管理。而在共享内存中存储VPP session lock的数据结构，就是VPP session lock table。  如下图。应用线程使用的FD（文件描述符）整数，实际上代表的是session lock table中一个表项的索引值。session lock table中的一个表项供一个VPP session使用，存放了该session的session index和session lock。Session lock table的访问通过lock table read/write lock（读写锁）进行管理。  当一个线程使用listen session时，它会首先去获取lock table的read lock。然后根据listenFD从lock table中获取listen session的表项，从表项中拿到listen session lock并加锁。加锁后就可以从表项中读出listen session index，并释放lock table的read lock。线程根据获取的listen session index从唯一的一个accept event FIFO中accept一个新的连

RootlessRouter系列: Rootless Router(Part: 0): 用戶態DN42節點 Rootless Router(Part: 1): wggo-vpp Rootless Router(Re: 0): VPP Host stack Rootless Router(Part: 2): BIRD-vpp Rootless Router(Part: 3): EtherGuard Rootless Router(Extra):蒐集的Userspace 網路棧 Rootless Router(Part: 4): 被VPP Host Stack衝康 Rootless Router(Part: 5): 完結 Rootless Router(Fin): UML版本上線啦! Rootless Router(Afterword): Azure App Service真的很靈 當你以為快要搞定，卻突然被衝康，真的不是普通的難受 被vpp host stack衝康了。之前BIRD運作正常，我就接著弄這些 wggo-vpp搞定 eggo-vpp搞定 bird-vpp搞定 bird-vpp-route-sync搞定 結果發現session又不能建立了 測試一番，發現VPP host stack底下，當server沒問題，但是當client大有問題 vpp side: nc -l 8888 linux side: nc 10.127.111.1 8888 連線完全正常 linux side: nc -l 8888 vpp side: nc 172.22.77.33 8888 連線失敗! 之前BIRD正常運作，因為他可以listen 當server，另一邊(linux)連過來，session建立 所以我一直以為它的功能是好的，就接著弄了。 但是當兩邊都是vpp，一定要有一邊當client，就出問題了！ 現在終於快搞定的時候，發現這個大問題 如果這個不能解決，真就只能換一個network stack了 記得從6月開始弄這個。在我以為快弄完的時候，發現以前的功夫可能白費，真的...難過... 下一個network stack群友有什麼推薦嗎?我有看到這些候選 1. 用gVisor (基於ptrace) 2. 用gVisor (以socks proxy方式提供，BIRD透過L4

RootlessRouter系列: Rootless Router(Part: 0): 用戶態DN42節點 Rootless Router(Part: 1): wggo-vpp Rootless Router(Re: 0): VPP Host stack Rootless Router(Part: 2): BIRD-vpp Rootless Router(Part: 3): EtherGuard Rootless Router(Extra):蒐集的Userspace 網路棧 Rootless Router(Part: 4): 被VPP Host Stack衝康 Rootless Router(Part: 5): 完結 Rootless Router(Fin): UML版本上線啦! Rootless Router(Afterword): Azure App Service真的很靈 之前在 這篇 提到我蒐集到的Userspace network stack，想說獨立一篇出來好了。之後有查到新東西直接加進來 用戶態的網路堆疊方案 這些是目前我找到的用戶態的網路堆疊方案，以及他們kernel bypass所用的技術 基於LD_PRELOAD VPP (我用起來相容性不好。後來發現BIRD能用) NUSE (聽說bug很多) The shadow simulator (很新的專案，資料蠻少的) 基於ptrace gVisor UML(User Mode Linux) (就是linux的網路棧) The shadow simulator (好像兩個一起用，增加穩定度) 重新編譯原始碼 LKL(Linux Kernel Library) (C/C++版本，也是linux的網路棧) LKL.js (javascript版本的LKL，可以在瀏覽器上執行!) F-Stack 基於network namespace (只是用了linux的ns隔離，本質上還是跑在kernel) mininet 沒有kernel bypass功能，依賴tun/tap RARE/freertr ns3 什麼是kernel bypass? 和網路隔離有什麼關係? 首先我們要知道，unix底下，程式如何連上網路的 首先，linux可執行檔使用  socket ( domain , type , protocol