QEMU 是一个纯软件实现的通用模拟器和虚拟机，它有三种模式，几乎可以模拟任何硬件设备：Full-system emulation 可在任何支持的硬件架构上运行任何操作系统，User-mode emulation 可用来运行另一个 Linux/BSD 程序，Virtualization 可以接近本机性能运行 KVM 和 Xen 虚拟机。 QEMU 5.0.0 已正式发布，官方的下载链接在此。本次更新的亮点主要包括： 支持通过 virtiofsd 将主机文件系统目录传递给访客支持对在 QEMU D-Bus 上运行的外部进程进行实时迁移支持针对 main/”built-in” guest RAM 使用 Memory Backend（虚拟内存的后端）block: 支持通过块设备作业压缩备份镜像...阅读全文
Proxmox VE 6.2 现已发布，该版本基于新发布的 Debian 10.4，同时引入了 Linux 5.4 LTS 内核、QEMU 5.0、LXC 4.0 和其他更新的软件组件，包括 OpenZFS 0.8.3。Proxmox VE（Proxmox Virtual Environment）是一个非常棒的集成 OPENVZ 支持 KVM 应用的环境。 Proxmox VE 6.2 的一些亮点内容如下 基于 Web 的管理界面的高级选项： 除了已经存在的基于 HTTP 的验证模式之外，Proxmox VE 还通过基于 DNS 的质询机制为 Let’s Encrypt TLS 证书实现了域的内置验证。完全支持多达八个 corosync 网络链接。使用的链接越多，集群可用性就越高。在存储内...阅读全文
项目使电信运营商可以轻松地在难以到达的区域部署移动网络，从而降低了建设和维护电信网络的成本。Facebook 的 “Data for Good” 计划用于共享地理数据，以解决一些世界范围内的人道主义问题，包括在 COVID-19 疫情期间发挥作用。创建并维护 PyTorch 开源生态系统，为在计算机视觉、自然语言处理和其他学科中利用人工智能和机器学习贡献了很大一份力量；React.js 也由 Facebook 创建，它为世界上一些最受欢迎的网站提供支持，并且由于其简单性和灵活性而成为前端 Web 开发标准。 Linux 基金会会员分为银级、金级和白金级三种不同等级，白金级即最高等级，每年需缴纳会费 50 万美元，同时拥有董事会席位。AT&T、谷歌、华为、IBM、英特尔、微软、Oracle、腾...阅读全文
Debian 11 “Bullseye “将于8月中旬发布，今天上午发布的是Debian Bullseye安装程序的第三个候选版本。本次安装程序的更新为用户提供了更多的文件，部分技术以外的内容受到格外的关注，因为开发团队希望让用户知道将这套系统运行在现代显卡和类似产品的风险，除非加载不被认为是自由软件的固件，否则这些产品往往无法使用。对于许多现代图形处理器，包括AMD的图形处理器，甚至是NVIDIA最近几代GPU的Nouveau驱动程序经常会出现这样的情况：不仅3D硬件加速不工作，甚至显示模式设置也可能失败，导致空白屏幕或以次优的分辨率驱动未加速的显示器。特别是对于较新的GPU和现代显示器来说，如果没有固件文件，这些开源驱动程序等于说是没有用的，而可公开重新发行的固件文件只有二进制文件因...阅读全文
，可以视为是每秒的读写次数。与其他性能测试一様，IOPS 仅代表理想环境下的性能指标，不保证实际应用下也能达到同等情况。IOPS 的数值会随系统组态而有很大的不同，依测试者在测试时的控制变量而异，控制变量包括读取及写入的比例、线程数量以及资料区块的大小等。从 Jens Axboe 在社交媒体上分享的截图可以看到，他用最新的 Linux 内核补丁在一个物理 CPU 核心上实现了 1000 万 IOPS。此次测试的设备仍然与他此前实现 890 万 IOPS 时所使用的设备保持一致 —— 采用了一个 AMD Ryzen 9 5950X CPU 和英特尔 P5800X Gen2 傲腾 SSD。为了实现这些的性能提升，Jens Axboe 主要是在内核的 block / NVMe / IO_uring...阅读全文
Cloudpods是一个开源的多云混合云管理平台。Cloudpods首先是一个私有云云平台，具备将计算节点使用开源QEMU/KVM虚拟化技术虚拟出虚拟机，实现私有云的功能。其次，Cloudpods能够纳管其他的云平台，包括主流私有云和公有云，实现云管的功能。 Cloudpods的目标是帮助用户基于本地基础设置以及已有云基础设置，构建一个统一融合的云上之云，达到降低复杂度，提高管理效率的效果。Cloudpods从3.0开始全面拥抱Kubernetes，基于Kubernetes部署运行云平台的服务组件，采用Kubernetes Operator，基于Kubernetes集群自动化部署服务，实现了云平台的服务的容器化分布式部署。本文总结了Cloudpods在过去3年云平台底层容器化改造的经...阅读全文
以使用开源的 Crossplane 项目以声明方式提供云服务，该项目扩展了 Kubernetes API 以提供托管服务，包括 PostgreSQL、MySQL、Redis 和对象存储。 Crossplane 现在可以作为 GitLab 托管应用程序使用，可以安装到由 GitLab 管理的 Kubernetes 集群中，可以在标准的 GitLab 管道中或通过 Auto DevOps 使用 kubectl 声明性地设置和使用 GCP、AWS 和 Azure 的托管服务。 通过环境面板一目了然地查看环境状态 面对在生产环境中应用程序的频繁更改，在变更流程中各种开发、暂存和生产环境时，对环境变化的跟踪是个问题。GitLab 为此新增了环境面板可显示该信息，从而提供对所有组和项目中环境状态的单点访...阅读全文
对于所有开源爱好者来说，今天是个大喜的日子，Linus Torvalds很高兴地宣布了Linux Kernel 4.0全新内核。 从版本上就可以看出Linux 4.0的变化之大，事实上也的确如此，尤其是打补丁后不需要重启了。 Linux新的补丁更新机制叫做“live patching”（实时补丁），可以对系统内核进行更新而不用重启。该功能由SUSE Enterprise Linux kGraft、Red Hat Kpatch合并升级而来。 普通用户对这个可能没啥感觉，但如果你是企业的网管，就会对打补丁再重启深恶痛绝了，那可意味着整套系统的下线。Windows要是啥时候也能会这招就好了，那意味着你的系统甚至可以连续运行几年乃至十几年！ 新系统还更新了大量驱动，包括Radeon DRM驱动支持...阅读全文
/ CentOS Stream也是官方对那些想要运行Linux的员工的立场，而他们之前的Ubuntu支持则逐渐消退，员工需要自力更生解决日常遇到的问题。不过，当然，Windows和macOS仍然是他们员工笔记本/台式机最常用的平台。除了标准的Fedora资源库和Facebook自己的内部资源库，FB在桌面上默认启用了RPM Fusion，也支持Flatpaks的使用。Facebook在桌面上对Fedora的使用也是工程师们一直在合作并推动最近Fedora本身变化的原因，比如默认Btrfs文件系统的使用，启用Btrfs Zstd透明文件系统压缩，默认启用systemd-OOMD，RPM copy-on-write等等。Facebook现在在桌面上追求CentOS Stream的原因包括：这是接下来稳定的滚动...阅读全文
技术一面 基础面试 一面是通过电话直接沟通。 go的调度go struct能不能比较go defer（for defer）select可以用于什么context包的用途client如何实现长连接主协程如何等其余协程完再操作slice，len，cap，共享，扩容map如何顺序读取实现set实现消息队列（多生产者，多消费者）大文件排序基本排序，哪些是稳定的http get跟headhttp 401,403http keep-alivehttp能不能一次连接多次请求，不等后端返回tcp与udp区别，udp优点，适用场景time-wait的作用数据库如何建索引孤儿进程，僵尸进程死锁条件，如何避免linux命令，查看端口占用，cpu负载，内存占用，如何发送信号给一个进程git文件版本，使用顺序...阅读全文
输数据，在不使用的情况下默认不会传输任何 UDP 数据包，所以比常规VPN省电很多，可以像ShadowSocks一样一直挂着使用。 WireGuard协议的速度几乎秒杀其它VPN协议，测试结果如下图； WireGuard 受到 Linus 本人的推荐，将整合到最新版Linux Kernel中，安装部署更方便。WireGuard 总共几千行代码，只需十分钟就能搞定一台WireGuard服务器。 Wireguard安全性高。极佳的VPN漫游特性，设备支持广泛。内核级别的端对端隧道加密技术，拥有良好的加密特性。Wireguard配置文件由两部分组成：interface和peer。服务器端、客户端互为平等关系。支持预共享密钥preshared key加密，防止量子计算攻击。 国际著名项目，开源代码审...阅读全文
Vultr是一家性价比非常高的VPS提供商，多达15个数据库中心可以选择，并且全部使用SSD硬盘、KVM架构。网上有很多与DigitalOcean、Linode对比的文章，这篇文章主要是分享一下Vultr日本节点的使用感受。 之前看到很多文章对洛杉矶和日本节点进行了测试，不过最近从个人测试来看，电信到Vultr洛杉矶节点目前已经绕路一大圈，丢包也是惨不忍睹，估计是电信又在调整的原因，不知后期是否能恢复正常。 Vultr日本节点以前是限制200G流量，不过现在流量已经增加至400G/月，如果只是安心放网站是完全足够的，最便宜的配置只需要5$/月，1CPU、768MB内存、15GB存储、1000M共享带宽，性价比是非常不错的。 性价比虽不错,那对国内环境来说网络情况又如何，下面是不同运营商的...阅读全文
Kubernetes 中， pod 从创建到成功运行会分别处于不同的阶段，每个阶段又分为不同的状态，本文将简单介绍这个环节。 在 K8S 源码中，使用了 PodPhase 这个变量定义这几个阶段信息，如下图所示： 运行中（PodRunning）：该 Pod 已经绑定到了一个节点上，Pod 中所有的容器都已被创建。至少有一个容器正在运行，或者正处于启动或重启状态。等待中（PodPending）: 创建 Pod 的请求已被 Kubernetes 系统接受，但有一个或者多个容器镜像尚未创建。可能的原因有，写数据到etcd，调度，pull镜像，启动容器这四个阶段中的任何一个阶段，pending 伴随的事件通常会有：ADDED, Modified这两个事件的产生。等待时间包括调度 Pod 的时间和下...阅读全文
作为拥有多个 VPS 服务器的人，当你买了海外的 VPS 后，或多或少有科学上网的需求。目前来说，v2ray 是比较安全、方便的方式。 v2ray是一个功能强大，配置不算复杂的上网工具。相比 SS 的配置稍显复杂，v2ray 功能比 SS 强大太多，只要上手了，可以很方便、安全的使用。系统还是我最喜欢的Debian 系统，轻巧、稳定、流畅，让我能在上面做很多事。 安装 v2ray 也很简单，只需要安装依赖，然后一行命令就能安装好。当然，你也可以不自己安装依赖，而让v2ray去安装依赖。 #### 安装 v2ray 依赖 在终端执行命令： `apt install curl unzip daemon` 如果系统已经有这几个包，则无需手动安装。 #### 安装 v2ray 上面说了，v2ray...阅读全文
上个版本的 Proxmox 是今年7月份发布的VE 6.0。PVE是集成OPENVZ并支持KVM的虚拟化环境。VE 6.1 版本的底层基于 Debian 10.2 Buster, Kernel 5.3 QEMU 4.1.1, LXC 3.2, Ceph 14.2.4.1 (Nautilus), ZFS 0.8.2, 和 Corosync 3.0。 此版本带来了 GUI 中新的配置项，使得 Proxmox VE 的配置更加流畅和安全。你可以在 GUI 中编辑流量类型的带宽限制，比如可以限制迁移、备份还原、克隆等的带宽。如果安装了 Debian 网络管理相关的可选包 ifupdown2，你可以更改网络配置并在 Proxmox Web 界面中重新加载，而无需重启。此外对 TOTP 和 U2F 的...阅读全文
不少博主，出于安全、稳定的考虑，在自己的服务器上使用了 Debian 操作系统。我们知道，对于多数应用环境，特别是 LNMP 环境，绝大多数安全更新可以自行安装，本文我们将详细介绍，如何在 Debian 环境下自行下载安装最新的系统安全补丁。 首选，我们安装关联的系统包 命令如下； apt -y install unattended-upgrades apt-listchanges apticron 安装完成后，编辑未完成的升级配置: vi /etc/apt/apt.conf.d/50unattended-upgrades 将下面的内容粘贴到这个文件中，然后用它修改条目，记得移除那些小行星。 APT::Periodic::Update-Package-Lists "1"; APT...阅读全文
Debian 项目宣布 Debsources，允许浏览和搜索所有 Debian 发行版软件包源代码的 Web 服务，现在是托管在官方Debian基础设施在https://sources.debian.org。 Debian 称，该服务之前托管在域名 sources.debian.net（已重定向到 sources.debian.org）， 他们现在将其迁移到 Debian 硬件和基础设施上，并借此机会正式宣布了这一服务。Debsources 内容可通过 HTML 界面和 JSON API 访问，会定期更新，目前是一天更新四次。 Debsources 被广泛用来进行各种 Debian 的源代码研究。 Dear developers, We're happy to announce that...阅读全文
Intel 最近为其 10 亿级用户的核芯显卡真是操醉了心，一方面进一步公布了 第 11 代核显的架构细节 ，另一方面升级驱动程序带来了全新的控制中心 。 而在对新驱动进行了一番挖掘之后，赫然发现 Intel 已经将第 11 代核显的诸多型号隐藏在了其中，显然硬件部分已经 OK，进入了驱动开发阶段。 Intel 目前的核显架构是第 9 代 (以及升级版 9.5 代)，从六代酷睿 Skylake 一直到九代酷睿 Coffee Lake Refresh 都是它，最多 24 个执行单元 (EU)，而接下来 Intel 将跳过第 10 代，直接奔向第 11 代，架构规格都会有翻天覆地的变化。 11 代核显将全面用于 Intel 10nm 处理器，包括 主流桌面的 Ice Lake、3D 封装超低功...阅读全文
SMR HDD和其他分区式存储设备提出的优化方案。它在传统的块设备之外提供了另一种映射，将分区式存储设备上面的每一个区都映射成一个单独的文件，这带来的好处就是应用程序无需修改太多的代码即可利用上分区式存储设备的优点，很多原本要自己做的控制都被集成在Zonefs里面了，不用开发者来动手了，这大大减少了使用分区式存储设备的迁移工作量。 Linux 5.6内核已经发布了第三个发布候选版，预计将于近期发布正式版，这版内核包括有针对新硬件的支持，被 Phoronix 称为是近几年最激动人心的Linux内核更新。...阅读全文
为了帮助实现更加开放、让每个人都能轻松访问到的分布式互联网技术，Mozilla 于去年与美国国家科学基金会携手提供了 200 万美元的奖金。现在，这个项目似乎已经取得了积极的成果。 Mozilla 刚刚宣布，自 Firefox 59 开始，用户将能够通过扩展来启用“分布式互联网协议”。Firefox 59 的正式版定于 2018 年 3 月份推出，其中包含了对一些新批准的协议的支持，比如 Dat Project、IPFS、以及 Secure Scuttlebutt 。 此举意味着 Mozilla 在积极为当前占主导地位的“客户端-服务器”模型（CS Model）寻找替代方案。需要指出的是，协议实施的重担并没有落在 Mozilla 身上，只是 Firefox 浏览器会将其认定为合法的而已。此...阅读全文
AWS 的临时权限可以通过 AssumeRole 访问控制台，但需要经过一些配置和操作。以下是如何使用 AssumeRole 通过 SessionToken 访问 AWS 的管理控制台。 以下步骤，包括了生成临时凭证 SessionToken，并通过这个凭证生成可访问 AWS Web控制台的登录 URL。完整的流程如下。一. 创建并配置 IAM 角色• 创建目标角色（RoleA）：• 创建一个 IAM 角色，为其分配所需的权限策略（如 AdministratorAccess 或自定义策略）。• 配置信任关系，使特定用户或角色可以 Assume 该角色。例如：{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow...阅读全文
MIPS业务卖掉了，现在MIPS在Wave Computing公司手中。 去年底Wave公司正式宣布即将开放MIPS架构（ISA），为全球的半导体企业、开发人员及高校提供免费的MIPS架构，供其开发下一代SOC。MIPS架构开放计划将为所有参与者免费提供最新的32位和64位 MIPS架构，且不产生架构授权费和版权费，同时也为所有MIPS架构的使用者提供其在全球范围内几百项现有专利的保护。 目前Wave官网上已经开始提供MIPS开源相关的指令集及工具了，包括32位及64位的MIPS R6指令集、MIPS SIMD扩展、MIPS DSP扩展、MIPS Multi-Threading (MT)、MIPS MCU、microMIPS Architecture架构、MIPS Virtualization...阅读全文
包括：无法准确清晰了解、掌控全局的系统运行架构；无法回答应用之间的连通性是否正确；多语言、多网络调用协议带来埋点成本呈线性增长，且重复埋点 ROI 低，开发一般将这类需求优先级降低，但可观测数据又不得不采集。2、下沉的基础设施能力屏蔽实现细节，问题定界越发困难基础设施能力继续下沉，开发和运维关注点继续分离，分层后彼此屏蔽了实现细节，数据方面不好关联了，出现问题后不能迅速地定界问题出现在哪一层。开发同学只关注应用是否正常工作，并不关心底层基础设施细节，出现问题后需要运维同学协同排查问题。运维同学在问题排查过程中，需要开发同学提供足够的上下游来推进排查，否则只拿到“某某应用延迟高”这么笼统的表述，这很难有进一步结果。所以，开发同学和运维同学之间需要共同语言来提高沟通效率，Kubernetes 的...阅读全文
期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。同时，也支持手动录入执行器地址； 6、弹性扩容缩容：一旦有新执行器机器上线或者下线，下次调度时将会重新分配任务； 7、路由策略：执行器集群部署时提供丰富的路由策略，包括：第一个、最后一个、轮询、随机、一致性 HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等； 8、故障转移：任务路由策略选择” 故障转移” 情况下，如果执行器集群中某一台机器故障，将会自动 Failover 切换到一台正常的执行器发送调度请求。 9、阻塞处理策略：调度过于密集执行器来不及处理时的处理策略，策略包括：单机串行（默认）、丢弃后续调度、覆盖之前调度； 10、任务超时控制：支持自定义任务超时时间，任务运行超时将会主动中断任务； 11、任务失败重试...阅读全文
转机的设置，并默认已按初始化配置文章对服务器进行了配置。本文将介绍四种方法：firewalld，UFW，iptables，和 socat（推荐）来进行流量中转，根据需要选取其中一种方法操作即可。亦可根据需要，将目标机设置为只允许中转机访问。其中，firewalld，UFW，iptables 均可对 TCP 和 UDP 进行转发，而 socat 还可以对包含域名的地址进行转发。 准备购买合适的 NAT VPS，此处提供一些服务商了解 NAT VPS 的基本使用方法，例如搞清楚 NAT VPS 一般需要在服务商处查看端口映射的设置基础 Linux 操作知识，并了解 vim 编辑器的基本使用方法 使用 firewalld 进行中转此方法在 CentOS 下较为简便（CentOS 8 默认使用...阅读全文
Observium是一个免费的开源网络管理和监控工具，可用于监控所有的网络设备。 它是用PHP编写的，使用SNMP从连接的设备收集数据并使用Web界面监视它们。 Observium支持大量的网络硬件和操作系统，包括Linux，Windows，FreeBSD，思科，戴尔，NetApp等等。 Observium提供了一个功能强大，简单易用的界面来监视网络的健康和状态。 在本教程中，我们将解释如何在Debian 9服务器上安装和配置Observium。配置需求： 一个新的Debian 9服务器安装在您的系统上。 在您的服务器上设置一个根密码。 入门 首先运行以下命令，将系统更新到最新的稳定版本： apt-get update -y apt-get upgrade -y 系统更新后，重新启动系统以...阅读全文
->A4};……; {A1,A2,...,Ai}->Ai+1. 这种方式就是第二数学归纳法。对于Ai+1需要前面的所有前序状态才能完成推理过程。我们将这一模型称为高阶马尔科夫模型。对应的推理过程叫做“动态规划法”。 上述两种状态转移图如下图所示： 能用动规解决的问题的特点 能采用动态规划求解的问题的一般要具有3个性质： (1) 最优化原理：如果问题的最优解所包含的子问题的解也是最优的，就称该问题具有最优子结构，即满足最优化原理。 (2) 无后效性：即某阶段状态一旦确定，就不受这个状态以后决策的影响。也就是说，某状态以后的过程不会影响以前的状态，只与当前状态有关。 （3）有重叠子问题：即子问题之间是不独立的，一个子问题在下一阶段决策中可能被多次使用到。（该性质并不是动态规划适用的必要条件，但是如果没...阅读全文
会把这些信息填充到将要发送的 HTTP 请求头中： x509 证书使用 tls.TLSConfig 发送（包括 CA 证书）。bearer tokens 在 HTTP 请求头 Authorization 中发送。用户名和密码通过 HTTP 基本认证发送。OpenID 认证过程是由用户事先手动处理的，产生一个像 bearer token 一样被发送的 token。 2. kube-apiserver 认证 现在我们的请求已经发送成功了，接下来将会发生什么？这时候就该 kube-apiserver 闪亮登场了！kube-apiserver 是客户端和系统组件用来保存和检索集群状态的主要接口。为了执行相应的功能，kube-apiserver 需要能够验证请求者是合法的，这个过程被称为认证。 那么...阅读全文
随着企业的逐步成熟，他们会开发更多工具。在Google，我们持续创建新的外部和内部服务，以及支持这些服务的基础架构。 从2013年起，我们开始放弃之前用来更新和维护服务的简单的自动化工作流。每个服务都要求复杂的更新逻辑，并且还需要适应基础架构的变化，经常性的集群的启动关闭等等。配置多个，互相交互的服务的工作流变得难以维护。 我们需要一种全新的方案来适应业务的增长以及所涉及到的配置的复杂性。为此，我们开发了声明式的自动化系统，作为统一的控制层，并且取代了工作流。这个系统包括两个主要的工具：Podspec，描述服务基础架构的工具，和Annealing，更新生产环境来匹配Prodspec输出的工具。本文讨论我们解决过的问题，以及我们所选择的架构。 Prodspec和Annealing有一个根本共...阅读全文
select-pane -[UDLR] 在指定的方向选择下一个 pane 更常用的是在 tmux 中直接通过默认前缀 ctrl + b 之后输入对应命令来操作，具体如下（这里只列出输入默认前缀之后需要输入的操作）： 基本操作 ? 列出所有快捷键；按q返回 d 脱离当前会话,可暂时返回Shell界面 s 选择并切换会话；在同时开启了多个会话时使用 D 选择要脱离的会话；在同时开启了多个会话时使用 : 进入命令行模式；此时可输入支持的命令，例如 kill-server 关闭所有tmux会话 [ 复制模式，光标移动到复制内容位置，空格键开始，方向键选择复制，回车确认，q/Esc退出 ] 进入粘贴模式，粘贴之前复制的内容，按q/Esc退出 ~ 列出提示信息缓存；其中包含了之前tmux返回的各种提示信息 t 显...阅读全文
，Kubernetes就已经能够支持多种持久数据存储选项，包括常用的NFS或iSCSI，且原生支持来自各大主要公有及私有云服务供应商的存储解决方案。随着项目及生态系统的发展，越来越多存储选项被纳入到Kubernetes当中。然而，为新的存储系统添加分卷插件一直是项艰难的挑战。 容器存储接口（简称CSI）是一项跨行业标准倡议，旨在降低云原生存储开发工作的门槛，从而进一步确保兼容性水平。SIG-Storage[4]与CSI社区[5]目前正在携手交付单一接口，用于对兼容Kubernetes的存储资源进行配置、附加与挂载。 Kubernetes 1.9引入了容器存储接口（简称CSI）的一套alpha实现[6]版本，其能够将新分卷插件的安装流程简化至与安装pod相当，并允许第三方存储供应商在无需接触核心...阅读全文
Kubernetes v1.21 下个月就要发布了（v1.21.0 将于 4 月 8 日发布），本文梳理该版本带来的新特性，以便你为下个月的升级做好准备。PodSecurityPolicy 弃用PodSecurityPolicy（PSP）是 Kubernetes 1.8 开始就支持的 Beta 特性，大量应用于容器的安全策略控制。但由于其 API 不够灵活、认证模型不够完善且配置更新繁琐等缺陷，PodSecurityPolicy 将在 v1.21 正式弃用[1]，并将在 v1.25 中从代码库中删除。已经使用 PodSecurityPolicy 的用户建议迁移到 Gatekeeper[2]。不可变 ConfigMap/Secret 进入稳定版当集群包含大量 ConfigMap 和...阅读全文
Operator 与 kube-prometheus 之二 - 如何监控 1.23+ kubeadm 集群, 安装完成后, 开箱即用. 开箱即用内容包括: 抓取 apiserver 和 kubelet 指标;(即 serviceMonitor) 配置证书过期时间的相关告警; (即 PrometheusRule) 这里用到的指标有: apiserver apiserver_client_certificate_expiration_seconds_count apiserver_client_certificate_expiration_seconds_bucket kubelet kubelet_certificate_manager_client_expiration_renew_errors...阅读全文
有的操作都将在 ingress-apisix 命名空间中执行，因此需要先创建该命名空间：kubectl create namespace ingress-apisix 步骤二：安装 Apache APISIX Ingress Controller 我们可以通过 Helm 来安装 Apache APISIX Ingress Controller，包括数据面的 Apache APISIX 和 etcd 集群。 helm repo add apisix https://charts.apiseven.com helm repo update helm install apisix apisix/apisix --set gateway.tls.enabled=true --set ingress...阅读全文
新的技术，特别是在网络和云计算领域。在网络方面，与中国三大运营商，包括中国移动、中国电信、中国联通，还有中兴、华为等开展合作。在云计算方面，Linux 有云原生的一些项目，主要是和 BAT三家大的公司来开展合作。 在Jim 看来，新的企业和机构加入到 Linux 的活动当中，会给 Linux 带来更多的价值。 上周日本丰田宣布在销售最好的产品凯美瑞中使用 Linux 系统。汽车行业的加入，意味着将会对 Linux 内核提出新的要求，这对于为嵌入式系统开发解决方案的厂商来说也是很好的消息。加入 Linux 意味着他们的测试覆盖范围更大了，有更多的人对这个代码进行审议。 “总的来说，我们觉得越多的企业和组织架构加入到 Linux 的阵营，实际上对Linux 的发展是越好的。” （二）谈...阅读全文
夫除了直接贡献之外还具有巨大的影响力，因为他指导和激励了与他接触的许多人。 — Jeremy Bícha 我还记得与 Steve 因 Linux 上的一款 Settlers of Catan 游戏而相遇的情景，当时游戏名为 Gnocatan，后来更名为 Pioneers。我当时正在添加一个小软件功能，而他几乎是所有事情的核心，包括更名。大约 15 年后，当我随机参加 Ubuntu 峰会时，他认出了我的名牌，并特意向我打招呼。他是个好人，很遗憾听到这个不幸的消息。 — Jeff Breidenbach 我翻遍了本地和公共邮件档案，在其中发现了 Steve 最早在 debian-devel 列表中发布的一些帖子。当时我正在开发并打算为 Debian 打包 freetds，但当时我遇到了一些技术问...阅读全文
。这个时候context就派上用场了。我们首先看看context的结构设计和实现原理。context是什么context接口先看Context接口结构，看起来非常简单。type Context interface { Deadline() (deadline time.Time, ok bool) Done() <-chan struct{} Err() error Value(key interface{}) interface{} } Context接口包含四个方法：Deadline返回绑定当前context的任务被取消的截止时间；如果没有设定期限，将返回ok == false。Done 当绑定当前context的任务被取消时，将返回一个关闭的channel；如果当前context不会被取...阅读全文
，以及更低的端到端延迟 持久性日志：Kafka可以为一种外部的持久性日志的分布式系统提供服务。这种日志可以在节点间备份数据，并为故障节点数据回复提供一种重新同步的机制。Kafka中日志压缩功能为这种用法提供了条件。在这种用法中，Kafka类似于Apache BookKeeper项目。 1.1.4. Kafka中包含以下基础概念 1.Topic(话题)：Kafka中用于区分不同类别信息的类别名称。由producer指定 2.Producer(生产者)：将消息发布到Kafka特定的Topic的对象(过程) 3.Consumers(消费者)：订阅并处理特定的Topic中的消息的对象(过程) 4.Broker(Kafka服务集群)：已发布的消息保存在一组服务器中，称之为Kafka集群。集群中的每一个服...阅读全文
队列机制，将 queue 镜像到 cluster 中其他的节点之上。在该实现下，如果集群中的一个节点失效了，queue 能自动地切换到镜像中的另一个节点以保证服务的可用性。 在通常的用法中，针对每一个镜像队列都包含一个 master 和多个 slave，分别对应于不同的节点。slave 会准确地按照 master 执行命令的顺序进行命令执行，故slave 与 master 上维护的状态应该是相同的。除了 publish 外所有动作都只会向master 发送，然后由 master 将命令执行的结果广播给 slave 们，故看似从镜像队列中的消费操作实际上是在 master 上执行的。 一旦完成了选中的 slave 被提升为 master 的动作，发送到镜像队列的 message 将不会再丢失...阅读全文
几个星期前，我一个朋友问我：“为什么要关心 Go 语言”？ 因为他们知道我热衷于 Go 语言，但他们想知道为什么我认为 其他人 也应该关心。本文包含三个我认为 Go 是重要的编程语言的原因。 安全 个人而言，你和我或许完全有能力在 C 中编写程序，既不会泄漏内存，也不会不安全地重复使用内存。然而，整体上，即使有超过40年的经验，用 C 的程序员也无法可靠地这样做。 尽管静态代码分析、valgrind、tsan 以及 “-Werror” 已经存在了几十年，却很少有证据表明这些工具被广泛认可，更不用说广泛采用。总而言之，事实表明，程序员根本无法安全地管理自己的内存。现在是离开 C 的时候了。 Go 不需要程序员直接管理内存，所有内存分配都由语言运行时自行管理，使用前初始化，必要时检查边界。它肯...阅读全文
cause it to allocate a buffer that’s too small,” "恶意 dns 服务器可以利用此漏洞，通过精心构造的 tcp Payload, 诱骗systemd-resolved 分配的缓冲区太小, 随后将任意数据写入它的末尾。 该漏洞涉及ubuntu、debian及其它使用Systemd的linux系统 自 Systemd 223 版本于 2015年6月 推出以来, 这一漏洞一直存在, 包括今年3月推出的 Systemd 233 版本。当然, 前提条件是 systemd-resolved 在您的系统上运行, 因为它很容易受到攻击。 该 bug 存在于 ubuntu 版本17.04 和版本16.10 中；debian 版本 Stretch (又名 debian 9...阅读全文
Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。 Scrapy 组件介绍 Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。 调度器(Scheduler) 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。 下载器(Downloader) 下载器负责获取页面数据并提供给引擎，而后提供给spider。 Spiders Spider 是 Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的...阅读全文
个包含最新版本的开发版本，且仅支持TLS1.2。这种非主流操作真的很少见——目前只有Mozilla的“Modern”配置设置才推荐使用TLS 1.2。 保持OpenSSL库的长期Debian开发人员Kurt Roeckx写道：“我希望Buster发布对TLS 1.2的支持将足够高，不需要再次启用[TLS 1.0和1.1]。 ” Buster是Debian 10的代号，它是Linux发行版的下一个主要版本。没有宣布发布日期，但距离上一个版本的发布已经超过一年了。 对于只想使用旧版本的人，Roeckx并不留情，他说：“强烈建议你添加对TLS1.2的支持，或让对方添加支持。” 或许等到Buster发布的那天，仅支持TLS1.2不再是骚操作或大胆的配置。但熟悉SSL / TLS和Web PKI的人士...阅读全文
理内存，当物理内存还有空闲时(还够用)，不会释放其占用内存，就算占用内存的程序已经被关闭了，该程序所占用的内存用来做缓存使用，对于开启过的程序、或是读取刚存取过得数据会比较快。有关linux内存机制参考： Linux 内存机制 Mem：表示物理内存统计。 -/+ buffers/cached：表示物理内存的缓存统计 Swap：表示硬盘上交换分区的使用情况。只有mem被当前进程实际占用完,即没有了buffers和cache时，才会使用到swap。 Mem 行(第一行)数据说明： Total：1035108KB。表示物理内存总大小。 Used：1008984KB。表示总计分配给缓存(包含buffers 与cache )使用的数量，但其中可能部分缓存并未实际使用。 Free：26124KB。表示未...阅读全文
GitHub的高级技术副总裁Jason Warner在2018的技术趋势中挑出了数据、工作流集成（workflow integration）以及开源工具，他认为这些是一个公司在2018年能够取得成功的关键。 Warner写道，数据将成为2018年全球增长的最重要因素： 现如今，所有的公司都是数据公司，不论他们是否意识到这个情况。在2018年，只要团队知道如何使用数据，数据就会成为他们最大的资产。 数据的重要性日益增长，也标志着云服务平台从分布式云计算平台转型成为数据处理的云平台，其中还包括数据分析和机器学习。这将重点反映到三个关键领域： Warner说，许多重要的系统目前都很脆弱，尽管它们的规模越来越大。为了应对在2018年变得更加频繁的攻击，将会有更多的财力和开发资源分配到改进安全性上...阅读全文
Gogs 是由 Go 语言编写的，自由开源的 Git 服务。Gogs 是一款无痛式自托管的 Git 服务器，能在尽可能小的硬件资源开销上搭建并运行您的私有 Git 服务器。Gogs 的网页界面和 GitHub 十分相近，且提供 MySQL、PostgreSQL 和 SQLite 数据库支持。 在本教程中，我们将使用 Gogs 在 Debian Stretch 上按步骤指导您安装和配置您的私有 Git 服务器。这篇教程中涵盖了如何在 Debian 上安装 Go 语言、PostgreSQL 和安装并且配置 Nginx 网页服务器作为 Go 应用的反向代理的细节内容。 步骤 1 - 更新和升级系统 继续之前，更新 Debian 所有的库，升级所有包。 运行下面的 apt 命令： sudo apt...阅读全文
systemctl enable gogs 使用下面的命令开启 Gogs 服务器并设置为开机启动。 Gogs 服务器现在已经运行在你的 Debian 系统上了。 使用下面的命令检测： netstat -lnptu systemctl status gogs 您应该会得到下图所示的结果。 步骤 7 - 为 Gogs 安装和配置 Nginx 反向代理 在本步中，我们将为 Gogs 安装和配置 Nginx 反向代理。我们会在自己的库中调用 Nginx 包。安装 Nginx， sudo apt update sudo apt install nginx -y 进入 /etc/nginx/sites-available 目录并且创建虚拟主机文件 gogs，粘贴下面的代码到配置文件： server { listen...阅读全文
多独特的安全功能。它还使用可读的配置语法，可以在不需要 HTTP 或 CGI 专业知识的情况下使用。 Hiawatha 的优势在于其体积小巧，安全性高，易于安装。它非常适合寻求轻量级替代 Apache 的用户，他们将安全可用性，速度和性能优先于高级功能。 Cherokee Cherokee 是我们这些服务器中第三个取自美洲原住民部落的名字。这个由 Akamai Technologies 工程总监 Alvaro Lopez Ortega 于 2001 年创建，他想将模块化和轻量化设计的速度和功能结合起来。 Cherokee 已经成为一个可扩展，高性能，用户友好的 Web 服务器，具有较低的内存占用空间和负载平衡设施。其中包括一个称为 cherokee-admin 的基于 Web 的管理界面...阅读全文
上都是通过讨论取得共识后再决定的。更最重要的是，现在 Django 中的不少提交者都处于非活动的状态，再加上“提交者”或“核心团队成员”这种头衔往往被视为有较高的门槛，容易让潜在的贡献者“不敢”与之相匹配。因此，从各层面来说，Django 的核心团队都已经失去了作用，倒不如直接解散。 作为替代者，两个新的角色将被正式化 —— 合并者（Merger）和 发布者（Releaser），合并者负责拉取请求到 Django ，发布者负责打包和发布版本。技术委员会作为最终的把关者，将继续保留，并赋予一些额外的决定权，主要是把控合并者和发布者的工作，并确认 Django 即将发布的版本。同时，董事会选举的频率将会降低，计划会是在每个主要版本发布时举办一次，而不是现在的每个版本发布时都进行。技术委员会的选举...阅读全文
近日，Facebook 开源了一套解决重要计算集群管理问题的 Linux 内核组件和相关工具，这些项目覆盖了资源控制、资源利用、工作负载隔离、负载均衡、测量和监控等方面：BPF、Btrfs、Netconsd、Cgroup2、PSI、Oomd。 Facebook 表示这些项目现在已大规模用于其所有基础设施生产环境中，并用于其它许多企业组织的环境中。 BPF：https://facebookmicrosites.github.io/bpf/ BPF 是 Linux 内核中一种高度灵活、高效率的代码执行引擎，可以让字节码在各个 hook 点运行，以使用自定义代码。虽然 BPF 已广泛用于数据包过滤，但是 BPF 的指令集具有很强的通用性和灵活性，足以支持和允许除网络之外的众多使用场合，比如跟踪和...阅读全文
