火花纱调度器详解

在Yarn中有三种调度程序可供选择:FIFO调度程序、容量调度程序和集市调度程序。

FIFO调度器根据提交的顺序将申请排列在一个队列中，这是一个先进先出的队列。分配资源时，先将资源分配给队列中最靠前的应用程序，满足最靠前的应用程序要求后再分配给下一个应用程序，以此类推。

FIFO调度器是最简单易懂的调度器，不需要任何配置，但是不适合* * *共享集群。大型应用程序可能会占用所有集群资源，从而导致其他应用程序被阻塞。在* * *共享集群中，更适合采用容量调度器或公平调度器，两者都允许大任务和小任务在提交的同时获得一定的系统资源。

下面的“纱线调度程序比较图”显示了这些调度程序之间的差异。从图中可以看出，在FIFO调度器中，小任务会被大任务阻塞。

对于容量调度器，有专门的队列来运行小任务，但是为小任务设置队列会提前占用一定的集群资源，导致大任务的执行时间落后于使用FIFO调度器时的执行时间。

在公平调度器中，我们不需要提前占用一定的系统资源，公平调度器会为所有正在运行的作业动态调整系统资源。如下图，第一个大作业提交时，只有这个作业在运行，此时已经获得了所有的集群资源；当第二个小任务提交后，公平调度器会将一半的资源分配给这个小任务，让两个任务公平地享受集群资源。

需要注意的是，在下图所示的公平调度器中，从第二个任务提交到获取资源会有一定的延迟，因为它需要等待第一个任务释放被占用的容器。小任务执行后也会释放自己占用的资源，大任务会获得所有系统资源。最终的结果是，公平调度器既能实现较高的资源利用率，又能保证小任务的及时完成。

纱线调度程序比较图:

第二，容量调度器的配置。

2.1集装箱调度简介

Capacity scheduler允许多个组织* * *享受整个集群，每个组织可以获得集群的部分计算能力。通过为每个组织分配特殊的队列，然后为每个队列分配特定的集群资源，整个集群可以通过设置多个队列为多个组织提供服务。此外，队列可以垂直划分，这样一个组织中的多个成员可以* * *享受队列资源。在队列中，资源调度基于先进先出(FIFO)策略。

从上图我们已经知道，一个作业可能不会使用整个队列的资源。但是，如果这个队列中有多个作业在运行，如果这个队列中的资源足够，那么它们将被分配给这些作业。如果这个队列的资源不够用怎么办？事实上，容量调度器仍然可能向该队列分配额外的资源，这就是“队列弹性”的概念。

在正常操作中，容量调度程序不会强制释放集装箱。当一个队列不够用时，该队列只能获得其他队列释放的容器资源。当然，我们可以为队列设置一个最大资源使用量，防止这个队列占用过多的空闲资源，让其他队列无法使用这些空闲资源。这就是“弹性队列”需要权衡的地方。

2.2集装箱调度的配置

假设我们有以下级别的队列:

根

├──产品

└──·德夫

├──工程公司

└──科学

下面是一个简单的容量调度器的配置文件，名为capacity-scheduler.xml，在这个配置中，根队列下定义了两个子队列prod和dev，分别占容量的40%和60%。应当注意，队列的配置是由属性yarn . scheduler . capacity指定的...，表示队列的继承树，比如root.prod queue，一般指容量和最大容量。

我们可以看到dev队列被分成两个容量相同的子队列，eng和science。dev的maximum-capacity属性设置为75%，因此即使prod队列完全空闲，dev也不会占用所有集群资源，也就是说，prod队列仍然有25%的可用资源用于紧急情况。我们注意到，在eng和science队列中没有设置maximum-capacity属性，这意味着eng或science队列中的作业可能会使用整个dev队列的所有资源(高达集群的75%)。同样，prod可能会占用集群的所有资源，因为它没有设置maximum-capacity属性。

容量容器不仅可以配置队列及其容量，还可以配置一个用户或应用程序可以分配的最大资源数量、可以同时运行多少个应用程序、队列的ACL认证等等。

2.3队列设置

队列的设置取决于我们的具体应用。例如，在MapReduce中，我们可以通过mapreduce.job.queuename属性指定要使用的队列。如果队列不存在，我们将在提交任务时收到一个错误。如果我们不定义任何队列，所有应用程序都将被放入默认队列中。

注意:对于Capacity scheduler，我们的队列名必须是队列树的最后一部分，如果我们使用队列树，它将不会被识别。例如，在上面的配置中，我们可以使用prod和eng作为队列名称，但如果我们使用root.dev.eng或dev.eng，则无效

第三，公平调度器的配置

3.1公平调度

公平调度器的设计目标是为所有应用分配公平的资源(公平的定义可以通过参数设置)。上面的“纱线调度程序比较图”显示了一个队列中两个应用程序的公平调度；当然，公平调度也可以在多个队列之间工作。例如，假设有两个用户A和B，他们都有一个队列。当a启动一个作业，b没有任务，a会得到所有的集群资源；当B启动一个作业时，A的作业会继续运行，但过一段时间后，两个任务会各获得一半的集群资源。如果此时B启动了第二个作业，而其他作业还在运行，那么它将与B的第一个作业***共享这个队列的资源，即B的两个作业将使用四分之一的集群资源，而A的作业仍将使用一半的集群资源。因此，资源将在两个用户之间平均共享。该过程如下图所示:

3.2启用公平调度程序

调度器的使用通过yarn-site.xml配置文件中的yarn . resource manager . Scheduler . class参数配置，默认采用容量调度器。如果我们想使用FairScheduler，我们需要在这个参数上配置FairScheduler类的全限定名:org。Apache . Hadoop . yarn . server . resource manager . scheduler . fair . fair scheduler。

3.3队列的配置

公平调度器的配置文件位于类路径下的fair-scheduler.xml文件中，可以通过yarn . scheduler . Fair . allocation . file属性进行修改。没有这个配置文件，Fair调度器采用的分配策略类似于3.1节介绍的:调度器会在用户提交第一个申请时自动为用户创建一个队列，队列的名称就是用户名，所有的申请都会被分配到对应的用户队列中。

我们可以在配置文件中配置每个队列，并且可以像容量调度程序一样分层配置队列。例如，参考capacity-scheduler.xml来配置公平调度程序:

队列的层次结构是通过嵌套元素实现的。所有队列都是根队列的子队列，即使我们不匹配元素。在这个配置中，我们将dev队列分为两个队列:eng和science。

公平调度器中的队列有一个权重属性(这个权重就是公平的定义)，这个属性作为公平调度的基础。在本例中，当调度程序将集群40:60的资源分配给prod和dev时，这被认为是公平的，并且eng和science队列没有定义权重，因此它们将被平均分配。这里的权重不是百分比。我们把上面的40和60分别换成2和3，效果是一样的。请注意，没有配置文件的用户自动创建的队列仍然有权重，权重值是1。

每个队列中仍然可以有不同的调度策略。队列的默认调度策略可以通过顶级元素进行配置。如果没有配置，默认情况下将采用公平调度。

虽然它是一个公平的调度器，但它仍然支持队列级的FIFO调度。每个队列的调度策略可以被其内部元素所覆盖。在上面的例子中，prod队列被指定使用FIFO进行调度，因此提交给prod队列的任务可以按照FIFO规则的顺序执行。应该注意的是，prod和dev之间的调度仍然是公平的，eng和science之间的调度也是如此。

虽然上面的配置中没有显示，但是每个队列仍然可以配置最大和最小的资源占用率，以及可以运行的应用程序的最大数量。

3.4队列设置

公平调度程序使用基于规则的系统来确定应用程序应该放在哪个队列中。在上面的例子中，元素定义了一个规则列表，每个规则都将被逐一尝试，直到匹配成功。例如，如果指定了上面示例中的第一个规则，应用程序将被放入它所指定的队列中。如果应用程序没有指定队列名称或者队列名称不存在，则意味着规则不匹配，然后尝试下一个规则。primaryGroup规则将尝试将应用程序放入以用户的Unix组名命名的队列中。如果没有队列，请尝试下一个规则，而不是创建队列。当前面的所有规则都不满足时，默认规则被触发，应用程序被放在dev.eng队列中。

当然，我们不能配置queuePlacementPolicy规则，调度程序默认采用以下规则:

上面的规则可以用一句话来概括，除非队列定义准确，否则会以用户名作为队列名来创建队列。

还有一个简单的配置策略，将所有应用程序放在同一个队列中(默认)，这样所有应用程序都可以平等地享受集群，而不是在用户之间。该配置定义如下:

要实现以上功能，我们还可以设置纱线。scheduler . fair . user-as-default-queue = false而不使用配置文件，这样应用程序将被放入默认队列而不是用户名队列。此外，我们可以设置纱线。scheduler . fair . allow-undefined-pools = false，因此用户无法创建队列。

3.5先占权

当作业提交到繁忙集群中的空队列时，该作业不会立即执行，而是被阻塞，直到正在运行的作业释放系统资源。为了使作业提交的执行时间更可预测(可以设置等待超时)，公平调度器支持抢占。

抢占是允许调度器杀死占用超过其资源队列份额的容器，而这些容器资源可以分配给应该享有这些共享资源的队列。需要注意的是，抢占会降低集群的执行效率，因为终止的容器需要重新执行。

您可以通过设置全局参数yarn来启用抢占。调度程序。公平。抢占=真。另外，有两个参数控制抢占的过期时间(这两个参数默认不配置，至少需要配置一个参数来允许抢占容器):

-最小共享抢占超时

-公平份额抢占超时

如果队列在最小共享抢占超时指定的时间内没有获得最小资源保证，调度程序将抢占容器。我们可以通过配置文件中的顶级元素为所有队列配置此超时；我们也可以在元素中配置元素，为队列指定超时。

类似地，如果队列在公平份额抢占超时指定的时间内没有获得一半的相等资源(这个比率可以配置)，调度器将抢占容器。这个超时可以分别通过顶级元素和元素级元素配置所有队列和一个队列的超时。上面提到的比率可以通过(配置所有队列)和(配置一个队列)来配置，默认为0.5。