Linkis V2022 正式版微服务架构设计软件

Linkis是一个专业的微服务架构设计软件。数据构建必不可少的微服务架构设计工具。它可以通过建立任意一个Linkis桥，帮助用户构建数据处理服务，配置设备通信服务，管理软件中的统计存储服务，统一上下文，管理软件中的素材库，与多个服务平台进行数据交互。你的数据已经传输到数据库了。可以在多个设备之间读取数据，提供应用管理服务和资源管理服务，在软件中搭建工作平台，查看自己的工作项，配置多个引擎，查看适合需要搭建数据服务平台的用户的资源使用排名。Linkis允许用户配置工作流程，在软件中查看设备工作进度，远程读取设备工作数据。如果你需要搭建一个微服务平台，请下载这个软件！

软件说明：

Linkis是一款计算中间件，集成了Spark、TiSpark、Hive、Python、HBase等多个计算存储引擎，提供统一的REST/WebSocket/JDBC接口，提交并执行SQL、Pyspark、HiveQL、Scala等脚本。

Linkis基于微服务架构，提供企业级功能，如财务级多租户隔离、资源管控、权限隔离。它支持统一的变量、UDF、函数和用户资源文件管理，具有高并发、高性能和高可用性的大数据操作。/需要完整的生命周期管理功能。

软件功能：

统一作业执行服务：分布式REST/WebSocket服务，用于处理用户的脚本执行请求。

到目前为止可用的计算引擎：Spark、Python、TiSpark、Hive和Shell。

目前可用的语言有：SparkSQL、Spark Scala、PySpark、r、Python、HQL和Shell。

资源管理服务：从系统和用户的数量和负载的角度对资源使用进行实时控制/限制。通过动态资源统计，您可以轻松监控和管理系统和用户资源使用情况。

到目前为止可用的资源类型：纱线队列资源、服务器(中央处理器和内存)以及每个用户的并发实例数量。

应用管理服务：管理全局用户应用，包括离线批量应用、交互查询应用和实时流应用。它还具有很强的可重用性，尤其是对于离线和交互应用，并且具有完整的生命周期管理功能，可以自动为用户释放闲置的应用。

统一存储服务：通用IO架构可以快速与各种存储系统集成，提供统一的可调用条目。它还与最常用的数据格式高度集成，易于使用。

统一上下文服务：统一的用户和系统资源文件(JAR、ZIP、属性)。通过统一管理用户、系统和引擎的参数/变量，可以实现对随机位置的修改将自动反映在所有其他位置。

材料仓库：系统级和用户级的材料管理，能够共享和转移材料，实现全生命周期自动化管理。

元数据服务：实时显示数据集表的结构和分区。

使用说明：

，例如使Linkis适应新的计算或存储引擎

1导言

除了直接使用Linkis开发的引擎，后端开发人员还可以根据自己的需求开发自己的应用。分为门户模块、引擎管理器模块和引擎模块，可以轻松拆分应用以适应Linkis。关于这三个模块的目的和架构，请参见Linkis Archetect设计文档UJES架构设计文档。

2.申报

Linkis使用Spring框架作为其基础技术。因此，我们必须遵守Spring的开发规范。

Linkis具有灵活的基础设施，并为几乎所有顶级接口提供通用实现。如果用户需要定制类，可以直接注入，替换当前的实现。

2.1接入模块适配

1)Maven依赖

2)要实现的接口

入口处没有强制接口。可以根据需要实现以下接口。

入口传感器.用于解决从前端到持久任务的请求映射。提供了抽象调用类，只需要重写parseToTask方法。Linkis提供了一个CommonEntranceParser作为默认实现。

引擎请求者.用于构造RequestEngine对象，该对象可用于从EngineManager请求新引擎。

调度程序。用于安排任务。默认实现为多用户情况提供并行模式，为单用户模式提供先进先出模式。不建议在没有特殊用途的情况下定制。

2.2引擎管理器模块适配

1)Maven依赖

2)要实现的接口

以下接口需要在EngineManager中实现：

EngineCreator .需要在现有的抽象引擎创建器中重写方法createProcessEngineBuilder来创建引擎生成器。这里ProcessEngineBuilder提供了一个名为JavaProcessEngineBuilder的类，它是一个抽象类，用于完成类路径、JavaOpts、GC文件路径和日志路径的配置，并在测试模式下打开DEBUG端口。要实现JavaProcessEngineBuilder，您只需要指定其他类路径和JavaOpts。

工程资源工厂.需要在现有的抽象引擎资源工厂中重写方法getRequestResource，以声明用户定义的资源需求。

资源。一个用于向RM注册资源的Spring bean。用户需要为依赖注入指定一个ModuleInfo实例。

在EngineManager中，以下接口/bean是可选的：

钩子。一个Spring bean，用于在引擎启动期间添加前后挂钩。用户需要在EngineHook []钩子类型中声明一个Spring bean，新钩子才能生效。

2.3发动机模块自适应

1)Maven依赖

2)要实现的接口

以下接口需要在引擎中实现：

工程执行器工厂.用于通过实现createExecutor方法从映射构造EngineExecutor。该图包含环境变量和发动机参数。

引擎执行器.实际执行程序执行从条目提交的代码。要实现的方法如下：1 .getactualusesources(引擎实际使用的资源)2。executeLine(用于CodeParser解析的代码行)3。execute complete(execute line的补充方法。如果executeLine返回ExecuteIncomplete，新代码将与之前的代码一起提交给引擎)

以下接口/bean在引擎中是可选的：

EngineHooks: array [enginehooks]，一个Spring bean，用于在引擎启动时添加前后挂钩。目前系统提供两个钩子：用于UDF/函数加载的CodeGeneratorEngineHook和用于释放备用引擎的ReleaseEngineHook。默认情况下，系统只注册engine hooks=array(release ingene book)。

代码分析器.用于将代码解析成几行，每个执行循环只提交一行。默认情况下，系统注册CodeParser以一次返回所有代码。

EngineParser .用于将请求任务转换为调度程序可接受的作业。如果未指定，将注册EngineParser，引擎会将RequestTask转换为CommonEngineJob。

Linkis网络套接字应用编程接口文档

1.摘要

Linkis通过WebSocket提供了一种自适应的方法，简化了功能应用的前端。

Scriptis是一个用于数据开发的IDE工具，它结合了两种方法来适应Linkis。正常情况下，它通过websocket与Linkis进行通信，当Websocket连接断开时会故障切换到HTTP协议。

2.1应用编程接口规范

Linkis定义了自己的前端和后端规范。

一个

)。网址说明

Rest_j表示原料药符合泽西岛标准

Rest_s表示API符合springMVC Rest标准

V1是该服务的版本，将与Linkis版本一起升级

{applicationName}是微服务的名称

2)。所需规格

3)。响应规格

方法：返回请求的Restful API URL，主要由websocket协议使用。

状态：返回状态信息。-1表示登录失败，0表示成功，1表示错误，2表示身份验证失败，3表示没有权限。

数据：返回详细数据。

消息：返回请求的提示消息。如果状态不是0，此消息将返回一条错误消息。同时，数据可能会在其“堆栈”列中返回堆栈信息。

2.2网络套接字应用编程接口描述

1)。与.建立联系

用于与Linkis建立WebSocket连接。

API/API/rest _ j/门户/连接

HTTP方法GET

状态代码101

2)。请求执行

用于将用户作业提交给Linkis执行。

API/API/rest _ j/入口/执行

HTTP方法开机自检

Json请求正文示例

请求主题数据的参数描述

表1参数描述

Json响应正文示例

ExecID是提交给Linkis后为每个用户任务生成的字符串类型的唯一ID。它仅在执行期间使用，如PID。execID的格式为(requestApplicationName的长度)(executeAppName的长度)(实例的长度)requestApplicationName { executeapname } entrynformation p端口{ requestApplicationName } $ { umuser } $ { index }

TaskID是Long类型的唯一ID，由数据库为每个任务增量生成。

3)。任务状态、日志和进度的推送机制

提交后，服务器会推送状态、日志和进度信息。它们可以通过websocket协议进行检索。该应用编程接口与下面提到的HTTP协议一致。唯一不同的是websocket模式是WS://，但是对于HTTP协议，它是http://。

网络套接字应用编程接口的示例响应

杂志

状态

进步

软件功能：

资源管理

1.种类丰富，包括服务器CPU和内存、纱线、磁盘10和流量等。

2.系统(项目)级资源管理

3.用户级资源管理

4.实时显示资源使用情况

多引擎支持

火花、Python、TiSpark、蜂巢、Shel等

实时进度/日志

1.支持实时显示任务进度

2.详细准确的实时日志推送

自定义变量

定义的全局自定义变量随处可见

语境

1.资源文件(JAR/ZIP/Properties等)。)是统一的

2.用户引擎参数和变量的集中管理

3.提供统一的上下文SDK

应用程序管理

1.为用户智能选择合适的引擎

2.提供引擎重用能力

3.提供引擎切换功能，实现快速执行

智能优化

1.历史复用能力(历史任务相同，历史结果会定期复用)

2.智能重试(内部系统错误触发的重试，计算引擎错误的智能重试)

错误代码

当执行失败时，提供用户友好的错误代码和描述

多租户

系统级/用户级多租户隔离

结果集

1.多结果集支持

2.结果集输出元数据(列名、列类型、注释)信息

无功能

1.高可用性、高可靠性和高并发支持

2.分布式的，你

无服务器可扩展性