SQLServer：实现大数据服务的功能组成-猿码集

SQLServer：实现大数据服务的功能组成

随着数据量不断增大，企业面临着管理和分析大量数据的问题。为了解决这个难题，SQLServer提供了大数据服务的功能。下面将介绍SQLServer实现大数据服务的功能组成。

1. PolyBase

PolyBase是SQLServer 2016及以上版本提供的数据虚拟化技术，它可以让企业从单一的界面中处理结构化数据和非结构化数据。PolyBase支持使用T-SQL查询数据，将数据存储在集中位置，支持外部表和内部表操作，提供了强大的ETL功能。


--创建外部表指向Hadoop数据
CREATE EXTERNAL TABLE [dbo].[hadoop_weblogs]
(
    [ip] [nvarchar](50) NOT NULL,
    [log_date] [date] NOT NULL,
    [method] [nvarchar](50) NOT NULL,
    [endpoint] [nvarchar](200) NOT NULL,
    [status] [int] NOT NULL,
    [bytes] [bigint] NOT NULL
)
WITH
(
    DATA_SOURCE = HadoopServer,
    LOCATION = N'/weblogs/2017/01/01',
    FILE_FORMAT = weblog_csv
);
--查询Hadoop数据并关联SQLServer的表
SELECT TOP 100 *
FROM hadoop_weblogs AS a
JOIN sqlserver_users AS b
ON a.ip = b.ip;

2. PolyBase for Analytics

PolyBase for Analytics是针对数据分析而设计的PolyBase扩展，它结合了SQLServer的企业级数据仓库功能和Hadoop的分布式批处理技术，能够查询和整合数百万行数据。

使用SQL语句访问Hadoop和其他非SQLServer数据源，可以轻松创建数据流、转换和清理数据，同时可以使用Power Query、Power Pivot和Power View等工具制作交互式报表和可视化图表。

3. PolyBase for T-SQL

PolyBase for T-SQL是PolyBase的基础版本，它简化了与其他数据源交互的过程。使用PolyBase for T-SQL，可以快速构建ETL方案，将数据从其他数据源移动到SQLServer。

在SQLServer中使用PolyBase for T-SQL访问分布式数据实体，可以访问多种数据源，包括甚至不在SQLServer域中的Hadoop/HDFS。执行分布式查询时，PolyBase自动将查询发送到数据源，以便在现有IT环境中为空缺信息。

4. SQL Server Integration Services (SSIS)

SQL Server Integration Services (SSIS)是SQLServer提供的一个ETL工具，支持构建和运行SSIS包来实现复杂的数据转换和加载。SSIS支持多种数据源和数据流，可以轻松连接SQLServer数据库、Excel、Oracle、MySQL和其他各种数据源。

通过向数据流添加转换，可以创建ETL方案，以将源数据变换为质量更高、更易于分析的目标数据。SSIS包可以定期从数据源中提取数据，然后将其转换为可用格式，最后将其加载到目标中。

5. Azure Data Studio

Azure Data Studio是一款轻型的数据库管理和开发工具，包括SQL编辑器、查询计划图表、集中式管理界面和与Azure SQLDatabase和Hadoop等云数据平台的很好集成。Azure Data Studio旨在增强微软数据库家族的大数据能力。

Azure Data Studio支持PolyBase和其他SQLServer大数据功能。可以通过使用Azure Data Studio连接到托管的Hadoop集群，使用T-SQL查询数据，并使用Power BI制作可视化报告。

总结

SQLServer提供了强大的大数据服务功能，包括PolyBase、PolyBase for Analytics、PolyBase for T-SQL、SSIS和Azure Data Studio。这些功能允许企业处理和查询海量结构化和非结构化数据，以便制定更好的业务决策。通过使用SQLServer的大数据功能，企业可以从数据中获得更多价值。

SQLServer：实现大数据服务的功能组成