ms-dynamics.ru

Sql на виртуальной машине windows 10

Перемещение данных в SQL Server на виртуальной машине AzureMove data to SQL Server on an Azure virtual machine

В этой статье описаны варианты перемещения данных из неструктурированных файлов (в формате CSV или TSV) или с локального сервера SQL Server на сервер SQL Sql на виртуальной машине windows 10 на виртуальной машине Azure.This topic outlines the options for moving data either from flat files (CSV or TSV formats) or from an sql на виртуальной машине windows 10 SQL Server to SQL Server on an Azure virtual machine.Эти задачи перемещения данных в облако являются этапом процесса обработки и анализа данных группы.These tasks for moving data to the cloud are part of the Team Data Science Process.

Описание вариантов перемещения данных в базу данных SQL Azure для машинного обучения см.

в этой статье.For a topic that outlines the options for moving data to an Azure SQL Database for Machine Learning, see Move data to an Azure SQL Database for Azure Machine Learning.

Приведенное ниже меню содержит ссылки на разделы, описывающие прием данных в других целевых средах, где они могут храниться и обрабатываться процессом обработки и анализа данных группы (TDSP).The menu below links to topics that describe how to ingest data into other target environments where the data can be stored and processed during the Team Data Science Process (TDSP).

В следующей таблице перечислены варианты перемещения данных в SQL Server на виртуальной машине Azure.The following table summarizes the options for moving data to SQL Server on an Azure virtual machine.

Обратите внимание на то, что в этом sql на виртуальной машине windows 10 предполагается выполнение команд SQL в среде SQL Server Management Studio или в обозревателе базы данных Visual Studio.Note that this document assumes that SQL commands sql на виртуальной машине windows 10 executed from SQL Server Management Studio or Visual Studio Database Explorer.

Предварительные требованияPrerequisites

Для выполнения действий, описанных в этом учебнике, вам необходимо следующее.This tutorial assumes you have:

Перемещение данных из sql на виртуальной машине windows 10 файла на сервер SQL Server на виртуальной машине AzureMoving data from a flat file source to SQL Server on an Azure VM

Если данные (упорядоченные по строкам и столбцам) хранятся в неструктурированном файле, этот файл можно переместить в виртуальную машину SQL Server в Azure с помощью следующих средств:If your data is in a flat file (arranged in a row/column format), it can be moved to SQL Server VM on Azure via the following methods:

  1. Служебная программа командной строки для массового копирования (BCP)Command-line bulk copy utility (BCP)
  2. SQL-запрос на массовую вставку Bulk Insert SQL Query
  3. Графические служебные программы, встроенные в SQL Server (импорт или экспорт, службы SSIS)Graphical Built-in Utilities in SQL Server (Import/Export, SSIS)

Служебная программа командной строки для массового копирования (BCP)Command-line bulk copy utility (BCP)

BCP — это служебная программа командной строки, устанавливаемая вместе с SQL Server, которая предоставляет один из самых быстрых способов перемещения данных.BCP is a command-line utility installed with SQL Server and is one of the quickest ways to move data.Она работает во всех трех вариантах SQL Server (в локальном SQL Server, SQL Azure и виртуальной машине SQL Server в Azure).It works across all three SQL Server variants (On-premises SQL Server, SQL Azure and SQL Server VM on Azure).

Примечание

Где следует размещать данные для программы BCP?Where should my data be for BCP?
Это не обязательно, но если файлы, содержащие источник данных, расположены на одном компьютере с целевым сервером SQL, это позволяет ускорить перемещение (скорость сети и скорость ввода-вывода на локальном диске).While it is not required, having files containing source sql на виртуальной машине windows 10 located on the same machine as the target SQL Server allows for faster transfers (network speed vs local disk IO speed).Перемещать неструктурированные файлы, содержащие данные, на компьютер с SQL Server можно с помощью различных инструментов копирования файлов, таких как AZCopy, обозреватель хранилищ Azure или средства копирования и вставки по протоколу удаленного рабочего стола (RDP) ОС Windows.You can move the flat files containing data to the machine where SQL Server is installed using various file copying tools such as AZCopy, Azure Storage Explorer or windows copy/paste via Remote Desktop Protocol (RDP).

  1. Убедитесь, что базы данных и таблицы создаются в целевой базе данных SQL Server.Ensure that the database and the tables are created on the target SQL Server database.В примере ниже показано, как выполнить эту задачу с помощью команд и .Here is an example of how to do that using the and commands:

  2. Создайте файл форматирования с описанием схемы для таблицы, выполнив следующую команду в командной строке компьютера, на котором установлена программа BCP.Generate the format file that describes the schema for the table by issuing the following command from the command-line of the machine where bcp is installed.

  3. Вставьте данные в базу данных с помощью команды BCP, как показано ниже.Insert the data into the database using the bcp command as follows.Запуск выполняется из командной строки при условии, что на этом компьютере установлен SQL Server:This should work from the command-line assuming that the SQL Server is installed on same machine:

Оптимизация операций вставки BCP. Подробные sql на виртуальной машине windows 10 об оптимизации таких операций вставки см.

в статье Рекомендации по оптимизации массового импорта данных.Optimizing BCP Inserts Please refer the following article 'Guidelines for Optimizing Bulk Import' to optimize such inserts.

Распараллеливание операций вставки для ускорения перемещения данныхParallelizing Inserts for Faster Data Movement

Вы можете ускорить процесс перемещения данных большого размера, выполняя несколько команд BCP одновременно в сценарии PowerShell.If sql на виртуальной машине windows 10 data you are moving is large, you can speed things up by simultaneously executing multiple BCP commands in parallel in a PowerShell Script.

Примечание

Прием данных большого размера. Чтобы оптимизировать загрузку больших и очень больших наборов данных, разбейте таблицы логических и физических баз данных на разделы, используя несколько групп файлов и секционированных таблиц.Big data Ingestion To optimize data loading for large and very large datasets, partition your logical and physical database tables using multiple filegroups and partition tables.Дополнительные сведения о создании секционированных таблиц и загрузке в них данных см.

в статье Параллельный массовый импорт данных с использованием таблиц секционирования SQL.For more sql на виртуальной машине windows 10 about creating and loading data to partition tables, see Parallel Load SQL Partition Tables.

В примере сценария PowerShell ниже показаны параллельные операции вставки при использовании программы BCP.The sample PowerShell script below demonstrate parallel inserts using bcp:

SQL-запрос на массовую вставкуBulk Insert SQL Query

SQL-запрос на массовую вставку можно использовать для импорта в базу данных информации из файлов на основе строк или столбцов (поддерживаемые типы описаны в статье Подготовка данных к массовому экспорту или импорту (SQL Server)).Bulk Insert SQL Query can be used to import data into the database from row/column based files (the supported types are covered in thePrepare Data for Bulk Export or Import (SQL Server)) topic.

Ниже приведены некоторые примеры команд для массовой вставки:Here are some sample commands for Bulk Insert are as below:

  1. Перед импортом проанализируйте данные, задайте все необходимые пользовательские настройки и убедитесь, что в базе данных SQL Server для всех специальных полей, таких как дата, задан одинаковый формат.Analyze your data and set any custom options before importing to make sure that the SQL Server database assumes the same format for any special fields such as dates.Ниже показано, как задать формат даты "год-месяц-день" (если в данных содержатся даты в формате "год-месяц-день"):Here is an example of how to set the date format as year-month-day (if your data contains the date in year-month-day format):

  2. Импорт данных с помощью операторов массового импорта:Import data using bulk import statements:

Служебные программы, встроенные в SQL ServerBuilt-in Utilities in SQL Server

Службы SQL Server Integrations Services (SSIS) можно использовать для импорта данных из неструктурированного файла в виртуальную машину SQL Server в Azure.You can use SQL Server Integrations Services (SSIS) to import data into SQL Server VM on Azure from a flat file.Службы SSIS доступны в двух средах Studio.SSIS is available in two studio environments.Дополнительные сведения см.

sql на виртуальной машине windows 10

в статье Разработка Integration Services (SSIS) и средства управления:For details, see Integration Services (SSIS) and Studio Environments:

Перемещение данных с локального сервера SQL Server на сервер SQL Server на виртуальной машине AzureMoving Data from on-premises SQL Server to SQL Server on an Azure VM

Вы также можете использовать следующие стратегии миграции:You can also use the following migration strategies:

  1. Мастер развертывания Базы данных SQL Server на виртуальной машине Microsoft AzureDeploy a SQL Server Database to a Microsoft Azure VM wizard
  2. Экспорт в неструктурированный файлExport to Flat File
  3. Мастер миграции баз данных SQLSQL Database Migration Wizard
  4. Архивация и восстановление базы данныхDatabase back up and restore

Описание каждого из этих способов см.

ниже.We describe each of these below:

Мастер развертывания Базы данных SQL Server на виртуальной машине Microsoft AzureDeploy a SQL Server Database to a Microsoft Azure VM sql на виртуальной машине windows 10 развертывания базы данных SQL Server на виртуальной машине Microsoft Azure представляет собой простой и рекомендуемый способ перемещения данных из локального экземпляра SQL Server на сервер SQL Server на виртуальной машине Azure.The Deploy a SQL Server Database to a Microsoft Azure VM wizard is a simple and recommended way to move data from an on-premises SQL Server instance to SQL Server on an Azure VM.Подробные инструкции, а также описание других вариантов см.

в статье Миграция базы данных SQL Server в экземпляр SQL Server на виртуальной машине Azure.For detailed steps as well as a discussion of other alternatives, see Migrate a sql на виртуальной машине windows 10 to SQL Server on an Azure VM.

Экспорт в неструктурированный файлExport to Flat File

Для массового экспорта данных с локального сервера SQL Server можно использовать различные способы, которые описаны в разделе Массовый импорт и экспорт данных (SQL Server) .Various methods can be used to bulk export data from an On-Premises SQL Server as documented in the Bulk Import and Export of Data (SQL Server) topic.В этом документе в качестве примера описано использование программы массового копирования (BCP).This document will cover the Bulk Copy Program (BCP) as an example.После экспорта данных в неструктурированный файл этот файл можно импортировать в другой SQL Server с помощью операции массового импорта.Once data is exported into a flat file, it sql на виртуальной машине windows 10 be imported to another SQL server using bulk import.

  1. Экспортируйте данные из локального SQL Server в файл с помощью служебной программы BCP, используя следующую команду:Export the data from on-premises SQL Server to a File using the bcp utility as follows

  2. Создайте базу данных и таблицу в виртуальной машине SQL Server в Azure с помощью команд и для схемы таблицы, экспортированной на шаге 1.Create the database and the table on SQL Server VM on Azure using the and for the table schema exported in step 1.
  3. Создайте файл форматирования для описания схемы таблицы экспортируемых или импортируемых данных.Create a format file for describing the table schema of sql на виртуальной машине windows 10 data being exported/imported.Информация о файле форматирования приведена в разделе Создание файла форматирования (SQL Server).Details of the format file are described in Create a Format File (SQL Server).

    Создание файла форматирования при запуске служебной программы Sql на виртуальной машине windows 10 на компьютере с SQL ServerFormat file generation when running BCP from the SQL Server machine

    Создание файла форматирования при удаленном запуске BCP для SQL ServerFormat file generation when running BCP remotely against a SQL Server

  4. С помощью любого из методов, описанных в разделе Перемещение данных из файла источникапереместите данные неструктурированных файлов в SQL Server.Use any of the methods described in section Moving Data from File Source to move the data in flat files to a SQL Server.

Мастер миграции баз данных SQLSQL Database Migration Wizard

Мастер миграции баз данных SQL Server представляет собой удобный способ перемещения данных между двумя экземплярами SQL Server.SQL Server Database Migration Wizard provides a user-friendly way to move data between two SQL server instances.Пользователь может сопоставлять схемы данных между источниками и таблицами назначения, выбирать типы столбцов и выполнять другие функции.It allows the user to sql на виртуальной машине windows 10 the data schema between sources and destination tables, choose column types and various other functionalities.Этот мастер использует программу массового копирования (BCP).It uses bulk copy (BCP) under the covers.Ниже приведен снимок экрана приветствия мастера миграции баз данных SQL.A screenshot of the welcome screen for the SQL Database Migration wizard is shown below.

Архивация и восстановление базы данныхDatabase back up and restore

SQL Server поддерживает:SQL Server supports:

  1. Архивацию и восстановление базы данных (экспорт в локальный файл и экспорт BACPAC-файла в большой двоичный объект) и приложения уровня данных (с использованием BACPAC-файла).Database back up and restore functionality (both to a local file or bacpac export to blob) and Data Tier Applications (using bacpac).
  2. Непосредственное создание виртуальных машин SQL Server в Azure с использованием скопированной базы данных или копирование в существующую базу данных SQL Azure.Ability to directly create SQL Server VMs on Azure with a copied database or copy to an existing SQL Azure database.Дополнительные сведения см.

    в статье Использование мастера копирования базы данных.For more details, see Use the Copy Database Wizard.

Ниже приведен снимок экрана параметров архивации и восстановления базы данных в среде SQL Server Management Studio.A screenshot of the Database back up/restore options from SQL Server Management Studio is shown below.

РесурсыResources

Миграция базы данных в SQL Server на виртуальной машине AzureMigrate a Database to SQL Server on an Azure VM

Приступая к работе с SQL Server в виртуальных машинах AzureSQL Server on Azure Virtual Machines overview

Источник: https://docs.microsoft.com/ru-ru/azure/machine-learning/team-data-science-process/move-sql-server-virtual-machine