Аннотация: Предметом исследования является проблема мониторинга и поиска неисправностей в распределённых высоконагруженных системах. Описываются наиболее распространенные ошибки при проектировании и разработки, способы их прогнозирования и решений. В данной статье автор описывается наиболее популярные инструменты, которые используются в настоящее время при разработке высоконагруженных систем и основные ошибки при работе с ними с точки зрения разработчика.
В данной статье описывается набор инструментов, внедрение которых позволяет существенно сократить время на поиск уязвимостей, описаны сложности при выборе набора технологий метрик - ELK/EFK, описываются их преимущества и недостатки. Подробно разбираются аналоги используемых инструментов. Основными выводами в работе являются:
- необходимость разработки инфраструктуры мониторинга системы с начала разработки проекта, благодаря чему можно исправить высокую сложность проекта на этапе его разработки.
- необходимо использовать наиболее популярные инструменты, по которым имеется большое количество информации в открытых источниках, например, в Интернет. Данный подход позволит сократить время на исправления ошибок, которые могут быть вызваны специфическим набором инструментов.
- компании необходимо не экономить на высококвалифицированном персонале, который в будущем позволит сэкономить большое количество времени на исправлении проблем, снизит время на разработку нового функционала и позволит уделять минимум времени для поддержки и тестирования уже разработанного функционала.
- при анализе проблем стоит обратить внимание на публичные ресурсы, в которых другие компании, скорее всего, решали уже подобные проблемы. Например, компания Facebook долгое время занимается проблемой мониторинга и разработало большое количество инструментов для решения этой задачи. Так же собирают большое количество системных записей, которые позволяют анализировать поведения системы при любых ситуациях.

Ключевые слова: мониторинг, высоконагруженная система, метрики, ELK, EFK, белый ящик, черный ящик, тестирование, контроль качества, архитектура

Abstract: The subject of the research is the problem of monitoring and troubleshooting in distributed high-load systems. The most common mistakes in design and development, methods of their forecasting and solutions are described. In this article, the author describes the most popular tools that are currently used in the development of high-load systems and the main mistakes when working with them from a developer's point of view.This article describes a set of tools, the implementation of which can significantly reduce the time spent searching for vulnerabilities, describes the difficulties in choosing a set of metrics technologies - ELK / EFK, describes their advantages and disadvantages. The analogs of the tools used are analyzed in detail. The main conclusions in the work are:- the need to develop the infrastructure for monitoring the system from the beginning of the project development, due to which it is possible to correct the high complexity of the project at the stage of its development.- it is necessary to use the most popular tools for which there is a large amount of information in open sources, for example, on the Internet. This approach will reduce the time spent on fixing errors that can be caused by a specific set of tools.- the company needs not to save on highly qualified personnel, which in the future will save a lot of time on fixing problems, reduce the time for developing new functionality and allow spending a minimum of time to support and test the already developed functionality.- when analyzing problems, it is worth paying attention to public resources in which other companies, most likely, have already solved similar problems. For example, the Facebook company has been dealing with the monitoring problem for a long time and has developed a large number of tools to solve this problem. They also collect a large number of system records for analyzing the behavior of the system under any circumstances.

Keywords: quality control, testing, black box, white box, EKF, ELK, metrics, hightload system, monitoring, architecture

Аннотация: The relevance of this article lies in the fact that today's databases are the basis of numerous information systems. The information accumulated in them is extremely valuable material, and today database processing methods are widely spread in terms of extracting additional methods, knowledge from them, which are interconnected with generalization and various additional methods of information processing.The object of research in this work is relational databases and DBMS, the subject of research is the features of their use in applied programming.In accordance with the set goal, it is necessary to solve the following tasks:1) to consider the concept and essence of a relational database;2) to analyze the problematic aspects of relational databases in modern conditions. Relational databases are among the most widespread due to their simplicity and clarity at the creation stage and at the user level. It should also be noted that the main advantage of RDB is its compatibility with the main query language SQL, which is intuitive for users.Nevertheless, with all the variety of approaches, there are still some canons, violation of which greatly affects both the design of the database and its operation. For example, the problem of database normalization is very relevant. Neglecting normalization makes the database structure confusing and the database itself unreliable.Promising directions include the development of queries to a relational database using heuristic methods, as well as the method of accumulating previously optimized queries with subsequent verification of the derivability of the current query from the accumulated ones.Finally, a very slow decline in relational databases is probably happening. While they are still the primary storage medium, especially in large enterprise projects, they are gradually being replaced by non-relational solutions that will become the majority over time.

Ключевые слова: undefined values, identifying relationship, data integrity constraints, tuples, DBMS, relational databases, normalization, denormalization, foreign key, primary key