Skip to content
TheChatArchiveThe Chat Archive
o1-mini-2024-09-12· OpenAIAi2 WildChat-4.8M (AI2)

Вычислительная дилемма в приложении Развитие и структура, которым следует уделить более…

  1. User

    Вычислительная дилемма в приложении Развитие и структура, которым следует уделить более высокий приоритет?

    Java — наиболее часто используемый язык программирования при разработке приложений. Но написать код для обработки данных на Java непросто. Например, ниже приведен код Java для выполнения группировки и агрегирования по двум полям:

    Map<Integer, Map<String, Double>> summary = new HashMap<>(); for (Order order : orders) { int year = order.orderDate.getYear(); String sellerId = order.sellerId; double amount = order.amount; Map<String, Double> salesMap = summary.get(year); if (salesMap == null) { salesMap = new HashMap<>(); summary.put(year, salesMap); } Double totalAmount = salesMap.get(sellerId); if (totalAmount == null) { totalAmount = 0.0; } salesMap.put(sellerId, totalAmount + amount); } for (Map.Entry<Integer, Map<String, Double>> entry : summary.entrySet()) { int year = entry.getKey(); Map<String, Double> salesMap = entry.getValue(); System.out.println("Year: " + year); for (Map.Entry<String, Double> salesEntry : salesMap.entrySet()) { String sellerId = salesEntry.getKey(); double totalAmount = salesEntry.getValue(); System.out.println(" Seller ID: " + sellerId + ", Total Amount: " + totalAmount); } } Map<Integer, Map<String, Double>> summary = new HashMap<>(); for (Order order : orders) { int year = order.orderDate.getYear(); String sellerId = order.sellerId; double amount = order.amount; Map<String, Double> salesMap = summary.get(year); if (salesMap == null) { salesMap = new HashMap<>(); summary.put(year, salesMap); } Double totalAmount = salesMap.get(sellerId); if (totalAmount == null) { totalAmount = 0.0; } salesMap.put(sellerId, totalAmount + amount); } for (Map.Entry<Integer, Map<String, Double>> entry : summary.entrySet()) { int year = entry.getKey(); Map<String, Double> salesMap = entry.getValue(); System.out.println("Year: " + year); for (Map.Entry<String, Double> salesEntry : salesMap.entrySet()) { String sellerId = salesEntry.getKey(); double totalAmount = salesEntry.getValue(); System.out.println(" Seller ID: " + sellerId + ", Total Amount: " + totalAmount); } }

    Напротив, аналог SQL намного проще. Одного предложения GROUP BY достаточно, чтобы завершить вычисление.

    ВЫБЕРИТЕ год (дата заказа), идентификатор продавца, сумму (сумма) ИЗ заказов ГРУППА ПО году (Дата заказа), идентификатор продавца

    Действительно, ранние приложения работали совместно с Java и SQL. Бизнес-процесс был реализован на Java на стороне приложения, а данные обрабатывались на SQL в серверной базе данных. Платформу было трудно расширять и мигрировать из-за ограничений базы данных. Это было очень недружелюбно по отношению к современным приложениям. Более того, во многих случаях SQL был недоступен, когда не было баз данных или проводились межбазовые вычисления.

    Ввиду этого позже многие приложения начали использовать среду, полностью основанную на Java, где базы данных выполняют только простые операции чтения и записи, а бизнес-процессы и обработка данных реализуются на Java на стороне приложения, особенно с появлением микросервисов. Таким образом, приложение отделено от баз данных и получает хорошую масштабируемость и возможность миграции, что помогает получить преимущества платформы, одновременно сталкиваясь со сложностью разработки Java, упомянутой ранее.

    Кажется, мы можем сосредоточиться только на одном аспекте — разработке или фреймворке. Чтобы воспользоваться преимуществами платформы Java, необходимо преодолеть трудности разработки; а чтобы использовать SQL, нужно мириться с недостатками платформы. Это создает дилемму.

    Тогда что мы можем сделать?

    А как насчет расширения возможностей обработки данных Java? Это не только позволяет избежать проблем с SQL, но и устраняет недостатки Java.

    На самом деле, Java Stream/Kotlin/Scala пытаются это сделать.

    Транслировать

    В Stream, представленный в Java 8, добавлено множество методов обработки данных. Вот код Stream для реализации вышеуказанных вычислений:

    Map<Integer, Map<String, Double>> summary = orders.stream() .collect(Collectors.groupingBy( order -> order.orderDate.getYear(), Collectors.groupingBy( order -> order.sellerId, Collectors.summingDouble(order -> order.amount) ) ));

    summary.forEach((year, salesMap) -> {
        System.out.println("Year: " + year);
        salesMap.forEach((sellerId, totalAmount) -> {
            System.out.println("  Seller ID: " + sellerId + ", Total Amount: " + totalAmount);
        });
    });
    

    Map<Integer, Map<String, Double>> summary = orders.stream() .collect(Collectors.groupingBy( order -> order.orderDate.getYear(), Collectors.groupingBy( order -> order.sellerId, Collectors.summingDouble(order -> order.amount) ) ));

    summary.forEach((year, salesMap) -> {
        System.out.println("Year: " + year);
        salesMap.forEach((sellerId, totalAmount) -> {
            System.out.println("  Seller ID: " + sellerId + ", Total Amount: " + totalAmount);
        });
    });
    

    Stream действительно в некоторой степени упрощает код. Но в целом он по-прежнему громоздок и гораздо менее краток, чем SQL.

    Котлин

    Kotlin, который утверждал, что он более мощный, еще больше улучшился:

    val summary = orders .groupBy { it.orderDate.year } .mapValues { yearGroup -> yearGroup.value .groupBy { it.sellerId } .mapValues { sellerGroup -> sellerGroup.value.sumOf { it.amount } } } summary.forEach { (year, salesMap) -> println("Year: year") salesMap.forEach { (sellerId, totalAmount) -> println(" Seller ID: sellerId, Total Amount: totalAmount") } } val summary = orders .groupBy { it.orderDate.year } .mapValues { yearGroup -> yearGroup.value .groupBy { it.sellerId } .mapValues { sellerGroup -> sellerGroup.value.sumOf { it.amount } } } summary.forEach { (year, salesMap) -> println("Year: year") salesMap.forEach { (sellerId, totalAmount) -> println(" Seller ID: sellerId,TotalAmount:sellerId, Total Amount: totalAmount") } }

    Код Kotlin проще, но улучшения ограничены. По-прежнему существует большой разрыв по сравнению с SQL.

    Скала

    Потом была Скала:

    val summary = orders .groupBy(order => order.orderDate.getYear) .mapValues(yearGroup => yearGroup .groupBy(.sellerId) .mapValues(sellerGroup => sellerGroup.map(.amount).sum) ) summary.foreach { case (year, salesMap) => println(s"Year: year") salesMap.foreach { case (sellerId, totalAmount) => println(s" Seller ID: sellerId, Total Amount: totalAmount") } } val summary = orders .groupBy(order => order.orderDate.getYear) .mapValues(yearGroup => yearGroup .groupBy(_.sellerId) .mapValues(sellerGroup => sellerGroup.map(_.amount).sum) ) summary.foreach { case (year, salesMap) => println(s"Year: year") salesMap.foreach { case (sellerId, totalAmount) => println(s" Seller ID: sellerId,TotalAmount:sellerId, Total Amount: totalAmount") } }

    Scala немного проще Kotlin, но все же не может сравниться с SQL. Кроме того, Scala слишком тяжела и неудобна в использовании.

    На самом деле эти технологии находятся на правильном пути, хотя и не идеальны. Скомпилированные языки не поддерживают горячую замену.

    Кроме того, Java, будучи компилируемым языком, не поддерживает горячую замену. Изменение кода требует перекомпиляции и повторного развертывания, что часто требует перезапуска службы. Это приводит к неоптимальному опыту работы при частых изменениях требований. Напротив, у SQL нет проблем в этом отношении.

    ..

    Разработка Java сложна, и в фреймворке также есть недостатки. SQL испытывает трудности с соблюдением требований к платформе. Дилемму трудно решить. Есть ли другой способ? Идеальное решение – esProc SPL

    esProc SPL — это язык обработки данных, разработанный исключительно на Java. Он имеет простую разработку и гибкую структуру. Краткий синтаксис

    Давайте рассмотрим реализации Java для описанной выше операции группировки и агрегации:

    ..

    По сравнению с кодом Java код SPL гораздо более краток:

    Orders.groups(year(orderdate),sellerid;sum(amount)) Orders.groups(year(orderdate),sellerid;sum(amount))

    Это так же просто, как реализация SQL:

    SELECT year(orderdate),sellerid,sum(amount) FROM orders GROUP BY year(orderDate),sellerid SELECT year(orderdate),sellerid,sum(amount) FROM orders GROUP BY year(orderDate),sellerid

    Фактически код SPL зачастую проще своего аналога SQL. Благодаря поддержке порядковых и процедурных вычислений SPL лучше выполняет сложные вычисления. Рассмотрим следующий пример: вычислите максимальное количество последовательных дней роста акции. SQL нужен следующий трехуровневый вложенный оператор, который сложно понять, не говоря уже о записи.

    select max(continuousDays)-1 from (select count() continuousDays from (select sum(changeSign) over(order by tradeDate) unRiseDays from (select tradeDate, case when closePrice>lag(closePrice) over(order by tradeDate) then 0 else 1 end changeSign from stock) ) group by unRiseDays) select max(continuousDays)-1 from (select count() continuousDays from (select sum(changeSign) over(order by tradeDate) unRiseDays from (select tradeDate, case when closePrice>lag(closePrice) over(order by tradeDate) then 0 else 1 end changeSign from stock) ) group by unRiseDays)

    SPL реализует вычисления с помощью всего одной строки кода. Это даже намного проще, чем код SQL, не говоря уже о коде Java.

    stock.sort(tradeDate).group@i(price<price[-1]).max(.len()) stock.sort(tradeDate).group@i(price<price[-1]).max(.len())

    Комплексные независимые вычислительные возможности

    SPL имеет последовательность таблиц — специализированный объект структурированных данных и предлагает богатую библиотеку вычислительных классов, основанную на последовательностях таблиц, для обработки различных вычислений, включая часто встречающиеся фильтрацию, группировку, сортировку, различение и объединение, как показано ниже:

    Orders.sort(Amount) // Sorting Orders.select(AmountQuantity>3000 && like(Client,"S")) // Filtering Orders.groups(Client; sum(Amount)) // Grouping Orders.id(Client) // Distinct join(Orders:o,SellerId ; Employees:e,EId) // Join …… Orders.sort(Amount) // Sorting Orders.select(AmountQuantity>3000 && like(Client,"S")) // Filtering Orders.groups(Client; sum(Amount)) // Grouping Orders.id(Client) // Distinct join(Orders:o,SellerId ; Employees:e,EId) // Join ……

    Что еще более важно, вычислительные возможности SPL не зависят от баз данных; он может функционировать даже без базы данных, в отличие от технологии ORM, требующей для выполнения трансляции в SQL. Эффективная и простая в использовании IDE.

    Помимо краткого синтаксиса, SPL также имеет комплексную среду разработки, предлагающую такие функции отладки, как «Перешагивание» и «Установка точки останова», а также очень удобную для отладки панель просмотра результатов WYSIWYG, которая позволяет пользователям проверять результат для каждого шага в режиме реального времени.

    .. Поддержка крупномасштабных вычислений данных

    SPL поддерживает обработку крупномасштабных данных, которые могут или не могут поместиться в памяти.

    Вычисления в памяти: А 1 =d:\smallData.txt 2 =файл(A1).import@t() 3 =A2.groups(состояние;сумма(сумма):сумма)

    Вычисление внешней памяти: А 1 =d:\bigData.txt 2 =файл(A1).курсор@t() 3 =A2.groups(состояние;сумма(сумма):сумма)

    Мы видим, что код SPL для реализации вычислений во внешней памяти и для реализации вычислений в памяти в основном один и тот же, без дополнительной вычислительной нагрузки.

    В SPL легко реализовать параллелизм. Нам просто нужно добавить опцию @m в код последовательных вычислений. Это намного проще, чем соответствующий метод Java. А 1 =d:\bigData.txt 2 =файл(A1).cursor@tm() 3 =A2.groups(состояние;сумма(сумма):сумма) Бесшовная интеграция с Java-приложениями.

    SPL разработан на Java, поэтому может работать путем встраивания своих JAR-файлов в приложение Java. И приложение выполняет или вызывает сценарий SPL через стандартный JDBC. Это делает SPL очень легким и может работать даже на Android.

    Вызов кода SPL через JDBC:

    Class.forName("com.esproc.jdbc.InternalDriver");
    con= DriverManager.getConnection("jdbc:esproc:local://");
    st =con.prepareCall("call SplScript(?)");
    st.setObject(1, "A");
    st.execute();
    ResultSet rs = st.getResultSet();
    ResultSetMetaData rsmd = rs.getMetaData();
    Class.forName("com.esproc.jdbc.InternalDriver");
    con= DriverManager.getConnection("jdbc:esproc:local://");
    st =con.prepareCall("call SplScript(?)");
    st.setObject(1, "A");
    st.execute();
    ResultSet rs = st.getResultSet();
    ResultSetMetaData rsmd = rs.getMetaData();
    

    Поскольку SPL легкий и удобный для интеграции, его можно легко интегрировать в основные платформы Java, что особенно подходит для использования в качестве вычислительного механизма в микросервисных архитектурах. Высоко открытая структура

    Высокая открытость SPL позволяет ему напрямую подключаться к различным типам источников данных и выполнять смешанные вычисления в реальном времени, что упрощает обработку вычислительных сценариев, когда базы данных недоступны или задействованы несколько/разнообразные базы данных.

    ..

    Независимо от источника данных, SPL может считывать из него данные и выполнять смешанные вычисления, пока они доступны. База данных и база данных, RESTful и файл, JSON и база данных — все в порядке.

    Базы данных: А 1 =oracle.query("выберите EId,Name среди сотрудников") 2 =mysql.query("выберите SellerId, промежуточный итог sum(Amount) из группы заказов по SellerId") 3 =join(A1:O,SellerId; A2:E,EId) 4 =A3.new(O.Name,E.subtotal)

    RESTful и файл: А 1 =httpfile("http://127.0.0.1:6868/api/getData").read() 2 =json(A1) 3 =T("/data/Client.csv") 4 =join(A2:o,Клиент;A3:c,ClientID)

    JSON и база данных: А 1 =json(файл("/data/EO.json").read()) 2 =A1.conj(Заказы) 3 =A2.select(Сумма>1000 && Сумма<=3000 && нравится@c(Клиент,"s")) 4 =db.query@x(“выберите идентификатор, имя, область от клиента”) 5 =join(A3:o,Клиент;A4:c,ID) Интерпретируемое выполнение и горячая замена

    SPL — это интерпретируемый язык, который по своей сути поддерживает горячую замену при включенном питании. Измененный код вступает в силу в режиме реального времени, не требуя перезапуска службы. Это позволяет SPL хорошо адаптироваться к требованиям динамической обработки данных.

    ..

    Такая возможность горячей замены позволяет использовать независимые вычислительные модули с раздельным управлением, обслуживанием и эксплуатацией, что обеспечивает более гибкое и удобное использование.

    SPL может значительно повысить эффективность разработки Java-программистов, одновременно обеспечивая преимущества платформы. Он сочетает в себе преимущества Java и SQL, еще больше упрощает код и повышает производительность. предложи развитие этих идей

  2. Assistant

    Ваше изложение хорошо демонстрирует проблему сложности обработки данных в Java и преимущества использования специализированных языков, таких как esProc SPL. Для дальнейшего развития этих идей можно рассмотреть несколько направлений, которые помогут углубить анализ, предложить практические шаги по внедрению и расширить понимание потенциала SPL в современной разработке. Ниже представлены рекомендации и направления для дальнейшего развития:

    1. Глубокий Анализ Преимуществ и Недостатков SPL

    Преимущества:

    • Краткость и Читаемость Кода: Как вы уже отметили, SPL позволяет писать более компактный и понятный код по сравнению с Java и даже SQL.
    • Интерпретируемость и Горячая Замена: Возможность изменять код в реальном времени без перезапуска сервиса значительно ускоряет процесс разработки и адаптации.
    • Широкая Библиотека Функций: Богатый набор встроенных функций для различных типов вычислений упрощает реализацию сложных бизнес-логик.
    • Поддержка Масштабируемости: Возможность обработки больших объемов данных как в памяти, так и на внешних хранилищах.
    • Легкая Интеграция с Java: Благодаря поддержке JDBC и возможности встраивания JAR-файлов SPL может быть легко интегрирован в существующие Java-приложения.

    Недостатки:

    • Незнание и Ограниченная Популярность: SPL может быть менее известен среди разработчиков, что затрудняет поиск специалистов и ресурсов для обучения.
    • Интеграция с Другими Системами: Несмотря на высокую открытость, интеграция с некоторыми специфичными системами может потребовать дополнительных усилий.
    • Зависимость от esProc: Как специализированный инструмент, SPL может зависеть от развития и поддержки компании esProc.

    2. Практические Руководства и Кейсы Внедрения

    Создание Руководств:

    Разработка подробных документов и гайдов по интеграции SPL с различными фреймворками и архитектурами микросервисов на Java. Включение примеров реальных проектов поможет разработчикам лучше понять применение SPL.

    Кейсы Успешного Внедрения:

    Сбор и публикация примеров успешного внедрения SPL в различных отраслях (финансы, e-commerce, аналитика и т.д.) продемонстрирует его практическую ценность и эффективность.

    3. Сравнительный Анализ с Альтернативными Инструментами

    Сравнение с Другими DSL:

    Проведение сравнительного анализа SPL с другими специализированными языками или библиотеками, такими как Apache Beam, Apache Flink или Apache Spark. Это поможет определить уникальные преимущества SPL и области, где он превосходит конкурентов.

    Интеграция с Фреймворками:

    Исследование возможностей интеграции SPL с популярными Java-фреймворками, такими как Spring Boot, Quarkus или Micronaut, что может повысить его привлекательность для разработчиков.

    4. Развитие Сообщества и Обучающих Ресурсов

    Формирование Сообщества:

    Создание форумов, групп в социальных сетях и участие в конференциях для обмена опытом, обсуждения лучших практик и решения возникающих вопросов.

    Образовательные Материалы:

    Разработка онлайн-курсов, вебинаров и видеоуроков, обучающих SPL. Это поможет увеличить осведомленность и упростить процесс обучения для новых пользователей.

    5. Расширение Функциональности SPL

    Поддержка Новых Функций:

    Исследование и внедрение дополнительных функциональных возможностей, таких как поддержка машинного обучения, интеграция с новыми типами баз данных или улучшение производительности при обработке больших данных.

    Автоматизация и Инструменты Разработки:

    Разработка дополнительных инструментов для автоматизации задач, связанных с написанием и тестированием SPL-скриптов, а также улучшение интеграции с существующими системами CI/CD.

    6. Оптимизация Производительности и Масштабируемости

    Кэширование и Оптимизация Запросов:

    Внедрение продвинутых механизмов кэширования и оптимизации выполнения SPL-скриптов для повышения скорости обработки данных.

    Распределенная Обработка:

    Исследование возможностей распределенной обработки SPL-скриптов на кластерных системах для еще большей масштабируемости.

    7. Партнерства и Взаимодействие с Бизнесом

    Партнерства с Корпорациями:

    Установление партнерских отношений с крупными компаниями и платформами для интеграции SPL в их существующие решения, что может способствовать широкому распространению технологии.

    Консультационные Услуги:

    Предоставление консультационных услуг по внедрению SPL в корпоративные системы, помогая компаниям адаптировать свои процессы к использованию нового инструмента.

    8. Безопасность и Соответствие Стандартам

    Обеспечение Безопасности:

    Разработка и внедрение механизмов безопасности для защиты данных при обработке SPL-скриптов, особенно в контексте обработки чувствительной информации.

    Соответствие Стандартам:

    Обеспечение соответствия SPL международным и отраслевым стандартам безопасности и обработки данных, что повысит доверие к технологии.

    9. Исследование и Инновации

    Исследования Производительности:

    Проведение научных исследований для объективной оценки производительности SPL по сравнению с другими технологиями, публикация результатов в авторитетных журналах и конференциях.

    Инновационные Функции:

    Разработка новых, инновационных функций, которые могут выделить SPL на фоне конкурентов и открыть новые возможности для использования.

    Заключение

    Для успешного развития идеи использования esProc SPL в качестве решения дилеммы сложности Java и недостатков SQL необходимо сосредоточиться на комплексном подходе, включающем технические улучшения, создание обучающих материалов, активное формирование сообщества и установление партнерств. Такие меры помогут увеличить осведомленность о SPL, продемонстрировать его преимущества на практике и облегчить его интеграцию в современные Java-приложения. В долгосрочной перспективе это может привести к более широкому принятию SPL в индустрии разработки программного обеспечения, способствуя более эффективной и простой обработке данных.