2021年年度最佳开源软件( 三 ) _开源软件

文章插图

文章插图

Meltano https://meltano.com/Meltano始于2018年GitLab的内部项目，服务于 GitLab 数据管理。2021年从GitLab独立出来成为一个初创公司。
Meltano是一款免费 DataOps 时代的ETL工具，旨在替代替代传统 ELT的工具，ELT是指数据提取、加载、转换操作的统称。
Meltano特点是开源、自托管、CLI（命令行）、可调试和可扩展。
Meltano创建管道即代码的概念，Meltano项目可进行版本控制、代码审查、持续集成和部署 (CI/CD ）以及容器化等。

文章插图

Trino https://trino.io/Trino 用于大数据分析的快速分布式 SQL 查询引擎
2019年PrestoDB的开发者创建了一个名为PrestoSQL项目分支。由于所属基金会的转移，PrestoSQL于2020年12月更名为 Trino 。
Trino是一款用于大数据分析且性能优越的分布式 SQL 分析引擎。Trino 可同时对EB 级数据湖和海量数据仓库进行高效查询。Trino 符合 ANSI SQL 的查询标准，可与 R、Tableau、Power BI、Superset 等 BI 工具配合使用。可在 Hadoop、S3、Cassandra、MySQL 的数据仓库中联合查询。

文章插图

StreamNative https://streamnative.io/StreamNative 是一款弹性部署且可扩展的消息和事件流平台，大大简化了实时报告和分析工具以及企业应用流的数据管道架设。StreamNative 将 Apache Pulsar 分布式流处理架构与 Kubernetes 和混合云支持等，以及企业级功能、大型数据、认证和授权、性能监控等工具相结合，既简化了应用程序的开发，又简化了流数据应用的部署和管理。

文章插图

Hugging Face https://huggingface.co/Hugging Face是一个公司，也是一个网站。
Hugging Face 提供了以非常有用的深度学习资源库，比如深度学习的模型，数据集，还有网站的使用空间的等，不过大多是要付费的。
另外Hugging Face的主要产品是聊天机器人，为此Hugging Face 开发了自己的自然语言处理 (NLP) 模型，称为分层多任务学习 (HMTL) 并在PyTorch-Transformers下管理了一个预训练的 NPL 模型库。

文章插图

EleutherAI https://www.eleuther.ai/EleutherAI是一个开源的社区人工智能项目，旨在创建一个完全去中心化的、具有自治文明的单例人工智能。EleutherAI 项目始于 2011 年，任何能连接互联网且有GitHub 帐户的人都可以参与。社区成员可通过提交开发功能以或提案来参与项目。EleutherAI 的开发者每周会更新项目进度，这些更新会在 YouTube 上进行现场直播。
2021年 EleutherAI 发布了The Pile，是一个 825GB 用于训练的多样化文本数据集；并在6月公布了 GPT-J，一个 60 亿参数的模型，大致相当于 OpenAI 的 GPT-3 的居里变量。随着 GPT-NeoX 的出现，EleutherAI计划将参数一直提高到 1750 亿，发起了争夺最大GPT-3模型的挑战赛。
补充，OpenAI的 GPT-3 模型在文本生成方面实现了惊人的飞跃，甚至具有了人类级别的性能。但其API始终未能完全开放，目前只有 OpenAI 和微软内部才有完全访问全部训练集。

文章插图

Colab notebooks for generative art / Colab notebooks用于生成艺术品首先是 OpenAI 的 CLIP（对比语言-图像预训练）模型，一种用于生成文本和图像矢量嵌入的多模态模型。虽然 CLIP 是完全开源的，但 OpenAI 的神经网络 DALL-E 却不开源。为了弥补这一空白，Ryan Murdoch 和 Katherine Crowson 开发了 Colab notebooks，将 CLIP 与其他开源模型（如 BigGAN 和 VQGAN）结合起来，制作 Prompt-based 生成性艺术作品。这些 notebooks 基于 MIT 的开源许可证，过去几十年间在互联网上广泛传播，被重新混合、修改、转译，并被用来生成了惊人的艺术作品。